Las tablas de referencia le permiten combinar metadatos personalizados con la información ya existente en Datadog. Puede definir nuevas entidades, como detalles de clientes, nombres e información de servicios, o direcciones IP, al subir un archivo CSV que contenga una tabla de información. Las entidades están representadas por una clave primaria en una tabla de referencia y los metadatos asociados.
Por ejemplo, puede:
Enriquecer registros y datos de seguridad para investigaciones más rápidas: Correlacionar registros, trazas y eventos de seguridad con el contexto empresarial actualizado, como nombres de clientes, propietarios de cuentas, inteligencia de amenazas o descripciones de códigos de error, para agilizar la resolución de problemas y el análisis.
Segmentar usuarios y recursos para análisis y gestión de costos específicos: Agrupar usuarios, clientes o recursos en la nube en segmentos significativos (como niveles de usuario, equipos o unidades de negocio) para un análisis más profundo del producto y una atribución de costos precisa utilizando herramientas como Tag Pipelines.
Mejorar datos para consultas y reportes avanzados: Unir datos externos de tablas de referencia en Sheets, DDSQL Editor o Notebooks para realizar consultas complejas, agregaciones y construir reportes personalizados sin necesidad de experiencia técnica.
Crear una tabla de referencia
Datadog admite las siguientes fuentes de datos, incluidas integraciones y carga manual de archivos CSV:
Haga clic en Nueva tabla de referencia +, luego cargue un archivo CSV, nombre las columnas apropiadas y defina la clave primaria para las búsquedas.
Nota: El método de carga manual de CSV admite archivos de hasta 4MB.
Amazon S3
Las Tablas de Referencia pueden extraer automáticamente un archivo CSV de un bucket de Amazon S3 para mantener sus datos actualizados. La integración busca cambios en el archivo CSV en S3, y cuando el archivo se actualiza, reemplaza la Tabla de Referencia con los nuevos datos. Esto también permite la actualización a través de API con la API de S3 una vez que la Tabla de Referencia inicial está configurada. Nota: Las Tablas de Referencia no se reemplazan si el contenido del archivo CSV no ha cambiado.
Para actualizar las Tablas de Referencia desde S3, Datadog utiliza el rol IAM en su cuenta de AWS que configuró para la integración de AWS. Si aún no ha creado ese rol, siga estos pasos para hacerlo. Para permitir que ese rol actualice sus Tablas de Referencia, agregue la siguiente declaración de permiso a sus políticas IAM. Asegúrese de editar los nombres de los buckets para que coincidan con su entorno.
Nota: Si utiliza cifrado del lado del servidor, puede cargar Tablas de Referencia cifradas con claves gestionadas por Amazon S3 (SSE-S3) o claves del Servicio de Gestión de Claves de AWS (SSE-KMS).
{"Statement":[{"Sid":"EnrichmentTablesS3","Effect":"Allow","Action":["s3:GetObject",// Grant KMS decrypt permissions if uploading KMS-encrypted object
// "kms:Decrypt",
"s3:ListBucket"],"Resource":["arn:aws:s3:::<MY_BUCKET_NAME_1/*>","arn:aws:s3:::<MY_BUCKET_NAME_2>"]}],"Version":"2012-10-17"}
Defina la tabla
Haga clic en Nueva Tabla de Referencia +, luego agregue un nombre, seleccione Amazon S3, complete todos los campos, haga clic en importar y defina la clave primaria para las búsquedas.
Nota: El método de carga desde un bucket de S3 admite archivos de hasta 200MB.
En el Portal de Azure, seleccione la cuenta de almacenamiento que almacena sus archivos de Tabla de Referencia.
Dentro de su cuenta de almacenamiento, navegue a Control de Acceso (IAM) y seleccione Agregar > Agregar Asignación de Rol.
Ingrese y seleccione el Rol de Lector de Datos de Blob de Almacenamiento. El rol de Lector de Datos de Blob de Almacenamiento permite a Datadog leer y listar contenedores de almacenamiento y blobs.
En la pestaña Miembros, haga clic en + Seleccionar miembros. Seleccione el registro de aplicación que creó en el Paso 1.
Después de revisar y asignar el rol, puede importar a las tablas de referencia desde Azure. Puede tardar unos minutos en que su configuración de Azure se actualice en Datadog.
Nota: La carga desde el almacenamiento de objetos en la nube admite archivos de hasta 200 MB.
Almacenamiento de Google Cloud
Almacenamiento de Google Cloud
Las Tablas de Referencia no están disponibles para su sitio de Datadog seleccionado ()
Si no ha configurado una integración de Google Cloud con Datadog o está utilizando archivos de ID de proyecto de Google heredados (los proyectos heredados se indican en su mosaico de integración de GCP), siga las instrucciones para configurar la integración de Google Cloud Platform. Esto implica crear una cuenta de servicio de Google Cloud.
Desde la consola de Google Cloud, navegue a la página de Almacenamiento en la Nube.
Encuentre el bucket al que le gustaría otorgar acceso y haga clic en él.
Haga clic en la pestaña Permisos. Bajo “Ver por Principales”, haga clic en el botón Otorgar Acceso.
En la ventana que aparece, en el campo “Nuevos principales”, ingrese el correo electrónico de la cuenta de servicio que creó y agregó al mosaico de GCP en el Paso 1. Bajo “Asignar roles”, seleccione el rol de Visualizador de Objetos de Almacenamiento. Haga clic en Guardar.
Después de revisar y asignar el rol, puede importar a las tablas de referencia desde Google Cloud. Puede tardar unos minutos en que su configuración se actualice en Datadog.
Nota: La carga desde el almacenamiento de objetos en la nube admite archivos de hasta 200 MB.
Terraform
Utilice el recurso datadog_reference_table para gestionar tablas de referencia como infraestructura como código. Configure el recurso con el esquema de su tabla, claves primarias y detalles de acceso al almacenamiento en la nube.
Nota: Terraform soporta los mismos límites de tamaño de archivo que las cargas de almacenamiento en la nube. Consulte límites de la tabla de referencia para más detalles.
Cree tablas de referencia programáticamente utilizando la API de Datadog.
Para fuentes de almacenamiento en la nube (S3, Azure, GCS), proporcione access_details en file_metadata apuntando a un archivo CSV en el almacenamiento en la nube.
Para archivos locales, llame a POST /api/latest/reference-tables/uploads para obtener un ID de carga y cargue sus datos CSV. Luego, llame al punto de conexión Crear Tabla de Referencia con el upload_id en file_metadata.
Nota: La API soporta los mismos límites de tamaño de archivo que las cargas de almacenamiento en la nube. Consulte límites de la tabla de referencia para más detalles.
Esta Tabla de Referencia puede ser utilizada para agregar atributos adicionales a los registros con el Procesador de Búsqueda.
Reglas de validación
Los nombres de las Tablas de Referencia y los encabezados de las columnas son validados utilizando las siguientes convenciones de nomenclatura y se actualizan o normalizan automáticamente, si es necesario.
Regla
Normalización
Los nombres y encabezados no pueden ser duplicados.
Los nombres duplicados son enumerados. Por ejemplo, si fileid se usa dos veces como nombre, la primera instancia se convierte en fileid1 y la segunda instancia se convierte en fileid2. Si un nombre o encabezado está enumerado y excede los 56 caracteres, es rechazado y necesita ser renombrado.
Los nombres y encabezados no pueden contener letras mayúsculas.
Los nombres con letras mayúsculas se convierten a minúsculas. Esta conversión puede resultar en nombres duplicados, que luego son enumerados. Por ejemplo, Fileid y FileID se convierten en fileid y son enumerados como fileid1 y fileid2 respectivamente.
Los nombres y encabezados no pueden contener espacios.
Los espacios que no son iniciales o finales son reemplazados por caracteres de subrayado _. Los espacios iniciales y finales son eliminados. Por ejemplo, customer names es reemplazado por customer_names.
Los nombres y encabezados deben comenzar con una letra minúscula.
Los caracteres en mayúscula se convierten a minúsculas. Los caracteres no alfabéticos al inicio son eliminados. Por ejemplo, 23Two_three se convierte en two_three.
Los nombres y encabezados solo admiten letras minúsculas, números y el carácter _.
Los caracteres no soportados son reemplazados por el carácter guion bajo _, a menos que rompa alguna de las reglas anteriores. En ese caso, los caracteres no soportados son normalizados por la regla respectiva.
Los nombres y encabezados deben tener 56 caracteres o menos.
No se realiza ninguna normalización. Los nombres y encabezados que tienen más de 56 caracteres son rechazados y necesitan ser renombrados.
Modificar una Tabla de Referencia
Para modificar una Tabla de Referencia existente con nuevos datos, seleccione una tabla y haga clic en Update Config en la esquina superior derecha.
El CSV seleccionado se inserta o actualiza en la tabla, lo que significa que:
Todas las filas existentes con la misma clave primaria son actualizadas
Todas las nuevas filas son añadidas
Todas las filas antiguas que no están en el nuevo archivo son eliminadas
Una vez que la tabla es guardada, las filas insertadas son procesadas de manera asíncrona y actualizadas en la vista previa. Puede tardar hasta 10 minutos para que la actualización se complete.
Exportar una tabla de referencia
Para exportar una Tabla de Referencia, seleccione una tabla y haga clic en Query in DDSQL Editor. Desde allí, puede usar el Editor DDSQL para exportar a CSV, tableros y más.
Eliminar una Tabla de Referencia
Para eliminar una Tabla de Referencia, seleccione una tabla, haga clic en el ícono de engranaje en la esquina superior derecha y luego haga clic en Eliminar Tabla.
La tabla y todas las filas asociadas son eliminadas.
Si hay un Procesador de Búsqueda utilizando una Tabla de Referencia para el enriquecimiento de registros, entonces el enriquecimiento se detiene. Puede tardar hasta 10 minutos en detenerse el enriquecimiento.
Monitorear actividad de tabla de referencia
Puede monitorear la actividad de la Tabla de Referencia con Audit Trail o Eventos de Cambio. Para ver el Audit Trail y los eventos de cambio para una tabla de referencia específica, seleccione la tabla y haga clic en el ícono de Configuración junto a Actualizar Configuración. Necesita permisos de gestión de la organización para ver el Audit Trail.
Audit Trail
Utilice el Audit Trail para las Tablas de Referencia para rastrear acciones desencadenadas por el usuario. Los eventos del Audit Trail se envían cuando un usuario carga o importa inicialmente un archivo CSV, o cuando un usuario crea, modifica o elimina una Tabla de Referencia.
El reference_table_file tipo de activo muestra eventos de importación/carga y el reference_table tipo de activo muestra eventos de tabla de referencia. El Audit Trail proporciona visibilidad sobre el contenido de una tabla de referencia.
Eventos de cambio
Utilice eventos de cambio para las Tablas de Referencia para rastrear acciones automatizadas o desencadenadas por el usuario. Se envían cuando un archivo en la nube es importado por un usuario o por una actualización automática. (Cargar un archivo local no genera un evento de cambio.) Mientras que los eventos pueden rastrear acciones desencadenadas por el usuario, se utilizan principalmente para rastrear importaciones desencadenadas cuando una tabla de referencia extrae automáticamente un nuevo archivo CSV.
Los eventos contienen información sobre el estado de éxito, la ruta y el nombre de la tabla de la importación. Si ocurre un error, se proporciona información sobre el tipo de error.
Alerting
Para ser alertado sobre errores encontrados durante las importaciones, utilice Monitores de Eventos para eventos de cambio de la Tabla de Referencia. Los eventos de cambio de la Tabla de Referencia se envían desde la reference_tables fuente.
Puede crear monitores desde la pestaña Monitores, o hacer clic en el ícono de Configuración junto a Nueva Tabla de Referencia + para generar un monitor prellenado.
Límites de la Tabla de Referencia
Una Tabla de Referencia puede tener hasta 50 columnas.
El tamaño de un archivo de Tabla de Referencia subido a través de la interfaz de usuario puede ser de hasta 4 MB.
El tamaño de un archivo de Tabla de Referencia subido a través de un archivo de bucket en la nube puede ser de hasta 200 MB.
El tamaño de un archivo de Tabla de Referencia subido a través de una integración puede ser de hasta 200 MB.
Puede tener hasta 100 Tablas de Referencia por organización.
Contacte a soporte si tiene un caso de uso que excede estos límites.
Frecuencia de actualización automática
Las Tablas de Referencia pueden actualizarse automáticamente, dependiendo de la fuente de datos:
Almacenamiento de archivos en la nube (Amazon S3, Azure Storage, Google Cloud Storage): Cada 5 minutos
Integrations: Cada hora.
Subidas manuales de CSV: Las actualizaciones automáticas no son compatibles
Permisos
Acceso basado en roles
Para ver Tablas de Referencia, los usuarios requieren el reference_tables_read permiso. Para crear o modificar Tablas de Referencia, los usuarios requieren el reference_tables_write permiso.
