Descripción general

Los seguimientos de Data Observability utilizan detección de anomalías que aprende de la estacionalidad, las tendencias y los comentarios de los usuarios para detectar datos retrasados, cargas incompletas y cambios de valor inesperados antes de que afecten a los tableros, las aplicaciones de IA o las decisiones comerciales posteriores. Combinados con el linaje de datos y código de extremo a extremo, estos seguimientos ayudan a los equipos a detectar problemas de manera temprana, evaluar el impacto posterior y dirigir el problema al propietario correcto.

Los seguimientos de Data Observability admiten los siguientes tipos de métricas:

Tipos de métricas a nivel de tabla:

Tipos de métricas a nivel de columna:

Datadog recopila métricas como el recuento de filas y la frescura a partir de los metadatos del sistema de los almacenes de datos (por ejemplo, INFORMATION_SCHEMA) cuando están disponibles. Esto evita ejecutar una consulta en su almacén y reduce los costos de cómputo. No todos los almacenes exponen metadatos del sistema. Para las métricas que no se pueden recopilar de los metadatos del sistema, el seguimiento ejecuta una consulta directamente en su almacén para calcular el valor.

Los seguimientos de Data Observability requieren que Quality Monitoring esté configurado con al menos un almacén de datos compatible (por ejemplo, Snowflake, Databricks, o BigQuery).

Data Observability ofrece cuatro tipos de seguimiento, seleccionados en el primer paso del flujo de creación de monitor:

A menos que se indique lo contrario, las secciones a continuación describen el tipo de seguimiento de calidad de datos.

Creación de un seguimiento

Para crear un seguimiento de Data Observability en Datadog, navegue a Data Observability > Monitors > New Monitor o Monitors > New Monitor > Data Observability. Para visualizar todos los seguimientos de Data Observability existentes, consulte la página de monitores de Data Observability.

Elegir datos para hacer un seguimiento

Primero, seleccione si desea hacer un seguimiento del nivel Table o Column:

Luego, use la pestaña Edit para buscar tablas, vistas o columnas escribiendo filtros key:value en el campo de búsqueda.

Filtrar por nombre o ubicación:

Filtrar por etiqueta:

Filtre por cualquier etiqueta aplicada a sus activos de datos usando la clave de etiqueta como clave de filtro. Por ejemplo, si sus activos están etiquetados con owner, platform o environment, busque directamente en esas etiquetas:

Los filtros de etiqueta admiten los mismos comodines * y comillas que los filtros de nombre, por ejemplo, owner:data-* o platform:"Snowflake Prod".

Filtrar por atributo calculado:

Además de sus propias etiquetas, Datadog calcula atributos para sus activos de datos sobre los cuales puede filtrar. El atributo calculado disponible es:

lineage_score se clasifica en los niveles discretos enumerados anteriormente en lugar de tomar un valor continuo, así que filtre por uno de esos valores exactos. Coincida con un solo nivel, o combine niveles con OR. Por ejemplo, lineage_score:1.00 devuelve sus activos con más dependencias, y lineage_score:(0.90 OR 1.00) devuelve los dos niveles superiores.

Combine cualquiera de estos filtros con AND o OR, use paréntesis para agrupar condiciones y añada el prefijo - para excluir.

Ejemplos:

Filtrar por relación de linaje:

Para limitar su selección a activos que están conectados a otro activo en su gráfico de linaje, haga clic en Add Relation Filter. Elija Upstream of o Downstream of, luego seleccione un activo específico o use los mismos filtros key:value para coincidir con un conjunto de activos. Por ejemplo, haga un seguimiento de cada tabla que esté aguas arriba de un tablero crítico, o cada columna aguas abajo de una tabla de fuente específica.

Filtrar por relación de jerarquía:

Para limitar su selección a activos que sean padres o hijos de otro activo en su gráfico de linaje, haga clic en Add Relation Filter. Elija Parent of o Child of, luego seleccione un activo específico o use los mismos filtros key:value para coincidir con un conjunto de activos. Por ejemplo, haga un seguimiento de cada tabla que tenga una columna revenue, o de cada tabla que esté dentro de un esquema crítico.

Un solo seguimiento puede rastrear hasta 5,000 tablas, vistas o columnas. Este límite no se puede aumentar. Si su consulta coincide con más, divídalos en varios seguimientos.

Seleccione su tipo de métrica

Elija un tipo de métrica según la señal de calidad de datos que desee rastrear. Cada seguimiento rastrea un tipo de métrica.

El tipo de métrica Freshness detecta cuando los datos no se han actualizado dentro de una ventana de tiempo esperada. Úselo para detectar datos obsoletos antes de que afecten a los informes o modelos aguas abajo.

• Frescura de la tabla rastrea el tiempo transcurrido desde que la tabla se actualizó por última vez. La actualidad de la tabla no está disponible para vistas o para almacenes de datos que no proporcionan marcas de tiempo actualizadas para las tablas en los metadatos del sistema. Utilice la actualidad a nivel de columna en su lugar.
• Actualidad de la columna rastrea la fecha más reciente vista en una columna de fecha y hora.

El tipo de métrica Row Count rastrea los cambios en el recuento de filas en sus tablas. Úsela para detectar caídas o picos inesperados en los datos que podrían indicar fallas en la canalización o problemas en los procesos ascendentes.

Column Los tipos de métricas rastrean métricas a nivel de columna para detectar la desviación de datos o la degradación de la calidad. Seleccione de lo siguiente:

Métrica	Descripción
Uniqueness	El porcentaje de valores en una columna que son únicos.
Nullness	El porcentaje de valores en una columna que son nulos.
Cardinality	La cantidad de valores distintos en una columna.
Percent Zero	El porcentaje de valores en una columna que son iguales a cero.
Percent Negative	El porcentaje de valores en una columna que son negativos.
Min	El valor mínimo de todos los valores en una columna.
Max	El valor máximo de todos los valores en una columna.
Mean	El promedio de todos los valores en una columna.
Standard Deviation	La medida de variación dentro de los valores en una columna.
Sum	La suma de todos los valores en una columna.

Algunas métricas de columna solo están disponibles para tipos de columna específicos. Las métricas numéricas (Porcentaje de cero, Porcentaje de negativos, Mínimo, Máximo, Promedio, Desviación estándar, Suma) requieren columnas numéricas.

El tipo de métrica Custom SQL rastrea un valor de métrica personalizado devuelto por una consulta SQL que usted define. Úselo cuando los tipos de métricas integrados no cubran su caso de uso, como el monitoreo de reglas de calidad de datos específicas del negocio.

1. Seleccione un tipo de modelo que describa el valor devuelto por su consulta:
   • Default: La consulta devuelve un valor escalar. Utilice esto en la mayoría de los casos.
   • Freshness: La consulta devuelve la diferencia (en segundos) entre la hora actual y la última vez que ocurrió un evento.
   • Percentage: La consulta devuelve un valor porcentual entre 0 y 100.
2. Escriba una consulta SQL que devuelva un único valor con el alias dd_value, por ejemplo: SELECT COUNT(*) as dd_value FROM ANALYTICS_DB.PROD.ORDERS WHERE STATUS = 'FAILED'
3. Haga clic en Validate para verificar la sintaxis de su consulta.

Si su consulta SQL incluye una cláusula GROUP BY, enumere las columnas agrupadas como una lista separada por comas en el campo Group by (por ejemplo, column_a, column_b). Cada grupo se evalúa de forma independiente.

Nota: Cada monitor de SQL personalizado cuenta como una tabla monitoreada individual para fines de facturación.

Configurar monitor

Método de detección

Seleccione un método de detección:

• Anomalies: Alerta cuando la métrica se desvía de un patrón esperado. No se requieren valores de umbral. El modelo de anomalía requiere de 3 a 7 días para entrenarse (incluyendo un fin de semana), dependiendo de la frecuencia con la que se actualicen los datos subyacentes. Durante el período de entrenamiento, el monitor no activa alertas y se visualiza en azul. Una vez completado el entrenamiento, el monitor se muestra en verde cuando está en un estado normal y en rojo cuando está en un valor anómalo.
• Thresholds: Alerta cuando la métrica cruza un valor fijo. Establezca el operador de comparación (above, above or equal to, below, below or equal to, equal to o not equal to) y defina un umbral Critical (obligatorio) y, opcionalmente, un umbral Warning. Para obtener más detalles, consulte Configure Monitors.

Cláusula WHERE

Agregue una cláusula WHERE para filtrar los datos evaluados por el monitor. Esto es útil para monitorear segmentos específicos de datos o solo registros recientes. Por ejemplo:

• created_at >= DATEADD(day, -7, CURRENT_TIMESTAMP()) — solo hacer un seguimiento de las filas de la última semana.
• region = 'US' — solo hacer un seguimiento de los datos de una región específica.

Agrupar por

Puede agregar una cláusula Group by para dividir un solo monitor en varios grupos, cada uno evaluado de forma independiente. Por ejemplo, agrupar un monitor de recuento de filas por una columna REGION genera una alerta independiente para cada geografía.

El límite predeterminado es de 500 grupos por monitor. Para aumentar este límite, contacte a Soporte.

Datos faltantes

En el menú desplegable If data is missing to evaluate, seleccione lo que informa el monitor cuando no hay datos disponibles para una evaluación.

Configuración del modelo

Para monitores que utilizan el método de detección Anomalies, expanda Model configuration para refinar cómo se comporta el modelo:

Programación del monitor

Establezca con qué frecuencia el monitor evalúa sus datos:

• Scheduled: El monitor se ejecuta con una cadencia fija. En Run this monitor, seleccione Hourly, Every 3 hours, Every 6 hours, Every 12 hours, Daily o Custom schedule.
• Manual (Vista previa): El monitor se ejecuta solo cuando se activa mediante programación. Active estos monitores usando la Data Observability API en un horario para acumular suficientes datos históricos para que el modelado sea útil. La interfaz de usuario no admite métricas predeterminadas como recuentos de filas y actualidad, por lo que este flujo de trabajo se aplica a métricas personalizadas o de nivel de columna.

Para definir su propia cadencia, seleccione Custom schedule y proporcione una expresión cron. Un horario personalizado puede ejecutarse con una frecuencia de hasta cada 15 minutos. Preview times enumera las próximas ejecuciones en su zona horaria local, para que pueda confirmar la expresión antes de guardarla.

Establecer condiciones de alerta

Elija un tipo de agregación:

• Simple Alert: Enviar una única notificación cuando cualquier tabla o columna monitorizada cumpla la condición.
• Multi Alert: Enviar una notificación por cada grupo que cumpla la condición. Personalice las dimensiones por las que agrupar (por ejemplo, table, schema, database) para controlar la granularidad de la alerta. Por ejemplo, agrupar por schema solo envía una alerta por esquema, agrupando todas las tablas afectadas para reducir el ruido.

Ejemplo de notificación

{{#is_alert}}
Data quality issue detected on {{database.name}}.{{schema.name}}.{{table.name}}:
current value {{value}} has breached the threshold of {{threshold}}.
{{/is_alert}}

{{#is_recovery}}
Data quality issue on {{database.name}}.{{schema.name}}.{{table.name}} has recovered.
Current value {{value}} is within the threshold of {{threshold}}.
{{/is_recovery}}

{{#is_alert}}
Anomaly detected on {{database.name}}.{{schema.name}}.{{table.name}}:
observed value {{observed}} is outside the expected range of {{lower_bound}} to {{upper_bound}}
(predicted: {{predicted}}).
{{/is_alert}}

{{#is_recovery}}
{{database.name}}.{{schema.name}}.{{table.name}} has recovered.
Observed value {{observed}} is within the expected range.
{{/is_recovery}}

Monitores de fuente a destino

Un monitor de fuente a destino compara la misma métrica en dos activos de datos y alerta cuando los dos valores divergen. Otros monitores de Data Observability hacen un seguimiento de si un solo activo está actualizado o completo. Un monitor de origen a destino rastrea si la copia que llegó a un destino coincide con lo que salió del origen.

Cuando una canalización mueve datos entre sistemas, las fallas parciales rara vez parecen fallas. Si 100,000 filas salen de una tabla de fuente y 99,850 filas llegan al destino, un monitor de recuento de filas solo en el destino ve un valor plausible. Comparar los dos activos revela la brecha.

Utilice un monitor de origen a destino para:

• Validar la replicación de Postgres a Databricks.
• Conciliar dos bases de datos dentro de la misma cuenta de Snowflake, por ejemplo, una base de datos de calidad frente a la de producción.
• Verificar una migración de Redshift a BigQuery antes del cambio, ejecutando ambos sistemas simultáneamente y confirmando que coincidan.
• Confirmar que una transformación no elimine filas entre su entrada y su salida.

Los monitores de fuente a destino están disponibles en todas las regiones excepto en GovCloud.

Crear un seguimiento de fuente a destino

1. Navegue a Monitors > New Monitor y seleccione Source to Target.
2. En Choose source, seleccione el almacén que contiene los datos de fuente, luego seleccione los datos a comparar.
3. En Choose target, haga lo mismo para el destino. La fuente y el destino pueden estar en diferentes almacenes de datos o en el mismo.
4. En Select your metric type, elija la métrica para comparar. Los seguimientos de fuente a destino admiten los mismos tipos de métricas que otros seguimientos de Data Observability, incluidos el recuento de filas, la frescura, la nulidad, la unicidad, la cardinalidad y Custom SQL.
5. Configure Format para controlar cómo se expresa la comparación:
   • Difference: el valor de destino menos el valor de fuente. Un valor negativo significa que el destino tiene menos que la fuente.
   • % Difference: la misma diferencia como un porcentaje del valor de la fuente.
6. Configure el método de detección, el horario y las notificaciones como se describe en Configurar seguimiento.

El Preview Monitor Evaluation panel muestra la fuente y el destino identificados, junto con una vista previa de la métrica seleccionada.

El activo monitoreado es el destino, por lo que el seguimiento aparece en la página de estado del destino.

Comparar una métrica personalizada

Cuando el tipo de métrica sea Custom SQL, proporcione una consulta para la fuente y una consulta para el destino. No se acepta una cláusula WHERE para este tipo de métrica. Incluya cualquier filtrado en cada consulta.

Evaluación

La diferencia entre la fuente y el destino se registra como su propia métrica, por lo que un seguimiento de fuente a destino se evalúa mediante los mismos métodos de detección que cualquier otro seguimiento de Data Observability, incluida la detección de anomalías. Ambos lados se miden en un horario sincronizado, por lo que los dos valores se capturan al mismo tiempo en lugar de seguir la cadencia de recolección predeterminada de cada almacén.

Seguimientos de cambio de esquema

Un seguimiento de cambio de esquema alerta cuando la estructura de sus datos cambia, en lugar de cuando cambia su contenido. Úselo para detectar un cambio ascendente antes de que interrumpa una canalización o un tablero descendente, como cuando se elimina, cambia de nombre o se cambia una columna a un tipo de datos diferente.

Los seguimientos de cambios de esquema detectan cuatro tipos de cambios en bases de datos, esquemas, tablas y columnas:

Los cambios de esquema se detectan para Snowflake, BigQuery, Databricks y Redshift.

Crear un seguimiento de cambios de esquema

1. Navegue a Monitors > New Monitor > Schema Change.
2. En Choose data to monitor, seleccione el almacén que desea incluir en el seguimiento.
3. Configure las notificaciones como se describe en Configurar seguimiento.

Un seguimiento de cambios de esquema no requiere un tipo de métrica ni un método de detección, ya que alerta sobre un cambio estructural en lugar de un valor medido que supera un límite.

Explorar cambios de esquema detectados

Para ver los cambios que Datadog ha detectado sin crear un seguimiento, vaya a Data Observability > Schema Changes. Filtre por plataforma, cuenta, base de datos, esquema o tipo de cambio, y expanda una entrada para ver las columnas afectadas y sus tipos de datos.

Los cambios se detectan cuando Datadog recopila los metadatos del esquema de su almacén la próxima vez y compara la estructura actual con la recopilada anteriormente.

Ejemplos de seguimientos

Anotar límites

Para los seguimientos que utilizan el método de detección de anomalía, puede anotar rangos de límites para proporcionar comentarios y mejorar el modelo con el tiempo. A diferencia de las métricas de infraestructura, las métricas de calidad de datos suelen ser específicas del negocio, así que utilice anotaciones para enseñar al modelo qué comportamiento es normal para sus datos.

En la página de estado de un seguimiento, haga clic en Annotate Bounds, seleccione un rango de tiempo en el gráfico y elija una de las siguientes anotaciones:

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Descripción general de Data ObservabilityDOCUMENTACIÓN Quality MonitoringDOCUMENTACIÓN Configure las notificaciones de seguimientoDOCUMENTACIÓN Programe un tiempo de inactividad para silenciar un seguimientoDOCUMENTACIÓN Consulte el estado de su seguimientoDOCUMENTACIÓN