Descripción general

Data Observability (DO) ayuda a los equipos de datos a mejorar la confiabilidad de los datos para aplicaciones de análisis e IA, y a optimizar el rendimiento y los costos de las canalizaciones de datos. Al unificar Quality Monitoring y Jobs Monitoring desde la producción hasta el consumo, los equipos pueden detectar y remediar problemas más rápido mientras optimizan el costo y el rendimiento.

Capacidades clave

• Detecte fallas tempranamente: Detecte datos incorrectos en almacenes como Snowflake, Databricks y BigQuery a través de monitores basados en ML antes de que los dashboards, las partes interesadas o los modelos de IA se vean afectados. Detecte fallas en el upstream pipeline en trabajos ejecutados en Databricks, Spark, Airflow o dbt.
• Acelere la corrección: Clasifique más rápido utilizando el linaje de extremo a extremo para identificar las causas raíz, evaluar el alcance del incidente y dirigirlo al propietario correcto. Visualice qué trabajo en el pipeline falló o se retrasó, y acceda a las trazas y registros de ejecución del trabajo para determinar por qué.
• Optimice el costo y el rendimiento: Obtenga visibilidad sobre el costo y la eficiencia de los trabajos y clústeres de Spark y Databricks, y utilice las recomendaciones para optimizar la configuración del clúster, el código y las consultas.
• Unifique la observabilidad de extremo a extremo: Correlacione la calidad de los datos, la ejecución del pipeline y las señales de infraestructura en un solo lugar, abarcando todo el ciclo de vida de los datos.

Comience

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Datadog lleva la observabilidad a los equipos de datos mediante la adquisición de MetaplaneBLOG Evalúe, optimice y asegure su pila de IA de Google Cloud con DatadogBLOG Seguimiento de canalización de datos 101: seguimiento del estado y el rendimiento en toda la pila de datosBLOG