Présentation

Data Observability (DO) aide les équipes de données à améliorer la fiabilité des données pour les applications d’analyse et d’IA, et à optimiser les performances et les coûts des pipelines de données. En unifiant la surveillance de la qualité et des travaux, de la production à la consommation, les équipes peuvent détecter et résoudre les problèmes plus rapidement tout en optimisant les coûts et les performances.

Fonctionnalités clés

• Détectez les échecs précocement : Repérez les données erronées dans des entrepôts comme Snowflake, Databricks et BigQuery grâce à des monitors basés sur le ML avant que les dashboards, les parties prenantes ou les modèles d’IA ne soient impactés. Détectez les échecs de pipeline en amont dans les travaux exécutés sur Databricks, Spark, Airflow ou dbt.
• Accélérez la remédiation : Triez plus rapidement en utilisant la lignée de bout en bout pour identifier les causes profondes, évaluer le rayon d’impact des incidents et acheminer vers le bon responsable. Visualisez quel job dans le pipeline a échoué ou a été retardé, et basculez vers les traces d’exécution et les logs des jobs pour en déterminer la raison.
• Optimisez les coûts et les performances : Obtenez une visibilité sur le coût et l’efficacité des travaux et clusters Spark et Databricks, et utilisez les recommandations pour optimiser la configuration des clusters, le code et les requêtes.
• Unifiez l’observabilité de bout en bout : Corrélez la qualité des données, l’exécution des pipelines et les signaux d’infrastructure en un seul endroit, couvrant l’ensemble du cycle de vie des données.

Démarrez

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Datadog apporte l'observabilité aux équipes de données en acquérant Metaplane.BLOG Évaluez, optimisez et sécurisez votre pile d'IA Google Cloud avec Datadog.BLOG Surveillance des pipelines de données : notions de base – suivi de l'état et des performances dans la pile de donnéesBLOG