概要

Data Observability（DO）は、データチームが分析やAIアプリケーション向けのデータの信頼性を向上させ、データパイプラインのパフォーマンスとコストを最適化するのに役立ちます。本番環境から消費に至るまでの Quality Monitoring と Jobs Monitoring を統合することで、チームはコストとパフォーマンスを最適化しながら、問題をより迅速に検知および修復できます。

主な機能

• 障害を早期に検知: Snowflake、Databricks、BigQuery などのウェアハウス内の不正なデータを、ML を活用したモニターで、ダッシュボード、関係者、または AI モデルに影響が及ぶ前に検知します。Databricks、Spark、Airflow、またはdbtで実行されるジョブのアップストリームパイプラインの障害を検知します。
• 修復を加速: エンドツーエンドのリネージを使用して根本原因を特定し、インシデントの影響範囲を評価し、適切な担当者に割り当てることで、トリアージを迅速化します。パイプライン内のどのジョブが失敗または遅延したかを表示し、ジョブ実行トレースとログに切り替えて原因を特定します。
• コストとパフォーマンスを最適化: SparkやDatabricksのジョブとクラスターのコストと効率を可視化し、推奨事項を活用してクラスター構成、コード、クエリを最適化します。
• エンドツーエンドの可観測性を統合: データ品質、パイプライン実行、インフラストラクチャーのシグナルを1か所で関連付け、データライフサイクル全体を網羅します。

始める

参考資料

役立つドキュメント、リンク、記事:

Datadog が Metaplane を買収し、データチームに Data Observability をもたらします。ブログ Datadog で Google Cloud AI スタックを評価、最適化、保護します。ブログ データパイプライン監視の基礎: データスタック全体の健全性とパフォーマンスを追跡します。ブログ