Data Observability モニターの異常検知
This product is not supported for your selected
Datadog site. (
).
注: このページは、異常検知ベースの Data Observability モニターにのみ適用されます。モニターがしきい値検知方法を使用している場合、このコンテンツは適用されません。
概要
デフォルトでは、Data Observability モニターは、テーブルの鮮度や行数などのデータ品質メトリクスの一般的なパターンに合わせて調整された異常検知モデルを使用します。
モデルはメトリクスの履歴から学習し、予測される範囲を設定します。観測値がその範囲から外れると、モニターがアラートを送信します。
トレーニング期間
異常検知モニターを作成すると、トレーニング期間に入ります。トレーニング中、モニターは履歴値を収集し、メトリクスのベースライン動作を学習します。この期間中はアラートを送信せず、モニターチャートは青色で表示されます。
トレーニングには通常 3 〜 9 日かかります。多くのデータパイプラインは週末に異なる動作をするため、モデルは平日と週末の両方の動作を観測する必要があります。
トレーニングが完了すると、モニターはアラートを送信できるようになります。チャートには時間の経過に伴う観測値が表示され、線の上下には期待値を示す網掛け領域として範囲が表示されます。色は現在の状態を示します。
| 色 | 状態 | 説明 |
|---|
| ブルー | トレーニング | モニターはベースライン動作を学習中です。アラートは送信されません。 |
| グリーン | 正常 | 観測値は予測される範囲内にあります。 |
| レッド | アラート | 観測値が予測される範囲を外れました。 |
アラート状態
異常が検出されると、モデルは、観測値が元の予測される範囲内に戻るか、異常が十分に長く継続してモデルがそれを新しい正常状態と見なすまで、一定期間アラート状態を維持します。モニターを手動で解決し、正常状態に戻すには、アノテーションを使用してください。
メトリクス固有の動作
モデルはメトリクスごとに異なる動作をします。
鮮度
鮮度モニターは、前回の更新からの経過時間が過去の更新パターンに基づいて想定よりも長い場合にアラートを送信します。モデルは上限に小さなバッファを追加し、軽微な遅延でアラートを送信しないようにします。
行数
行数モニターは、異常な変化があった場合だけでなく、行数が横ばいになった (つまり、通常よりも長い間変化がない) 場合にもアラートを送信します。行数が停滞している場合は、パイプラインが破損している可能性があります。
パーセンテージ (例: null 値、一意性)
パーセンテージメトリクスは 0 から 100 の範囲でスケーリングされます。メトリクスがこれまで 0 や 100 になったことがない場合、これらの値への変化がアラートを送信します。
カスタム SQL
カスタム SQL モニターでは、メトリクスのモデルタイプとして 鮮度、パーセンテージ、またはデフォルトを選択します。 デフォルトモデルは、メトリクスの履歴から範囲を推論します。たとえば、カスタムメトリクスが負の値を返したことがない場合、モデルは下限を 0 に制限します。
季節性
このモデルは最大 400 日分の履歴を使用して、季節的なパターン、傾向、および過去のアノテーションに合わせて調整を行います。たとえば、あるメトリクスが日曜日に一貫して低下する場合、モデルは日曜日の低い値を異常ではなく正常として扱います。
以下の季節的パターンが検出されます。
| パターン | 説明 |
|---|
| 時間 | 営業時間中に高い行数を示すなど、日中のパターンに従うメトリクス。 |
| 曜日ごとの時間帯 | 1 時間単位の粒度で 1 週間を通して一貫したパターンを持つメトリクス。 |
| 曜日 | 日曜日のアクティビティが低いなど、曜日によって異なるメトリクス。 |
| 月内の日 | 月末の急増など、暦月に関係する繰り返しパターンを持つメトリクス。 |
すべての季節的パターンがすべてのメトリクスタイプで利用できるわけではありません。さらに、モデルが特定のパターンを検出するには、正常な履歴の複数の完全なサイクルが必要です。
傾向
モデルは、メトリクスが時間の経過とともに増加しているか減少しているかを考慮します。毎週一貫して行が増加するメトリクスの場合、モデルは成長を異常として扱うのではなく、変化の方向と割合に基づいて想定値を調整します。
アノテーション
アノテーションを使用すると、モデルがアラートを見逃したり誤ったアラートを生成したりしてポイントを誤分類した場合に、すぐにモデルを再トレーニングできます。データ品質の想定値はメトリクス固有であることが多いため、アノテーションはチームのニーズに合わせてモデルを調整するための主要な方法となります。
アノテーションには 2 つの効果があります。
- 現在の状態の修正: フラグが立てられたポイントを想定通りとしてマークすると、次の観測時にモニターがアラート状態から正常状態に移行するため、新しい異常についてアラートを送信することができます。
- 将来の予測の形成: モデルはアノテーションが付けられたポイントを使用して将来の境界を調整するため、フィードバックによって精度が即座に向上します。
利用可能なアノテーションの種類と適用方法については、Data Observability モニターページの境界にアノテーションを付けるを参照してください。
参考資料