Observability Pipelines（観測データの制御）
Observability Pipelines は、US1-FED Datadog サイトではご利用いただけません。
概要
Observability Pipelines を使用すると、所有または管理するインフラストラクチャー内の観測可能性データ (ログとメトリクス (ベータ版)) を任意のソースから任意の宛先に収集、処理、およびルーティングすることができます。Observability Pipelines を使用すると、次のことが可能になります。
- ルーティングの前にデータ量をコントロールし、コスト管理を行うことができます。
- データをどこにでも転送できるため、ベンダーロックインを減らし、マイグレーションを簡素化できます。
- フィールドやタグを追加、パース、リッチ化、削除することで、ログやメトリクスを変換する。
- テレメトリーデータから機密データを編集する。
観測可能性パイプラインワーカーは、インフラストラクチャーで実行されるソフトウェアです。データを集計し、一元的に処理し、ルーティングします。より具体的には、ワーカーは以下のことが可能です。
- Agent、コレクター、フォワーダーによって収集されたすべての観測可能性データを受信またはプルします。
- 取り込んだデータを変換します (例: パース、フィルター、サンプル、リッチ化など )。
- 処理したデータを任意の宛先にルーティングします。
Datadog UI は、観測可能性パイプラインワーカーを管理するためのコントロールプレーンを提供します。パイプラインを監視して、パイプラインの健全性を理解し、ボトルネックやレイテンシーを特定し、パフォーマンスを微調整し、データ配信を検証し、最大のボリューム貢献者を調査することができます。データのサブセットを新しい宛先にルーティングしたり、新しい機密データの再編集ルールを導入するなど、パイプラインを構築または編集し、Datadog UI からアクティブなパイプラインにこれらの変更をロールアウトすることができます。
詳細はこちら
- 観測可能性パイプラインワーカーを設定します。
- データを収集、変換、ルーティングするパイプラインを作成します。
- Observability Pipelines を本番環境のスケールでデプロイする方法を確認します。
Observability Pipelines の確認
Observability Pipelines のインサイトの取得を開始します。
あらゆるソースからデータを収集し、あらゆる宛先にデータをルーティングする
あらゆるソースからログとメトリクス (ベータ版) を収集し、あらゆる宛先にルーティングすることで、ベンダーのロックインを減らし、移行を簡素化することができます。
ルーティングされる前にデータ量を制御する
ログとメトリクスをサンプリング、フィルタリング、重複排除、および集約することにより、観測可能性データのボリュームを最適化し、サイズを縮小します。データ標準を適用し、メトリクスのタグを制御することで、テレメトリーを管理します。
テレメトリーデータから機密データを編集する
すぐに使えるパターンで PII、PCI、秘密キーなどをスキャンし、インフラストラクチャーの外側にルーティングされる前に機密データを削除します。
パイプラインの健全性の監視
すべてのパイプラインのトポロジーを全体的に把握し、各フローに対する平均負荷、エラー率、スループットなどの主要なパフォーマンス指標を監視します。
その他の参考資料
