Observability Pipelines

概要

Datadog Observability Pipelines を使用すると、自身のインフラストラクチャー内での収集と処理が可能になり、データを異なる送信先にルーティングできます。これにより、オブザーバビリティデータが環境から送信される前にデータを制御できるようになります。

すぐに使えるテンプレートを使用して、機密データの編集、データのエンリッチ化、ノイズの多いイベントのフィルタリング、Datadog、SIEM ツール、クラウドストレージなどの送信先へのデータルーティングを行うパイプラインを構築できます。

主要コンポーネント

Observability Pipelines Worker

Observability Pipelines Worker はインフラストラクチャー内で実行され、データの集約、処理、ルーティングを行います。

Datadog では、Observability Pipelines Worker (OPW) をマイナーリリースやパッチリリースのたび、または少なくとも月に 1 回更新することを推奨しています。

OPW のメジャーバージョンにアップグレードし、常に最新の状態に保つことが、最新の OPW 機能、修正、およびセキュリティアップデートを入手するための唯一のサポートされている方法です。最新の Worker バージョンに更新するには、Worker のアップグレードを参照してください。

Observability Pipelines UI

Observability Pipelines UI は、以下を実行できる一元化されたコントロールプレーンを提供します。

ガイド付きテンプレートを使用してパイプラインを構築および編集します。
Worker をデプロイおよび管理します。
モニターを有効にしてパイプラインの健全性を追跡します。

開始する

Observability Pipelines に移動します。
ユースケースに基づいてテンプレートを選択します。
パイプラインをセットアップします。
1. ログソースを選択します。
2. プロセッサを構成します。
3. 1 つ以上の送信先を追加します。
環境に Worker をインストールします
パイプラインの健全性をリアルタイムで監視するためにモニターを有効にします。

詳細な手順については、パイプラインのセットアップを参照してください。

一般的なユースケースとテンプレート

Observability Pipelines には、一般的なデータルーティングおよび変換ワークフロー向けの構築済みテンプレートが含まれています。ニーズに合わせて完全にカスタマイズしたり組み合わせたりすることができます。

テンプレート

テンプレート	説明
ログをアーカイブする	長期保存および再ハイドレーションのために、生のログを Amazon S3、Google Cloud Storage、または Azure Storage に保存します。
ログをデュアル送信する	同じログストリームを複数の送信先 (Datadog や SIEM など) に送信します。
ログベースのメトリクスを生成する	大容量のログをカウントまたは分布メトリクスに変換し、ストレージの必要量を削減します。
ログエンリッチメント	参照テーブルや静的マッピングからメタデータを追加し、クエリをより効果的にします。
ログボリュームの制御	保存前に価値の低いログをフィルタリングすることで、インデックス化されたログの量を削減します。
機密データの削除	組み込みルールまたはカスタムルールを使用して、個人を特定できる情報 (PII) やシークレットを検出して削除します。
ログを分割する	ログをタイプ (例: セキュリティとアプリケーション) ごとに異なるツールへルーティングします。

テンプレート	説明
メトリクスタグのガバナンス	必要なメトリクスのみを保持し、メトリクスのタグ付けを標準化し、不要なタグを削除してカーディナリティの増大を防ぐことで、メトリクスの品質と量を管理します。

テンプレート	説明
トレースサンプリング	トレースを取り込み、処理し、ルーティングすることで、トラブルシューティングや分析に必要なトレースを保持しながらコストを管理します。

詳細については、テンプレートのチェックを参照してください。