Data Streams Monitoring for Python のセットアップ
Data Streams Monitoring は、AP1 リージョンではサポートされていません。
前提条件
Data Streams Monitoring を開始するには、Datadog Agent と Python ライブラリの最新バージョンが必要です。
インストール
Python は自動インスツルメンテーションを使用して、Data Streams Monitoring がエンドツーエンドのレイテンシーやキューとサービス間の関係を測定するために必要な追加のメタデータを挿入し抽出します。Data Streams Monitoring を有効にするには、Kafka にメッセージを送信する (またはメッセージを消費する) サービス上で DD_DATA_STREAMS_ENABLED 環境変数を true に設定します。
例:
environment:
- DD_DATA_STREAMS_ENABLED: "true"
サポートされるライブラリ
Data Streams Monitoring supports the confluent-kafka library and kombu package.
SQS パイプラインの監視
Data Streams Monitoring uses one message attribute to track a message’s path through an SQS queue. As Amazon SQS has a maximum limit of 10 message attributes allowed per message, all messages streamed through the data pipelines must have 9 or less message attributes set, allowing the remaining attribute for Data Streams Monitoring.
Monitoring Kinesis Pipelines
There are no message attributes in Kinesis to propagate context and track a message’s full path through a Kinesis stream. As a result, Data Streams Monitoring’s end-to-end latency metrics are approximated based on summing latency on segments of a message’s path, from the producing service through a Kinesis Stream, to a consumer service. Throughput metrics are based on segments from the producing service through a Kinesis Stream, to the consumer service. The full topology of data streams can still be visualized through instrumenting services.
その他の参考資料
