データストリーム モニタリング

Data Streams Monitoring は、大規模なパイプラインを理解し管理するための標準的な方法を提供し、以下を容易にします。

• システム内を通過するイベントのエンドツーエンドのレイテンシーでパイプラインの健全性を測定します。
• 障害のあるプロデューサー、コンシューマー、キューを特定し、関連するログやクラスターにピボットして、トラブルシューティングを迅速に行います。
• バックアップされたイベントがダウンストリームのサービスを圧倒するのを阻止するために、サービスオーナーが装備することによって、連鎖的な遅延を防止します。

セットアップ

まずは、インストールの説明に従って、Data Streams Monitoring でサービスを構成してください。

Data Streams Monitoring の調査

新しいメトリクスでエンドツーエンドのパイプラインの健全性を測定する

Data Streams Monitoring を構成すると、非同期システム内の任意の 2 点間をイベントが通過するのにかかる時間を測定することができます。

また、これらのメトリクスを任意のダッシュボードやノートブックでグラフ化し、視覚化することができます。

あらゆる経路のエンドツーエンドのレイテンシーを監視する

イベントがシステム内をどのように通過するかによって、異なる経路でレイテンシーが増加する可能性があります。Pathways タブでは、キュー、プロデューサー、コンシューマーを含むパイプラインの任意の 2 点間のレイテンシーを表示し、ボトルネックの特定とパフォーマンスの最適化を行うことができます。経路のモニターを簡単に作成したり、ダッシュボードにエクスポートすることができます。

受信したメッセージを任意のキュー、サービス、クラスターに属性付けする

消費型サービスでの遅延の増加、Kafka ブローカーでのリソース使用の増加、RabbitMQ または Amazon SQS のキューサイズの増加は、隣接するサービスがこれらのエンティティに生成またはエンティティから消費する方法の変更によって、頻繁に説明されます。

Data Streams Monitoring の任意のサービスやキューで Throughput タブをクリックすると、スループットの変化と、その変化がどの上流または下流のサービスに起因するものかを迅速に検出できます。サービスカタログを構成すると、対応するチームの Slack チャンネルやオンコールエンジニアにすぐにピボットすることができます。

単一の Kafka、RabbitMQ または Amazon SQS のクラスターにフィルターをかけることで、そのクラスター上で動作するすべての検出されたトピックまたはキューについて、送受信トラフィックの変化を検出することができます。

インフラストラクチャー、ログ、トレースから根本原因を特定するために素早くピボットする

Datadog は、統合サービスタグ付けを通して、サービスを駆動するインフラストラクチャーと関連するログを自動的にリンクするので、ボトルネックを簡単に特定することができます。経路のレイテンシーやコンシューマーの遅延が増加した理由をさらにトラブルシューティングするには、Infra または Logs タブをクリックします。経路内のトレースを表示するには、Processing Latency タブをクリックします。

その他の参考資料

お役に立つドキュメント、リンクや記事:

Kafka インテグレーションドキュメント Amazon SQS インテグレーションドキュメント サービスカタログDOCUMENTATION Datadog Data Streams Monitoring でストリーミングデータパイプラインのパフォーマンスを追跡し、改善するブログ