概要

Amazon Managed Streaming for Apache Kafka (MSK) は、Apache Kafka を使用してストリーミングデータを処理するアプリケーションを、簡単に構築して実行できるフルマネージド型のサービスです。

このインテグレーションからメトリクスを収集する方法は、Datadog Agent を使用する方法と、クローラーを使用して CloudWatch からメトリクスを収集する方法の 2 通りあります。

MSK インテグレーションを強化する手段として、Data Streams Monitoring の利用を検討してください。このソリューションではパイプラインを可視化し、ラグ (遅延) を追跡できるため、ボトルネックの特定と解消に役立ちます。

セットアップ

Agent チェックは、Datadog Agent を通じて、Amazon Managed Streaming for Apache Kafka (Amazon MSK) を監視します。

ホストで実行されている Agent 用にこのチェックをインストールおよび構成する場合は、以下の手順に従ってください。コンテナ環境の場合は、オートディスカバリーのインテグレーションテンプレートのガイドを参照してこの手順を行ってください。

この OpenMetrics ベースのインテグレーションには、最新モード (use_openmetrics: true) とレガシーモード (use_openmetrics: false) があります。すべての最新機能を利用するために、Datadog は最新モードを有効にすることを推奨します。詳しくは、OpenMetrics ベースのインテグレーションにおける最新バージョニングとレガシーバージョニングを参照してください。

インストール

1. まだ作成していない場合は、クライアント マシンを作成します。
2. クライアント マシンに権限ポリシー (arn:aws:iam::aws:policy/AmazonMSKReadOnlyAccess) が付与されている、または同等の資格情報が利用可能であることを確認します。
3. JmxExporter と NodeExporter を有効にするため、MSK 側で Prometheus によるオープン モニタリング を有効にします。
4. 先ほど作成したクライアント マシンに Datadog Agent をインストールします。

構成

1. Amazon MSK のパフォーマンスデータの収集を開始するには、Agent の構成ディレクトリのルートにある conf.d/ フォルダーの amazon_msk.d/conf.yaml ファイルを編集します。

   このインテグレーションで提供されるすべてのメトリクスとサービス チェックに関連付けられるカスタム タグ を含めます。

   tags:
     - <KEY_1>:<VALUE_1>
     - <KEY_2>:<VALUE_2>
   

   最新モードで利用可能なすべての構成オプションについては、amazon_msk.d/conf.yaml のサンプル を参照してください。このインテグレーションのレガシー モードについては、レガシーの構成例 を参照してください。

2. Agent を再起動します。

検証

Agent の status サブ コマンドを実行 し、Checks セクションで amazon_msk を探します。

収集データ

メトリクス

イベント

Amazon MSK チェックには、イベントは含まれません。

サービスチェック

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。

その他の参考資料

お役に立つドキュメント、リンクや記事:

• Datadog による Amazon Managed Streaming for Apache Kafka の監視