Druid

概要

Datadog Agent は DogStatsD を使用して Druid からメトリクスを収集します。DogStatsD は Druid のクエリ、取り込み、コーディネーションデータに関するメトリクスを収集します。詳細については、Druid メトリクスドキュメントをご参照ください。

メトリクスの収集に加え、Agent はDruid の健全性に関連するサービスチェックも送信します。

セットアップ

前提条件

このインテグレーションが正常に動作するには Druid 0.16 以上が必要です。

インストール

Druid インテグレーショが正常に動作するためには、下記の 2 ステップを実施する必要があります。ステップを開始する前に Datadog Agent をインストールしてください。

ステップ 1: 健全性メトリクスとサービスチェックを収集するように Druid を構成する

健全性メトリクスとサービスチェックを収集するように、Datadog Agent パッケージに含まれている Druid チェックを構成します。

1. Agent のコンフィギュレーションディレクトリのルートにある conf.d/ フォルダーで druid.d/conf.yaml ファイルを編集し、Druid サービスチェックの収集を開始します。利用可能なすべてのコンフィギュレーションオプションについては、 druid.d/conf.yaml のサンプルをご参照ください。
2. Agent を再起動します。

ステップ 2: 拡張子 statsd-emitter を使用して Druid をDogStatsD (Datadog Agent に含まれる) に関連付け、メトリクスの収集を開始する

statsd-emitter 拡張子を構成して多数の Druid メトリクスを収集するためのステップを以下に示します。

1. Druid 拡張子 statsd-emitter をインストールします。

   $ java \
     -cp "lib/*" \
     -Ddruid.extensions.directory="./extensions" \
     -Ddruid.extensions.hadoopDependenciesDir="hadoop-dependencies" \
     org.apache.druid.cli.Main tools pull-deps \
     --no-default-hadoop \
     -c "org.apache.druid.extensions.contrib:statsd-emitter:0.15.0-incubating"
   

   本ステップの詳細情報については、Druid 拡張子のロードに関する公式ガイドをご確認ください。

2. 下記のコンフィギュレーションを追加して、Druid Java プロパティを更新します。

   # Add `statsd-emitter` to the extensions list to be loaded
   druid.extensions.loadList=[..., "statsd-emitter"]
   
   # By default druid emission period is 1 minute (PT1M).
   # We recommend using 15 seconds instead:
   druid.monitoring.emissionPeriod=PT15S
   
   # Use `statsd-emitter` extension as metric emitter
   druid.emitter=statsd
   
   # Configure `statsd-emitter` endpoint
   druid.emitter.statsd.hostname=127.0.0.1
   druid.emitter.statsd.port:8125
   
   # Configure `statsd-emitter` to use dogstatsd format. Must be set to true, otherwise tags are not reported correctly to Datadog.
   druid.emitter.statsd.dogstatsd=true
   druid.emitter.statsd.dogstatsdServiceAsTag=true
   

3. Druid を再起動すると、DogStatsD を通して Agent に向けて Druid メトリクスの送信が開始されます。

インテグレーションサービスチェック

druid.d/conf.yaml ファイルのデフォルトコンフィギュレーションを使用して、Druid サービスチェックの収集を有効にします。利用可能なすべてのコンフィギュレーションオプションについては、druid.d/conf.yaml のサンプルをご参照ください。

ログの収集

Agent バージョン 6.0 以降で利用可能

1. デフォルトでは、Datadog Agent のログの収集は無効化されています。以下のように datadog.yaml ファイルを使用して有効化します。

   logs_enabled: true
   

2. druid.d/conf.yaml の下部にある、コンフィギュレーションブロックのコメントを解除して編集します。

   logs:
     - type: file
       path: '<PATH_TO_DRUID_DIR>/var/sv/*.log'
       source: druid
       service: '<SERVICE_NAME>'
       log_processing_rules:
         - type: multi_line
           name: new_log_start_with_date
           pattern: \d{4}\-\d{2}\-\d{2}
   

   path パラメーターと service パラメーターの値を変更し、環境に合わせて構成します。

3. Agent を再起動します。

検証

Agent のステータスサブコマンドを実行し、Checks セクションで druid を探します。

収集データ

メトリクス

イベント

Druid チェックには イベントは含まれません。

サービスのチェック

druid.service.can_connect
Returns CRITICAL if the check cannot connect to Druid service. Returns OK otherwise.
Statuses: ok, critical

druid.service.health
Returns CRITICAL if Druid service is not healthy. Returns OK otherwise.
Statuses: ok, critical

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。