flume

Supported OS Linux Mac OS Windows

インテグレーションバージョン0.0.1

概要

このチェックは Apache Flume を監視します。

セットアップ

Flume チェックは Datadog Agent パッケージに含まれていないため、お客様自身でインストールする必要があります。

インストール

Agent v7.21 / v6.21 以降の場合は、下記の手順に従い Flume チェックをホストにインストールします。Docker Agent または 上記バージョン以前の Agent でインストールする場合は、コミュニティインテグレーションの使用をご参照ください。

  1. 以下のコマンドを実行して、Agent インテグレーションをインストールします。

    datadog-agent integration install -t datadog-flume==<INTEGRATION_VERSION>

  2. コアのインテグレーションと同様にインテグレーションを構成します。

コンフィギュレーション

  1. 以下の JVM 引数を flume-env.sh に追加して、Flume Agent を構成し JMX を有効にします。
export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

  1. Flume パフォーマンスデータの収集を開始するには、Agent の構成ディレクトリのルートにある conf.d/ フォルダーの flume.d/conf.yaml ファイルを編集します 。 使用可能なすべてのコンフィギュレーションオプションについては、サンプル flume.d/conf.yaml ファイルを参照してください。

    このチェックでは、インスタンスあたりのメトリクス数が 350 に制限されています。返されたメトリクスの数は、情報ページに表示されます。 以下で説明する構成を編集することで、関心があるメトリクスを指定できます。 収集するメトリクスをカスタマイズする方法については、JMX チェックのドキュメントで詳細な手順を参照してください。 制限以上のメトリクスを監視する必要がある場合は、Datadog のサポートチームまでお問い合わせください。

  2. Agent を再起動します

検証

Agent の status サブコマンドを実行し、Checks セクションで flume を探します。

コンポーネントメトリクス

このチェックによって取得されるメトリクスは、Flume Agent が使用するソース、チャネル、シンクによって異なります。各コンポーネントによって公開されるメトリクスの完全なリストについては、Apache Flume ドキュメントの利用可能なコンポーネントメトリクスを確認してください。Datadog に表示されるメトリクスのリストについては、このページのメトリクスセクションを参照してください。

収集データ

メトリクス

flume.channel.capacity
(gauge)		The maximum number of events that can be queued in the channel at any time. For channel types without a capacity limit the value will be zero.
Shown as event
flume.channel.fill_percentage
(gauge)		The channel fill percentage.
Shown as percent
flume.channel.size
(gauge)		The number of events currently queued in the channel.
Shown as event
flume.channel.event_put_attempt_count
(count)		The total number of events that have been attempted to be put into the channel.
Shown as event
flume.channel.event_put_success_count
(count)		The total number of events that have successfully been put into the channel.
Shown as event
flume.channel.event_take_attempt_count
(count)		The total number of attempts that have been made to take an event from the channel.
Shown as event
flume.channel.event_take_success_count
(count)		The total number of events that have successfully been taken from the channel.
Shown as event
flume.channel.kafka_commit_timer
(gauge)		The timer for the Kafka channel commits.
Shown as time
flume.channel.kafka_event_get_timer
(gauge)		The timer for the kafka channel retrieving events.
Shown as time
flume.channel.kafka_event_send_timer
(gauge)		The timer for the Kafka channel sending events.
Shown as time
flume.channel.rollbackcount
(count)		The count of rollbacks from the kafka channel.
Shown as event
flume.sink.event_write_fail
(count)		The total number of failed write events.
Shown as event
flume.sink.batch_empty_count
(count)		The number of append batches attempted containing zero events.
Shown as event
flume.sink.channel_read_fail
(count)		The number of failed read events from the channel.
Shown as event
flume.sink.batch_complete_count
(count)		The number of append batches attempted containing the maximum number of events supported by the next hop.
Shown as event
flume.sink.batch_underflow_count
(count)		The number of append batches attempted containing less than the maximum number of events supported by the next hop.
Shown as event
flume.sink.connection_closed_count
(count)		The number of connections closed by this sink.
Shown as connection
flume.sink.connection_failed_count
(count)		The number of failed connections.
Shown as connection
flume.sink.connection_created_count
(count)		The number of connections created by this sink. Only applicable to some sink types.
Shown as connection
flume.sink.event_drain_attempt_count
(count)		The total number of events that have been attempted to be drained to the next hop.
Shown as event
flume.sink.event_drain_success_count
(count)		The total number of events that have successfully been drained to the next hop
Shown as event
flume.sink.kafka_event_sent_timer
(gauge)		The timer for the Kafka sink sending events.
Shown as time
flume.sink.rollbackcount
(gauge)		The count of rollbacks from the Kafka sink.
Shown as event
flume.source.event_read_fail
(count)		The total number of failed read source events.
Shown as event
flume.source.channel_write_fail
(count)		The total number of failed channel write events.
Shown as event
flume.source.event_accepted_count
(count)		The total number of events successfully accepted, either through append batches or single-event appends.
Shown as event
flume.source.event_received_count
(count)		The total number of events received, either through append batches or single-event appends.
Shown as event
flume.source.append_accepted_count
(count)		The total number of single-event appends successfully accepted.
Shown as event
flume.source.append_received_count
(count)		The total number of single-event appends received.
Shown as event
flume.source.open_connection_count
(count)		The number of open connections
Shown as connection
flume.source.generic_processing_fail
(count)		The total number of generic processing failures.
Shown as event
flume.source.append_batch_accepted_count
(count)		The total number of append batches accepted successfully.
Shown as event
flume.source.append_batch_received_count
(count)		The total number of append batches received.
Shown as event
flume.source.kafka_commit_timer
(gauge)		The timer for the Kafka source committing events.
Shown as time
flume.source.kafka_empty_count
(count)		The count of empty events from the Kafka source.
Shown as event
flume.source.kafka_event_get_timer
(gauge)		The timer for the Kafka source retrieving events.
Shown as time

イベント

Flume には、イベントは含まれません。

サービスのチェック

flume.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Flume instance. Returns OK otherwise.
Statuses: ok, critical

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。