概要
Observability Pipelines の Kafka ソースを使用して、Kafka トピックからログを受信します。Kafka ソースは librdkafka を使用します。
Kafka ソースを使用して Azure Event Hub ログを Observability Pipelines に送信 することもできます。
前提条件
To use Observability Pipelines’ Kafka source, you need the following information available:
- The hosts and ports of the Kafka bootstrap servers, which clients should use to connect to the Kafka cluster and discover all the other hosts in the cluster.
- The appropriate TLS certificates and the password you used to create your private key, if your forwarders are globally configured to enable SSL.
セットアップ
シークレット管理の場合: Kafka サーバー、ユーザー名、パスワード、および該当する場合は TLS キーパスの識別子のみを入力してください。実際の値は入力しないでください。
パイプラインをセットアップ する際に、このソースをセットアップします。パイプラインのセットアップは、UI で、API を使用して、または Terraform で行えます。このセクションの手順は、UI でソースをセットアップするためのものです。
パイプライン UI で Kafka ソースを選択した後、
- Kafka サーバーの識別子を入力します。空白のままにすると、デフォルトが使用されます。
- Kafka ユーザー名の識別子を入力します。空白のままにすると、デフォルトが使用されます。
- Kafka パスワードの識別子を入力します。空白のままにすると、デフォルトが使用されます。
- グループ ID を入力します。
- トピック名を入力します。トピックが複数ある場合は、Add Field をクリックしてトピックを追加します。
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.
オプション設定
SASL 認証を有効にする
- スイッチを切り替えて SASL Authentication を有効にします。
- ドロップダウンメニューからメカニズム (PLAIN、SCHRAM-SHA-256、または SCHRAM-SHA-512) を選択します。
TLS の有効化
Toggle the switch to Enable TLS.
- If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
- Enter the following certificate and key files:
Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).- (Optional)
CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509). - (Optional)
Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format. - Notes:
- The configuration data directory
/var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information. - The file must be readable by the
observability-pipelines-worker group and user.
librdkafka オプションを追加する
- Advanced、続いて Add Option をクリックします。
- ドロップダウンメニューでオプションを選択します。
- そのオプションの値を入力します。
- librdkafka ドキュメント で値を確認し、正しい型であり、設定された範囲内であることを確認してください。
- 別の librdkafka オプションを追加するには、Add Optionをクリックします。
シークレットのデフォルト
These are the defaults used for secret identifiers and environment variables.
- Kafka ブートストラップサーバー識別子:
- クライアントが Kafka クラスターに接続し、クラスター内の他のすべてのホストを検出するために使用するブートストラップサーバーを参照します。
- シークレットマネージャーでは、ホストとポートを
host:port の形式 (例: 10.14.22.123:9092) で入力する必要があります。サーバーが複数ある場合は、コンマで区切ってください。 - デフォルトの識別子は
SOURCE_KAFKA_BOOTSTRAP_SERVERS です。
- Kafka SASL ユーザー名識別子:
- デフォルトの識別子は
SOURCE_KAFKA_SASL_USERNAME です。
- Kafka SASL パスワード識別子:
- デフォルトの識別子は
SOURCE_KAFKA_SASL_PASSWORD です。
- Kafka TLS パスフレーズ識別子 (TLS が有効な場合):
- デフォルトの識別子は
SOURCE_KAFKA_KEY_PASS です。
- The host and port of the Kafka bootstrap servers.
- The bootstrap server that the client uses to connect to the Kafka cluster and discover all the other hosts in the cluster. The host and port must be entered in the format of
host:port, such as 10.14.22.123:9092. If there is more than one server, use commas to separate them. - The default environment variable is
DD_OP_SOURCE_KAFKA_BOOTSTRAP_SERVERS.
- SASL (when enabled):
- Kafka SASL username
- The default environment variable is
DD_OP_SOURCE_KAFKA_SASL_USERNAME.
- Kafka SASL password
- The default environment variable is
DD_OP_SOURCE_KAFKA_SASL_PASSWORD.
- Kafka TLS passphrase (when enabled):
- The default environment variable is
DD_OP_SOURCE_KAFKA_KEY_PASS.
librdkafka オプション
利用可能な librdkafka オプションは以下のとおりです。
- auto.offset.reset
- auto.commit.interval.ms
- client.id
- coordinator.query.interval.ms
- enable.auto.commit
- enable.auto.offset.store
- fetch.max.bytes
- fetch.message.max.bytes
- fetch.min.bytes
- fetch.wait.max.ms
- group.instance.id
- heartbeat.interval.ms
- queued.min.messages
- session.timeout.ms
- socket.timeout.ms
詳細については、librdkafka ドキュメント を参照し、値が正しい型であり、範囲内であることを確認してください。
健全性メトリクス
すべてのソースから送信される コンポーネントメトリクス および ソースバッファメトリクス については、パイプライン使用状況メトリクス のドキュメントを参照してください。
Kafka メトリクス
component_id タグを使用して、個々のコンポーネントでフィルタリングまたはグループ化します。component_type タグは、これらのメトリクスに対して kafka です。
pipelines.kafka_consumer_lag- 説明: トピックおよびパーティションごとの Kafka コンシューマーラグ。値が高い場合、ソースが着信メッセージレートに追いついていないことを示します。
- メトリクスタイプ: ゲージ
pipelines.kafka_consumed_messages_total- 説明: Worker が Kafka ブローカーから消費したメッセージ数。
- メトリクスタイプ: count
pipelines.kafka_consumed_messages_bytes_total- 説明: Worker が Kafka ブローカーから消費したメッセージのバイト数。
- メトリクスタイプ: count
pipelines.kafka_requests_total- 説明: Worker が Kafka ブローカーに送信したリクエスト数。
- メトリクスタイプ: count
pipelines.kafka_requests_bytes_total- 説明: Worker が Kafka ブローカーに送信したバイト数。
- メトリクスタイプ: count
pipelines.kafka_responses_total- 説明: Worker が Kafka ブローカーへの書き込み後に受信したレスポンス数。
- メトリクスタイプ: count
pipelines.kafka_responses_bytes_total- 説明: Worker が Kafka ブローカーへの書き込み後に受信したバイト数。
- メトリクスタイプ: count