Fluentd ソースと Fluent Bit ソース

This product is not supported for your selected Datadog site. ().
利用可能な対象:

ログ

概要

Observability Pipelines の Fluentd ソースまたは Fluent Bit ソースを使用して、Fluentd エージェントまたは Fluent Bit エージェントからログを受信します。

前提条件

To use Observability Pipelines’ Fluentd or Fluent Bit source, you need the following information available:

  1. The Observability Pipelines Worker listens on this bind address to receive logs from your applications. For example, 0.0.0.0:8088. Later on, you configure your applications to send logs to this address.
  2. The appropriate TLS certificates and the password you used to create your private key if your forwarders are globally configured to enable SSL.

セットアップ

シークレット管理の場合: Fluent アドレスと TLS キーパス (該当する場合) の識別子のみを入力してください。実際の値は入力しないでください。

このソースは、パイプラインを設定する際に設定します。パイプラインは、UI、API、または Terraform を使用して設定できます。このセクションの手順は、このソースを UI で設定するためのものです。

パイプライン UI で Fluent ソースを選択した後、Fluent アドレスの識別子を入力します。空白のままにすると、デフォルトが使用されます。

If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

オプションの設定

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.
  • (Optional) Toggle Verify certificate to require connecting clients to present a valid client certificate. This enforces mutual TLS (mTLS), where the Worker verifies the identity of each connecting client.

シークレットのデフォルト値

These are the defaults used for secret identifiers and environment variables.

    • Fluent アドレスの識別子:
      • Observability Pipelines Worker が受信ログメッセージをリッスンするアドレスを参照します。
      • デフォルトの識別子は SOURCE_FLUENT_ADDRESS です。
    • Fluent TLS パスフレーズの識別子 (TLS が有効な場合):
      • デフォルトの識別子は SOURCE_FLUENT_KEY_PASS です。
    • Fluent socket address and port:
      • The Observability Pipelines Worker listens on this address for incoming log messages.
      • The default environment variable is DD_OP_SOURCE_FLUENT_ADDRESS.
    • Fluent Bit TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_FLUENT_KEY_PASS.

    Fluent 経由で Observability Pipelines Worker にログを送信する

    Fluent Bit configuration

    To configure Fluent Bit to send logs to the Observability Pipelines Worker, use the following output configuration:

    [OUTPUT]
	Name          forward
	Match         *
	# Update these to point to your Observability Pipelines Worker
	Host          127.0.0.1
	Port          24224

    Fluentd configuration

    To configure Fluentd to send logs to the Observability Pipelines Worker, use the following output configuration:

    <match *>
	  @type forward
	  <server>
		# Update these to point to your Observability Pipelines Worker
		name  local
		host  127.0.0.1
		port 24224
	  </server>
	  compress gzip
	</match>

    ヘルスメトリクス

    すべてのソースから出力されるコンポーネントメトリクスおよびソースバッファメトリクスについては、パイプライン使用状況メトリクスのドキュメントを参照してください。Fluent ソースメトリクスでフィルタリングまたはグループ化するには、タグ component_type:fluent を使用します。