概要

Observability Pipelines の BYOC (Bring Your Own Cloud) Logs 送信先を使用して、Datadog BYOC Logs にログを送信します。

前提条件

送信先を構成する前に、BYOC Logs クラスターをデプロイする必要があります。インストール方法については、BYOC Logs インストールセクションを参照してください。

セットアップ

パイプラインをセットアップする際に、BYOC Logs 送信先を構成します。パイプラインは、UI、API、または Terraform を使用してセットアップできます。このセクションの手順は、UI で設定します。

オプション設定

TLS の有効化

Toggle the switch to Enable TLS.

• If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
• Enter the following certificate and key files:
  • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
  • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
  • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
  • Notes:
    • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
    • The file must be readable by the observability-pipelines-worker group and user.

• (オプション) TLS 証明書検証用のサーバー名を入力します。

バッファリング

パイプライン UI で BYOC Logs 送信先を選択した後、バッファリングを構成できます。

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

シークレットのデフォルト

These are the defaults used for secret identifiers and environment variables.

• BYOC Logs エンドポイント URL 識別子:
  • Observability Pipelines がログを送信するインテークエンドポイントを参照します。
  • シークレットマネージャーで以下を行います:
    • クラスター URL を定義します (例: http://byoc-logs.acme.internal:7280)。注: URL にはポートを含める必要があります。
    • Worker はエンドポイント URL に /api/v2/logs および /api/v1/validate を付加するため、転送ルールやファイアウォールルールを使用している場合は、これらのエンドポイントを許可する必要があります。
  • デフォルトの識別子は DESTINATION_CLOUDPREM_ENDPOINT_URL です。
• BYOC Logs TLS パスフレーズ識別子 (TLS が有効な場合):
  • デフォルトの識別子は DESTINATION_CLOUDPREM_KEY_PASS です。

• BYOC Logs エンドポイント URL
  • Observability Pipelines は、BYOC Logs インテークエンドポイントにログを送信します。クラスター URL を定義します (例: http://byoc-logs.acme.internal:7280)。注: URL にはポートを含める必要があります。
  • Worker はエンドポイント URL に /api/v2/logs および /api/v1/validate を付加するため、転送ルールやファイアウォールルールを使用している場合は、これらのエンドポイントを許可する必要があります。
  • 環境変数 DD_OP_DESTINATION_CLOUDPREM_ENDPOINT_URL として保存されます。
• BYOC Logs TLS パスフレーズ (TLS が有効な場合)
  • 環境変数 DD_OP_DESTINATION_CLOUDPREM_KEY_PASS として保存されます。

健全性メトリクス

すべての送信先から出力されるコンポーネントメトリクスおよび送信先バッファメトリクスについては、パイプライン使用状況メトリクスのドキュメントを参照してください。Datadog Logs 送信先メトリクスでフィルタリングまたはグループ化するには、タグ component_type:datadog_logs を使用します。

送信先の動作

イベントのバッチ処理

イベントのバッチは、次のパラメーターのいずれかが満たされたときにフラッシュされます。詳細については、送信先のイベントのバッチ処理 を参照してください。