概要

Observability Pipelines の OpenSearch 送信先を使用して、OpenSearch にログを送信します。

セットアップ

パイプラインをセットアップする際に、OpenSearch 送信先を設定します。パイプラインは、UI、API、または Terraform を使用してセットアップできます。このセクションの手順は、UI で設定します。

パイプライン UI で OpenSearch 送信先を選択した後:

1. OpenSearch エンドポイント URL の識別子を入力します。空白のままにすると、デフォルトが使用されます。
2. OpenSearch ユーザー名の識別子を入力します。空白のままにすると、デフォルトが使用されます。
3. OpenSearch パスワードの識別子を入力します。空白のままにすると、デフォルトが使用されます。
4. Mode ドロップダウンメニューで、Bulk または Data streams を選択します。
   • Bulkモード
     • OpenSearch の Bulk API を使用して、バッチ処理されたイベントを標準インデックスに直接送信します。
     • インデックスの命名とライフサイクル管理を直接制御したい場合は、このモードを選択してください。データは指定したインデックスに追加され、ロールオーバー、削除、マッピングの処理はユーザーの責任となります。
     • Bulk モードを設定するには:
       • Index フィールドに、必要に応じて OpenSearch インデックスの名前を入力します。テンプレート構文を使用して、ログ内の特定のフィールドに基づいて異なるインデックスに動的にログをルーティングできます (例: logs-{{service}}.)。
   • Data streams モード
     • Uses OpenSearch Data Streams for log storage. Data streams automatically manage backing indexes and rollovers, making them ideal for timeseries log data.
     • Choose this mode when you want OpenSearch to manage the index lifecycle for you. Data streams ensures smooth rollovers, Index Lifecycle Management (ILM) compatibility, and optimized handling of time-based data.
     • To configure Data streams モードを設定するには、必要に応じて、次の情報を入力することでデータストリーム名を定義します (デフォルトは logs-generic-default) by entering the following information:)。
       • In the Type フィールドに、取り込まれるデータのカテゴリを入力します (例: logs.)。
       • In the Dataset フィールドで、構造を記述する形式またはデータソースを指定します (例: apache.)。
       • In the Namespace フィールドに、データストリームを整理するためのグループ化を入力します (例: production.)。
       • You can use template syntax for the Type、Dataset、および Namespace フィールドのテンプレート構文を使用して、ログ内の特定のフィールドに基づいてデータストリーム名を動的に構築します。
       • In the UI, there is a preview of the data stream name you configured. With the above example inputs, the data stream name that the Worker writes to is logs-apache-production.

オプション設定

OpenSearch インデックス

OpenSearch インデックスの名前を入力します。ログ内の特定のフィールドに基づいて異なるインデックスにログをルーティングする場合は、テンプレート構文を参照してください。

バッファリング

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

シークレットのデフォルト

These are the defaults used for secret identifiers and environment variables.

ヘルスメトリクス

すべての送信先から出力されるコンポーネントメトリクスおよび送信先バッファメトリクスについては、Pipelines 使用状況メトリクスのドキュメントを参照してください。Elasticsearch 送信先メトリクスでフィルタリングまたはグループ化するには、タグ component_type:elasticsearch を使用します。

送信先の仕組み

イベントのバッチ処理

イベントのバッチは、次のパラメータのいずれかが満たされたときにフラッシュされます。詳細については、送信先のイベントのバッチ処理を参照してください。