Descripción general

Utilice el destino OpenSearch de Observability Pipelines para enviar registros a OpenSearch.

Configuración

Configure el destino OpenSearch cuando configure un pipeline. Puede configurar un pipeline en la UI, utilizando la API o con Terraform. Los pasos de esta sección se configuran en la interfaz de usuario.

Después de seleccionar el destino OpenSearch en la UI del pipeline:

1. Ingrese el identificador para la URL del punto de conexión de OpenSearch. Si lo deja en blanco, se utiliza el predeterminado.
2. Ingrese el identificador para su nombre de usuario de OpenSearch. Si lo deja en blanco, se utiliza el predeterminado.
3. Ingrese el identificador para su contraseña de OpenSearch. Si lo deja en blanco, se utiliza el predeterminado.
4. En el menú desplegable Mode, seleccione Bulk o Data streams.
   • Bulk modo
     • Utiliza la Bulk API de OpenSearch para enviar eventos por lotes directamente a un índice estándar.
     • Elija este modo cuando desee un control directo sobre la nomenclatura de índices y la gestión del ciclo de vida. Los datos se añaden al índice que especifique, y usted es responsable de manejar rollovers, eliminaciones y mapeos.
     • Para configurar el modo Bulk:
       • En el campo Index, ingrese opcionalmente el nombre del índice de OpenSearch. Puede utilizar sintaxis de plantilla para enrutar dinámicamente los registros a diferentes índices según campos específicos en sus registros, por ejemplo logs-{{service}}.
   • Data streamsmodo
     • Uses OpenSearch Data Streams for log storage. Data streams automatically manage backing indexes and rollovers, making them ideal for timeseries log data.
     • Choose this mode when you want OpenSearch to manage the index lifecycle for you. Data streams ensures smooth rollovers, Index Lifecycle Management (ILM) compatibility, and optimized handling of time-based data.
     • To configure Data streamsmodo, defina opcionalmente el nombre del flujo de datos (el predeterminado es logs-generic-default) by entering the following information:
       • In the Typecampo, ingrese la categoría de los datos que se están ingiriendo, por ejemplo logs.
       • In the Datasetcampo, especifique el formato o la fuente de datos que describe la estructura, por ejemplo apache.
       • In the Namespacecampo, ingrese la agrupación para organizar sus flujos de datos, por ejemplo production.
       • You can use template syntax for the Type, Dataset y Namespace campos para construir dinámicamente el nombre del flujo de datos según campos específicos en sus registros.
       • In the UI, there is a preview of the data stream name you configured. With the above example inputs, the data stream name that the Worker writes to is logs-apache-production.

Configuración opcional

Índice de OpenSearch

Ingrese el nombre del índice de OpenSearch. Consulte la sintaxis de plantilla si desea enrutar registros a diferentes índices según campos específicos en sus registros.

Almacenamiento en búfer

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valores predeterminados de Secret

These are the defaults used for secret identifiers and environment variables.

Métricas de salud

Para métricas de componentes y métricas de búfer de destino emitidas por todos los destinos, consulte la documentación de Métricas de uso de Pipelines. Para filtrar o agrupar por métricas de destino de Elasticsearch, utilice la etiqueta component_type:elasticsearch.

Cómo funciona el destino

Procesamiento por lotes de eventos

Un lote de eventos se vacía cuando se cumple uno de estos parámetros. Consulte Agrupamiento de eventos de destino para obtener más información.