Présentation

Utilisez la destination OpenSearch d’Observability Pipelines pour envoyer des logs à OpenSearch.

Configuration

Configurez la destination OpenSearch lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’interface utilisateur, en utilisant l’API ou avec Terraform. Les étapes de cette section sont configurées dans l’interface utilisateur.

Après avoir sélectionné la destination OpenSearch dans l’interface utilisateur du pipeline :

1. Saisissez l’identifiant de votre URL d’endpoint OpenSearch. Si vous le laissez vide, la valeur par défaut est utilisée.
2. Saisissez l’identifiant de votre nom d’utilisateur OpenSearch. Si vous le laissez vide, la valeur par défaut est utilisée.
3. Saisissez l’identifiant de votre mot de passe OpenSearch. Si vous le laissez vide, la valeur par défaut est utilisée.
4. Dans le menu déroulant Mode, sélectionnez Bulk ou Data streams.
   • Bulk mode
     • Utilise le Bulk API d’OpenSearch pour envoyer des événements groupés directement dans un index standard.
     • Choisissez ce mode lorsque vous souhaitez un contrôle direct sur le nommage de l’index et la gestion du cycle de vie. Les données sont ajoutées à l’index que vous spécifiez, et vous êtes responsable de la gestion des rollovers, des suppressions et des mappings.
     • Pour configurer le mode Bulk :
       • Dans le champ Index, saisissez éventuellement le nom de l’index OpenSearch. Vous pouvez utiliser la syntaxe de modèle pour acheminer dynamiquement les logs vers différents index en fonction de champs spécifiques dans vos logs, par exemple logs-{{service}}.
   • Data streams mode
     • Uses OpenSearch Data Streams for log storage. Data streams automatically manage backing indexes and rollovers, making them ideal for timeseries log data.
     • Choose this mode when you want OpenSearch to manage the index lifecycle for you. Data streams ensures smooth rollovers, Index Lifecycle Management (ILM) compatibility, and optimized handling of time-based data.
     • To configure Data streams mode, définissez éventuellement le nom du flux de données (la valeur par défaut est logs-generic-default) by entering the following information:
       • In the Type champ, saisissez la catégorie de données en cours d’ingestion, par exemple logs.
       • In the Dataset champ, spécifiez le format ou la source de données qui décrit la structure, par exemple apache.
       • In the Namespace champ, saisissez le regroupement pour organiser vos flux de données, par exemple production.
       • You can use template syntax for the Type, Dataset et Namespace champs pour construire dynamiquement le nom du flux de données en fonction de champs spécifiques dans vos logs.
       • In the UI, there is a preview of the data stream name you configured. With the above example inputs, the data stream name that the Worker writes to is logs-apache-production.

Paramètres facultatifs

Index OpenSearch

Saisissez le nom de l’index OpenSearch. Consultez la syntaxe de modèle si vous souhaitez acheminer les logs vers différents index en fonction de champs spécifiques dans vos logs.

Mise en tampon

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valeurs par défaut du secret

These are the defaults used for secret identifiers and environment variables.

Métriques de santé

Pour les métriques de composant et les métriques de tampon de destination émises par toutes les destinations, consultez la documentation Pipelines Usage Metrics. Pour filtrer ou regrouper par métriques de destination Elasticsearch, utilisez le tag component_type:elasticsearch.

Comment fonctionne la destination

Regroupement d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Regroupement d’événements par destination pour plus d’informations.