Información general

Utiliza el worker de pipelines de observabilidad para enviar tus logs procesados a diferentes destinos.

Selecciona y configura tus destinos cuando configures un pipeline. Este es el paso 4 del proceso de configuración de pipelines:

  1. Ve a Pipelines de observabilidad.
  2. Selecciona una plantilla.
  3. Selecciona y configura tu fuente.
  4. Selecciona y configura tus destinos.
  5. Configura tus procesadores.
  6. Instala el worker de pipelines de observabilidad.

Eventos en lotes

Los destinos de los pipelines de observabilidad envían eventos en lotes a la integración aguas abajo. Un lote de eventos se descarga cuando se cumple uno de los siguientes parámetros:

  • Número máximo de eventos
  • Número máximo de bytes
  • Tiempo de espera (segundos)

Por ejemplo, si los parámetros de un destino son:

  • Número máximo de eventos = 2
  • Número máximo de bytes = 100.000
  • Tiempo de espera (segundos) = 5

Y el destino recibe 1 evento en una ventana de 5 segundos, descarga el lote en el tiempo de espera de 5 segundos.

Si el destino recibe 3 eventos en 2 segundos, descarga un lote con 2 eventos y descarga un segundo lote con el evento restante luego de 5 segundos. Si el destino recibe 1 evento que supera los 100.000 bytes, descarga este lote con ese evento.

DestinationMaximum EventsMaximum BytesTimeout (seconds)
Amazon OpenSearchNone10,000,0001
Amazon S3 (Datadog Log Archives)None100,000,000900
Azure Storage (Datadog Log Archives)None100,000,000900
Datadog Logs1,0004,250,0005
ElasticsearchNone10,000,0001
Google ChronicleNone1,000,00015
Google Cloud Storage (Datadog Log Archives)None100,000,000900
New Relic1001,000,0001
OpenSearchNone10,000,0001
Splunk HTTP Event Collector (HEC)None1,000,0001
Sumo Logic Hosted CollecterNone10,000,0001

Note: The rsyslog and syslog-ng destinations do not batch events.