Descripción general

Utilice el destino Splunk HTTP Event Collector (HEC) de Observability Pipelines para enviar registros a Splunk HEC.

Nota: Observability Pipelines comprime los registros con el algoritmo gzip (nivel 6).

Configuración

Para la gestión de secretos: Solo ingrese los identificadores para el token y el punto de conexión de Splunk HEC. No ingrese los valores reales.

Configure el destino de Splunk HEC cuando configure un pipeline. Puede configurar un pipeline en la UI, utilizando la API o con Terraform. Los pasos de esta sección se configuran en la interfaz de usuario.

Después de seleccionar el destino de Splunk HEC en la UI del pipeline:

  1. Para el menú desplegable Token strategy:
    • Solo seleccione From Source si está utilizando una fuente Splunk HEC y ha habilitado Store HEC token en la fuente. De lo contrario, ocurre un error y no puede proceder a instalar el Worker. Esta opción reenvía el token recibido por Observability Pipelines al destino de Splunk HEC.
    • Si utiliza la estrategia de token Custom predeterminada, ingrese el identificador de su token. Si lo deja en blanco, se utiliza el predeterminado.
  2. Ingrese el identificador para su URL de punto de conexión. Si lo deja en blanco, se utiliza el predeterminado.
  3. Seleccione el Encoding en el menú desplegable (JSON o Raw).
    • Si selecciona JSON, opcionalmente haga clic en Add Field para especificar campos a extraer como campos indexados. Splunk HTTP Event Collector indexa los campos especificados cuando ingiere los registros.
    • Nota: El Raw objetivo del punto de conexión no admite Index Fields.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Configuración opcional

Índice de Splunk

Ingrese el nombre del índice de Splunk en el que desea que estén sus datos. Este debe ser un índice permitido para su HEC. Consulte la sintaxis de plantilla si desea enrutar registros a diferentes índices según campos específicos en sus registros.

Destino del punto de conexión

En el menú desplegable Endpoint Target, seleccione el punto de conexión de Splunk HEC al que enviar los eventos:

  • Event (predeterminado): Envía eventos al punto de conexión HEC /event de Splunk, el cual admite marcas de tiempo autoextraídas y campos indexados.
  • Raw: Envía eventos al punto de conexión HEC /raw de Splunk.

Autoextraer marca de tiempo

Seleccione si la marca de tiempo debe autoextraerse. Si se establece en true, Splunk extrae la marca de tiempo del mensaje con el formato esperado de yyyy-mm-dd hh:mm:ss.

Nota: El Raw destino del punto de conexión no admite Auto-extract timestamp.

anulación de tipo de fuente

Establezca el sourcetype para anular el valor predeterminado de Splunk, que es httpevent para datos HEC. Consulte la sintaxis de plantilla si desea enrutar registros a diferentes tipos de fuente según campos específicos en sus registros.

Almacenamiento en búfer

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

  • If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
  • To configure a buffer on your destination:
    1. Select the buffer type you want to set (Memory or Disk).
    2. Enter the buffer size and select the unit.
      1. Maximum memory buffer size is 128 GB.
      2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
    3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valores predeterminados de Secret

These are the defaults used for secret identifiers and environment variables.

  • Splunk HEC token identifier:
    • References the Splunk HEC token for the Splunk indexer.
    • The default identifier is DESTINATION_SPLUNK_HEC_TOKEN.
  • Splunk HEC endpoint URL identifier:
    • References the Splunk HTTP Event Collector endpoint your Observability Pipelines Worker sends processed data to. For example, https://hec.splunkcloud.com:8088.
    • Note: /services/collector/event path is automatically appended to the endpoint.
    • The default identifier is DESTINATION_SPLUNK_HEC_ENDPOINT_URL.
  • Splunk HEC token:
    • The Splunk HEC token for the Splunk indexer. Note: Depending on your shell and environment, you may not want to wrap your environment variable in quotes.
    • The default environment variable is DD_OP_DESTINATION_SPLUNK_HEC_TOKEN.
  • Base URL of the Splunk instance:
    • The Splunk HTTP Event Collector endpoint your Observability Pipelines Worker sends processed data to. For example, https://hec.splunkcloud.com:8088. Note: /services/collector/event path is automatically appended to the endpoint.
    • The default environment variable is DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL.

Solución de problemas

Errores 401 No autorizado

If the destination returns a 401 Unauthorized error, check the value stored for your Splunk HEC token identifier. Store only the token itself (for example, <GUID>).

Métricas de salud

Para métricas de componentes y métricas de búfer de destino emitidas por todos los destinos, consulte la documentación de Métricas de uso de Pipelines.

Métricas de Splunk HEC

  • Utilice la etiqueta component_id para filtrar o agrupar por componentes individuales.
  • La etiqueta component_type es splunk_hec_logs para métricas de Splunk HEC.
pipelines.splunk_pending_acks
Descripción: La cantidad de confirmaciones de indexador de Splunk HEC pendientes que esperan una respuesta.
Tipo de métrica: gauge

Cómo funciona el destino

Procesamiento por lotes de eventos

Un lote de eventos se vacía cuando se cumple uno de estos parámetros. Consulte Agrupamiento de eventos de destino para obtener más información.

Máximo de eventosTamaño máximo (MB)Tiempo de espera (segundos)
Ninguno11