Descripción general

Utilice el destino Datadog Logs de Observability Pipelines para enviar registros a Datadog Log Management. También puede utilizar AWS PrivateLink para enviar registros desde Observability Pipelines a Datadog.

Configuración

Configure el destino Datadog Logs cuando configure una canalización. Puede configurar una canalización en la interfaz de usuario, utilizando la API o con Terraform. Los pasos de esta sección se configuran en la interfaz de usuario.

Configuración opcional

Después de seleccionar el destino Datadog Logs en la interfaz de usuario de la canalización, puede configurar estos ajustes opcionales.

Envíe registros a múltiples organizaciones de Datadog

Puede enviar registros a múltiples organizaciones de Datadog. Una vez configurado el envío, puede ver métricas para el componente o para organizaciones específicas a las que está enviando registros.

Nota: Puede enviar registros a hasta 100 organizaciones de Datadog.

Haga clic en Route to Multiple Organizations para configurar el envío a múltiples organizaciones de Datadog.

• Si aún no ha agregado ninguna organización, ingrese los detalles de la organización como se describe en la sección Agregar una organización de Datadog.
• Si ya ha agregado organizaciones, puede:
  • Haga clic en una organización en la tabla para editarla o eliminarla.
  • Utilice la barra de búsqueda para encontrar una organización específica por nombre, consulta de filtro o sitio de Datadog, y luego seleccione la organización para editarla o eliminarla.
  • Ver métricas de una organización.
  • Haga clic en Add organization para enviar a otra organización de Datadog.

Nota: Si no configura el envío a múltiples organizaciones de Datadog, los registros se envían a la organización de Datadog predeterminada. Esta es la organización vinculada a la clave de API cuando instala el Worker.

Agregar una organización

1. Ingrese un nombre para la organización.
   • Nota: El nombre no tiene que corresponder al nombre real de la organización de Datadog.
2. Defina una consulta de filtro. Solo se envían a la organización los registros que coinciden con la consulta de filtro especificada. Consulte Observability Pipelines Search Syntax para obtener más información sobre cómo escribir consultas de filtro.
3. Seleccione el sitio de la organización de Datadog.
4. Ingrese el identificador de la clave de API para esa organización de Datadog.
   • Nota: Ingrese únicamente el identificador de la clave de API. No ingrese la clave de API real.
5. Haga clic en Save.

Almacenamiento en búfer

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valores predeterminados de secretos

Ver métricas para el componente o para organizaciones específicas

Puede ver las métricas a nivel de componente o a nivel de organización.

Métricas a nivel de componente

Para ver las métricas del destino general de Datadog Logs:

1. Navegue a Observability Pipelines.
2. Seleccione su canalización.
3. Haga clic en el engranaje del Datadog Logs destino y seleccione View details.

Nota: La métrica Data dropped (intentional) muestra los registros que no coincidieron con ninguno de los filtros de las organizaciones.

Métricas a nivel de organización

Para ver las métricas de una organización de Datadog específica:

1. Navegue a Observability Pipelines.
2. Seleccione su canalización.
3. Haga clic en el destino Datadog Logs para que aparezcan las organizaciones.

4. Haga clic en la organización de la que desea ver las métricas.
5. Haga clic en View Health Metrics.

Alternativamente, haga clic en Review Configured Organizations en el destino Datadog Logs. Luego, haga clic en el icono de gráfico en la columna Metrics para la organización.

Métricas de estado

Para métricas de componentes y métricas de búfer de destino emitidas por todos los destinos, consulte la documentación de Métricas de uso de Pipelines.

Métricas de Datadog Logs

• Utilice la etiqueta component_id para filtrar o agrupar por componentes individuales.
• La etiqueta component_type es datadog_logs para las métricas de destino de Datadog Logs.

pipelines.datadog_logs_reserved_attribute_conflicts_total

Descripción: La cantidad de conflictos encontrados al reubicar campos con significado semántico a un atributo reservado de Datadog. Consulte el ejemplo. Disponible en la versión 2.18 de Worker y posteriores.

Tipo de métrica: cuenta

Ejemplo de reubicación de campos con significado semántico a un atributo reservado de Datadog

La fuente OpenTelemetry decodifica el siguiente evento, donde severity_text se asigna semánticamente al atributo reservado status:

{
  "message": "GET /api/users returned 404",
  "severity_text": "WARN",
  "attributes": {
    "status": 404,
    "http.method": "GET"
  },
  "timestamp": "..."
}

Un procesador luego aplana el evento, de modo que status y severity_text existan ambos en el nivel superior:

{
  "message": "GET /api/users returned 404",
  "severity_text": "WARN",
  "status": 404,
  "http.method": "GET",
  "timestamp": "..."
}

Debido a que el atributo reservado status ya existe, el destino lo renombra a _RESERVED_severity para evitar que sea sobrescrito por el campo en conflicto:

{
  "message": "GET /api/users returned 404",
  "status": "WARN",
  "_RESERVED_severity": 404,
  "http.method": "GET",
  "timestamp": "..."
}

Cómo funciona el destino

Procesamiento por lotes de eventos

Un lote de eventos se vacía cuando se cumple uno de estos parámetros. Consulte Destinations event batching para obtener más información.