Reenvío de logs a destinos personalizados

Información general

El reenvío de logs te permite enviar logs desde Datadog a destinos personalizados como como endpoints de Splunk, Elasticsearch y HTTP. Esto significa que puedes utilizar Pipelines de logs para recopilar, procesar y estandarizar tus logs de forma centralizada en Datadog. A continuación, envía los logs desde Datadog a otras herramientas para admitir workflows (UI) / procesos (generic) individuales de equipos. Puedes optar por reenviar cualquiera de los logs ingeridos, estén o no indexados, a destinos personalizados. En forma predeterminada, los logs se reenvían en formato JSON y se comprimen con GZIP.

Nota: Sólo los usuarios de Datadog con el permiso logs_write_forwarding_rules pueden crear, editar y eliminar destinos personalizados para el reenvío de logs.

Página de reenvío de logs que muestra los destinos personalizados resaltados. La lista de destinos incluye Splunk (filtrado por servicio: logs-processing), endpoint HTTP (filtrado por origen: okta OR source:paloalto) y Elasticsearch (filtrado por equipo: acme env:prod).

Si falla un intento de reenvío (por ejemplo: si el destino deja de estar disponible temporalmente), Datadog vuelve a intentarlo periódicamente durante 2 horas, utilizando una estrategia de retraso exponencial. El primer intento se realiza luego de un retraso de 1 minuto. En los siguientes reintentos, el retraso aumenta progresivamente hasta un máximo de 8 a 12 minutos (10 minutos con una variación del 20%).

Las siguientes métricas informan sobre los logs que se han reenviado correctamente, incluyendo aquellos que se han enviado correctamente después de algunos reintentos, así como de los logs que se han descartado.

  • datadog.forwarding.logs.bytes
  • datadog.forwarding.logs.count

Configurar el reenvío de logs a destinos personalizados

El envío de logs a un destino personalizado queda fuera del entorno de Datadog GovCloud, que está fuera del control de Datadog. Datadog no será responsable de ningún log que haya salido del entorno de Datadog GovCloud, incluidas, entre otras, las obligaciones o requisitos que el usuario pueda tener en relación con FedRAMP, los niveles de impacto del DoD, ITAR, el cumplimiento de las normas de exportación, la residencia de datos o normativas similares aplicables a dichos logs.

  1. Añade las IP de webhook de IP ranges list a la lista de permitidos.
  2. Ve a Archivo y reenvío de logs.
  3. Selecciona Custom Destrinations (Destinos personalizados).
  4. Haz clic en New Destination (Nuevo destino).
  5. Introduce la consulta para filtrar tus logs para el reenvío. Consulta Sintaxis de búsqueda para obtener más información.
  6. Selecciona el Destination Type (Tipo de destino).
La page (´página de configuración del destino, en la que se muestran los steps (UI) / pasos (generic) para configurar un nuevo destino.
  1. Introduce un nombre para el destino.
  2. En el campo Define endpoint (Definir endpoint), introduce el endpoint al que desees enviar logs. El endpoint debe empezar con https://.
  3. (Opcional) Desactiva la compresión de GZIP si tu endpoint de HTTP no admite cargas útiles comprimidas.
  4. En la sección Configure Authentication (Configurar autenticación), selecciona uno de los siguientes tipos de autenticación y proporciona los detalles pertinentes:
    Tipo de autenticaciónDescripciónEjemplo
    Autenticación básicaProporciona el nombre de usuario y la contraseña de la cuenta a la que desees enviar logs.Nombre de usuario: myaccount
    Contraseña: mypassword
    Encabezado de solicitudProporciona el nombre y el valor del encabezado. Ejemplo para autorización:
    - Introduce Authorization para Header Name (Nombre del encabezado).
    - Utiliza un valor de encabezado con el formato Basic username:password, codificado en base64.
    Nombre del encabezado: Authorization
    Valor del encabezado: Basic bXlhY2NvdW50Om15cGFzc3dvcmQ=
  1. Introduce un nombre para el destino.
  2. En la sección Configure Destination (Configurar destino), introduce el endpoint al que desees enviar los logs. El endpoint debe empezar con https://. Por ejemplo, introduce https://<your_account>.splunkcloud.com:8088.
    **Nota: /services/collector/event se anexa automáticamente al endpoint.
  3. En la sección Configure Authentication (Configurar autenticación), introduce el token HEC de Splunk. Consulta Configurar y utilizar HTTP Event Collector para obtener más información sobre el token HEC de Splunk.
    Nota: El acuse de recibo del indexador necesita ser desactivado.
  1. Introduce un nombre para el destino.
  2. En la sección Configure Destination (Configurar destino), introduce los siguientes detalles:
    ConfiguraciónDescripciónEjemplo
    EndpointIntroduce el endpoint al que desees enviar los logs. El endpoint debe empezar con https://.https://<your_account>.us-central1.gcp.cloud.es.io (Elasticsearch)
    Nombre del índice de destinoEspecifica el nombre del índice de destino al que desees enviar los logs.your_index_name
    Rotación del índiceOpcionalmente, selecciona la frecuencia de creación de un nuevo índice: No Rotation, Every Hour, Every Day, Every Week, Every Month. El valor predeterminado es No Rotation.Every Day
  3. En la sección Configure Authentication (Configurar autenticación), introduce el nombre de usuario y la contraseña de tu cuenta de Elasticsearch.
  1. Introduce un nombre para el destino.
  2. La autenticación para el Microsoft Sentinel Forwarder requiere configurar un registro de aplicación a través de la integración de Datadog y Azure.
  3. En la sección Configure Destination (Configurar destino), introduce los siguientes detalles: | Configuración | Descripción | Ejemplo |. |—————————|———————————————————————————————————————-|———————————————————–| | Endpoint de ingesta de datos | Introduce el endpoint en el endpoint de recopilación de datos (DCE) donde se envían los lgos. Aparece etiquetado como “Ingesta de logs” en la page (página) de información general del DCE. | https://my-dce-5kyl.eastus-1.ingest.monitor.azure.com | ID inmutable | Especifique el ID inmutable de la regla de recopilación de datos (DCR) donde se definen las rutas de registro, tal y como se encuentra en la page (página) de información general de la DCR como “ID inmutable”. Nota: Asegúrate de que el rol de Editor de métricas de monitorización esté asignado en la configuración IAM de la DCR. | dcr-000a00a000a00000a000000aa000a0aa | | Nombre de la declaración de stream (flujo)| Proporciona el nombre de la declaración de stream (flujo) de destino que se encuentra en el JSON de recursos de la DCR en streamDeclarations. | Custom-MyTable
Vista previa disponible: Puedes enviar logs a Google SecOps (Chronicle) desde Datadog Regístrate para la vista previa.
  1. Introduce un nombre para el destino.

  2. La autenticación para Google Chronicle Forwarder requiere el uso de una cuenta de servicio de GCP con acceso de escritura a Chronicle.

  3. En la sección Configure Destination (Configurar el destino), introduce los siguientes datos:

    ConfiguraciónDescripciónEjemplo
    ID de clienteEl ID de cliente de Chronicle proporcionado por Google.abcd1234
    Endpoint regionalURL del punto final de la API de ingesta de Chronicle en función de tu región. Nota: Asegúrate de que el rol de Editor de métricas de monitorización esté asignada en la configuración de IAM del DCR.https://us.chronicle.googleapis.com
    Espacio de nombresEl espacio de nombres en el que deben ingerirse tus logs de Chronicle.default
  4. En la sección Configure authenticaton settngs (Configurar los parámetros de autenticación), introduce los siguientes datos:

    ConfiguraciónDescripciónEjemplo
    ID del project (proyecto)El ID del project (proyecto) de GCP asociado con la instancia de Chronicle.my-gcp-chronicle-project (proyecto)
    ID de la clave privadaEl ID de la clave privada de las credenciales de tu cuenta de servicio.0123456789abcdef
    Clave privadaLa clave privada de las credenciales de tu cuenta de servicio.-----BEGIN PRIVATE KEY-----\nMIIE...
    Correo electrónico del clienteLa dirección de correo electrónico de la cuenta de servicio.chronicle-writer@my-gcp-chronicle-project (proyecto).iam.gserviceaccount.com
    Client IDEl ID del cliente de las credenciales de tu cuenta de servicio.123456789012345678901
  1. En la sección Select Tags to Forward (Seleccionar tags (etiquetas) para reenviar):
    1. Selecciona si deseas que se incluyan All tags (Todas las tags (etiquetas)), No tags (Sin tags (etiquetas)) o Specific tags (Etiquetas específicas).
    2. Selecciona si deseas Include (Incluir) o Exclude specific tags (Excluir tags (etiquetas) específicas), y especifica qué etiquetas incluir o excluir.
  2. Haz clic en Save (Guardar).

En la página Reenvío de logs, sitúate sobre el estado de un destino para ver el porcentaje de logs que coinciden con los criterios de filtrado y que se han reenviado en la última hora.

Editar un destino

  1. Ve a Log Forwarding (Reenvío de logs).
  2. Selecciona Custom Destinations (Destinos personalizados) para ver la lista de todos los destinos existentes.
  3. Haz clic en el botón Edit (Editar) del destino que desees editar.
  4. Realiza los cambios en la página de configuración.
  5. Haz clic en Save (Guardar).

Eliminar un destino

  1. Ve a Log Forwarding (Reenvío de logs).
  2. Selecciona Custom Destinations (Destinos personalizados) para ver la lista de todos los destinos existentes.
  3. Haz clic en el botón Delete (Eliminar) del destino que quieres eliminar y luego en Confirm (Confirmar). De este modo, el destino se elimina de la lista de destinos configurados y los logs dejan de reenviarse a ese destino.

Referencias adicionales