Después de establecer la recopilación de logs, puedes personalizar la configuración de la recopilación:

• Filtrar logs
  • Excluir en la coincidencia
  • Incluir en la coincidencia
• Limpia los datos confidenciales de tus logs
• Agregación multilínea
• Agregar automáticamente logs multilínea
• Reglas de procesamiento de logs de uso común
• Rastrear directorios utilizando comodines
  • Rastrear los archivos modificados más recientemente primero
• Cifrado de archivos de log
• Reglas de procesamiento global
• Referencias adicionales

Para aplicar una regla de procesamiento a todos los logs que recopila el Datadog Agent, consulta la sección Reglas de procesamiento generales.

Notas:

• Si configuras reglas de procesamiento multilínea, se aplicarán secuencialmente, de forma que cada una se aplicará al resultado de la anterior.
• Los patrones de las reglas de procesamiento se deben ajustar a la sintaxis de la expresión regular de Golang.
• El parámetro log_processing_rules se utiliza en las configuraciones de la integración para personalizar la configuración de la recopilación de logs. Mientras que en la configuración principal del Agent, el parámetro processing_rules se utiliza para definir reglas de procesamiento generales.

Filtrar logs

Para enviar solo un subconjunto específico de logs a Datadog, utiliza el parámetro log_processing_rules en el archivo de configuración con el tipo exclude_at_match o include_at_match.

Excluir si hay coincidencia

Por ejemplo, para excluir los logs que contienen una dirección de correo electrónico de Datadog, utiliza log_processing_rules de la siguiente manera:

logs:
  - type: file
    path: /my/test/file.log
    service: cardpayment
    source: java
    log_processing_rules:
    - type: exclude_at_match
      name: exclude_datadoghq_users
      ## Regexp can be anything
      pattern: \w+@datadoghq.com

 labels:
    com.datadoghq.ad.logs: >-
      [{
        "source": "java",
        "service": "cardpayment",
        "log_processing_rules": [{
          "type": "exclude_at_match",
          "name": "exclude_datadoghq_users",
          "pattern" : "\\w+@datadoghq.com"
        }]
      }]      

apiVersion: apps/v1
metadata:
  name: cardpayment
spec:
  selector:
    matchLabels:
      app: cardpayment
  template:
    metadata:
      annotations:
        ad.datadoghq.com/<CONTAINER_NAME>.logs: >-
          [{
            "source": "java",
            "service": "cardpayment",
            "log_processing_rules": [{
              "type": "exclude_at_match",
              "name": "exclude_datadoghq_users",
              "pattern" : "\\w+@datadoghq.com"
            }]
          }]          
      labels:
        app: cardpayment
      name: cardpayment
    spec:
      containers:
        - name: '<CONTAINER_NAME>'
          image: cardpayment:latest

Incluir si hay coincidencia

Por ejemplo, utiliza la siguiente configuración del parámetro log_processing_rules para incluir los logs que contienen una dirección de correo electrónico de Datadog:

logs:
  - type: file
    path: /my/test/file.log
    service: cardpayment
    source: java
    log_processing_rules:
    - type: include_at_match
      name: include_datadoghq_users
      ## Regexp can be anything
      pattern: \w+@datadoghq.com

logs:
  - type: file
    path: /my/test/file.log
    service: cardpayment
    source: java
    log_processing_rules:
    - type: include_at_match
      name: include_datadoghq_users
      pattern: abc|123

logs:
  - type: file
    path: /my/test/file.log
    service: cardpayment
    source: java
    log_processing_rules:
    - type: include_at_match
      name: include_datadoghq_users
      pattern: "abc\
|123\
|\\w+@datadoghq.com"

 labels:
    com.datadoghq.ad.logs: >-
      [{
        "source": "java",
        "service": "cardpayment",
        "log_processing_rules": [{
          "type": "include_at_match",
          "name": "include_datadoghq_users",
          "pattern" : "\\w+@datadoghq.com"
        }]
      }]      

apiVersion: apps/v1
metadata:
  name: cardpayment
spec:
  selector:
    matchLabels:
      app: cardpayment
  template:
    metadata:
      annotations:
        ad.datadoghq.com/<CONTAINER_NAME>.logs: >-
          [{
            "source": "java",
            "service": "cardpayment",
            "log_processing_rules": [{
              "type": "include_at_match",
              "name": "include_datadoghq_users",
              "pattern" : "\\w+@datadoghq.com"
            }]
          }]          
      labels:
        app: cardpayment
      name: cardpayment
    spec:
      containers:
        - name: '<CONTAINER_NAME>'
          image: cardpayment:latest

Limpia los datos confidenciales de tus logs

Si tus logs contienen información confidencial que es necesario ocultar, configura el Datadog Agent para limpiar secuencias confidenciales y utiliza el parámetro log_processing_rules en tu archivo de configuración con el tipo mask_sequences.

Esto reemplazará todos los grupos coincidentes con el valor del parámetro replace_placeholder.

Por ejemplo, para ocultar los números de tarjetas de crédito:

logs:
 - type: file
   path: /my/test/file.log
   service: cardpayment
   source: java
   log_processing_rules:
      - type: mask_sequences
        name: mask_credit_cards
        replace_placeholder: "[masked_credit_card]"
        ##One pattern that contains capture groups
        pattern: (?:4[0-9]{12}(?:[0-9]{3})?|[25][1-7][0-9]{14}|6(?:011|5[0-9][0-9])[0-9]{12}|3[47][0-9]{13}|3(?:0[0-5]|[68][0-9])[0-9]{11}|(?:2131|1800|35\d{3})\d{11})

 labels:
    com.datadoghq.ad.logs: >-
      [{
        "source": "java",
        "service": "cardpayment",
        "log_processing_rules": [{
          "type": "mask_sequences",
          "name": "mask_credit_cards",
          "replace_placeholder": "[masked_credit_card]",
          "pattern" : "(?:4[0-9]{12}(?:[0-9]{3})?|[25][1-7][0-9]{14}|6(?:011|5[0-9][0-9])[0-9]{12}|3[47][0-9]{13}|3(?:0[0-5]|[68][0-9])[0-9]{11}|(?:2131|1800|35\\d{3})\\d{11})"
        }]
      }]      

apiVersion: apps/v1
metadata:
  name: cardpayment
spec:
  selector:
    matchLabels:
      app: cardpayment
  template:
    metadata:
      annotations:
        ad.datadoghq.com/<CONTAINER_NAME>.logs: >-
          [{
            "source": "java",
            "service": "cardpayment",
            "log_processing_rules": [{
              "type": "mask_sequences",
              "name": "mask_credit_cards",
              "replace_placeholder": "[masked_credit_card]",
              "pattern" : "(?:4[0-9]{12}(?:[0-9]{3})?|[25][1-7][0-9]{14}|6(?:011|5[0-9][0-9])[0-9]{12}|3[47][0-9]{13}|3(?:0[0-5]|[68][0-9])[0-9]{11}|(?:2131|1800|35\\d{3})\\d{11})"
            }]
          }]          
      labels:
        app: cardpayment
      name: cardpayment
    spec:
      containers:
        - name: '<CONTAINER_NAME>'
          image: cardpayment:latest

A partir de la versión 7.17 del Agent, la cadena replace_placeholder puede ampliar las referencias para capturar grupos como $1, $2, etc. Si quieres que una cadena vaya después del grupo de captura sin espacio de separación, utiliza el formato ${<GROUP_NUMBER>}.

Por ejemplo, para limpiar información de usuario del logUser email: foo.bar@example.com, utiliza:

• pattern: "(User email: )[^@]*@(.*)"
• replace_placeholder: "$1 masked_user@${2}"

Así, se enviará el siguiente log a Datadog: User email: masked_user@example.com

Agregar automáticamente logs multilínea

La detección multilínea automática es útil cuando se tienen muchas fuentes de logs con formatos complejos o cuando no se dispone de tiempo para configurar cada fuente individualmente. Esta función detecta y agrega automáticamente los logs multilínea sin necesidad de escribir patrones de expresión regular (regex) personalizados.

Consulta la documentación Detección y agregación multilínea automática.

Para la compatibilidad legacy de la función, consulta la documentación Detección y agregación multilínea automática (Legacy).

Agregar manualmente logs multilínea

Las reglas multilínea manuales te ofrecen un control preciso de la agregación de logs cuando conoces tus formatos de logs. Esta estrategia es ideal para garantizar un procesamiento coherente de los logs con patrones regex personalizados adaptados a tu estructura de log específica.

Si tus logs no se envían en JSON y quieres agregar varias líneas en una sola entrada, configura el Datadog Agent para que detecte un log nuevo mediante un patrón de expresión regular específico en lugar de tener un log por línea. Utiliza el tipo multi_line en el parámetro log_processing_rules para agregar todas las líneas en una sola entrada hasta que se vuelva a detectar el patrón dado.

Por ejemplo, cada línea de log de Java empieza con una marca de tiempo en formato yyyy-dd-mm. Estas líneas incluyen un stack trace que puede enviarse como dos logs:

2018-01-03T09:24:24.983Z UTC Exception in thread "main" java.lang.NullPointerException
        at com.example.myproject.Book.getTitle(Book.java:16)
        at com.example.myproject.Author.getBookTitles(Author.java:25)
        at com.example.myproject.Bootstrap.main(Bootstrap.java:14)
2018-01-03T09:26:24.365Z UTC starting upload of /my/file.gz

logs:
 - type: file
   path: /var/log/pg_log.log
   service: database
   source: postgresql
   log_processing_rules:
      - type: multi_line
        name: new_log_start_with_date
        pattern: \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])

 labels:
    com.datadoghq.ad.logs: >-
      [{
        "source": "postgresql",
        "service": "database",
        "log_processing_rules": [{
          "type": "multi_line",
          "name": "log_start_with_date",
          "pattern" : "\\d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01])"
        }]
      }]      

apiVersion: apps/v1
metadata:
  name: postgres
spec:
  selector:
    matchLabels:
      app: database
  template:
    metadata:
      annotations:
        ad.datadoghq.com/<CONTAINER_NAME>.logs: >-
          [{
            "source": "postgresql",
            "service": "database",
            "log_processing_rules": [{
              "type": "multi_line",
              "name": "log_start_with_date",
              "pattern" : "\\d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01])"
            }]
          }]          
      labels:
        app: database
      name: postgres
    spec:
      containers:
        - name: '<CONTAINER_NAME>'
          image: postgres:latest

Más ejemplos:

Reglas de procesamiento de logs habitualmente utilizadas

Consulta las preguntas frecuentes sobre las reglas de procesamiento de logs habitualmente utilizadas para ver una lista de ejemplos.

Rastrear directorios utilizando comodines

Si tus archivos de log se han etiquetado por fecha o si todos ellos se encuentran almacenados en el mismo directorio, configura el Datadog Agent para monitorizarlos a todos y detectar de manera automática los nuevos mediante comodines en el atributo path. Si quieres excluir algunos archivos coincidentes con la ruta path seleccionada, inclúyelos en el atributo exclude_paths.

• Al utilizar path: /var/log/myapp/*.log:

  • Habrá coincidencia con todos los archivos .log contenidos en el directorio /var/log/myapp/.
  • No habrá coincidencia con /var/log/myapp/myapp.conf.

• Al utilizar path: /var/log/myapp/*/*.log:

  • Habrá coincidencia con /var/log/myapp/log/myfile.log.
  • Habrá coincidencia con /var/log/myapp/errorLog/myerrorfile.log.
  • No habrá coincidencia con /var/log/myapp/mylogfile.log.

Ejemplo de configuración para Linux:

logs:
  - type: file
    path: /var/log/myapp/*.log
    exclude_paths:
      - /var/log/myapp/debug.log
      - /var/log/myapp/trace.log
    service: mywebapp
    source: go

En el ejemplo anterior, hay coincidencia con /var/log/myapp/log/myfile.log y se excluyen /var/log/myapp/log/debug.log y /var/log/myapp/log/trace.log.

Ejemplo de configuración para Windows:

logs:
  - type: file
    path: C:\\MyApp\\*.log
    exclude_paths:
      - C:\\MyApp\\MyLog.*.log
    service: mywebapp
    source: csharp

En el ejemplo anterior, hay coincidencia con C:\\MyApp\\MyLog.log y se excluyen C:\\MyApp\\MyLog.20230101.log y C:\\MyApp\\MyLog.20230102.log.

Nota: El Agent requiere permisos de lectura y ejecución en un directorio para mostrar la lista de todos los archivos disponibles que contiene.

Nota: Los valores path y exclude_paths distinguen entre mayúsculas y minúsculas.

Rastrear los archivos modificados más recientemente primero

El Agent limita el número de archivos que puedes rastrear simultáneamente, definido por el parámetro logs_config.open_files_limit. Por defecto, cuando coinciden más archivos con el patrón comodín que este límite, el Agent les da prioridad ordenando los nombres de archivo en orden lexicográfico inverso. Esto funciona bien para archivos de logs nombrados con marcas de tiempo o numeración secuencial, lo que asegura que los logs más recientes se rastrearán primero.

Sin embargo, si los nombres de archivo de los logs no siguen estos patrones, puede que el comportamiento predeterminado no sea el ideal. Para dar prioridad a los archivos por hora de modificación, configura logs_config.file_wildcard_selection_mode como by_modification_time. Con esta configuración, el Agent ordena continuamente los archivos por su hora de modificación. Siempre rastrea primero los archivos modificados más recientemente y deja de rastrear aquellos modificados menos recientemente.

Para definir el comportamiento predeterminado, elimina la entrada logs_config.file_wildcard_selection_mode o defínela explícitamente como by_name.

Para usar esta función, se necesita la versión 7.40.0 o posterior del Agent.

Codificaciones del archivo de logs

De forma predeterminada, el Datadog Agent asume que los logs utilizan la codificación UTF-8. Si los logs de tu aplicación utilizan otra codificación, define el parámetro encoding con la configuración de logs.

En la siguiente lista se indican los valores de codificación compatibles. Si indicas un valor no compatible, el Agent lo ignorará y leerá el archivo como UTF-8.

• utf-16-le: UTF-16 little-endian (Datadog Agent v6.23/v7.23)
• utf-16-be: UTF-16 big-endian (Datadog Agent v6.23/v7.23)
• shift-jis: Shift-JIS (Datadog Agent v6.34/v7.34)

Ejemplo de configuración:

logs:
  - type: file
    path: /test/log/hello-world.log
    tags: key:value
    service: utf-16-logs
    source: mysql
    encoding: utf-16-be

Nota: El parámetro encoding solo resulta aplicable cuando el parámetro type está establecido como file.

Reglas generales de procesamiento

A partir de la versión 6.10 o superior del Datadog Agent, es posible definir las reglas de procesamiento exclude_at_match, include_at_match y mask_sequences de manera general en el archivo de configuración principal del Agent o mediante una variable de entorno:

logs_config:
  processing_rules:
    - type: exclude_at_match
      name: exclude_healthcheck
      pattern: healthcheck
    - type: mask_sequences
      name: mask_user_email
      pattern: \w+@datadoghq.com
      replace_placeholder: "MASKED_EMAIL"

DD_LOGS_CONFIG_PROCESSING_RULES='[{"type": "mask_sequences", "name": "mask_user_email", "replace_placeholder": "MASKED_EMAIL", "pattern" : "\\w+@datadoghq.com"}]'

apiVersion: datadoghq.com/v2alpha1
kind: DatadogAgent
metadata:
  name: datadog
spec:
  override:
    nodeAgent:
      env:
        - name: DD_LOGS_CONFIG_PROCESSING_RULES
          value: '[{"type": "mask_sequences", "name": "mask_user_email", "replace_placeholder": "MASKED_EMAIL", "pattern" : "\\w+@datadoghq.com"}]'

datadog:
  env:
    - name: DD_LOGS_CONFIG_PROCESSING_RULES
      value: '[{"type": "mask_sequences", "name": "mask_user_email", "replace_placeholder": "MASKED_EMAIL", "pattern" : "\\w+@datadoghq.com"}]'

Nota: El Datadog Agent no inicia el Collector de logs si existe un problema de formato en las reglas de procesamiento generales. Ejecuta el subcomando de estado del Agent para solucionar los problemas que encuentres.

FAQ sobre la agregación de logs multilínea

1. ¿Cuándo debo utilizar reglas multilínea manuales en lugar de la detección multilínea automática?

Si conoces el formato de tus logs, deberías utilizar reglas multilínea manuales para un control preciso. Si envías muchos logs multilínea y no sabes bien cuál es su formato o no puedes configurar todas las fuentes individualmente, debes utilizar la detección multilínea automática.

2. ¿Qué ocurre cuando un patrón multilínea no coincide con ningún log?

Todas las líneas de logs que no son JSON se procesan individualmente como entradas de logs separadas. Todas las líneas de logs con formato JSON se tratan como una única línea de logs. Sólo se admite el primer formato JSON válido y el resto se descartan.

**3. ¿Qué ocurre cuando hay reglas globales y reglas específicas de una integración? Las reglas específicas de la integración anulan por completo las reglas globales de la integración en cuestión.

Referencias adicionales

Más enlaces, artículos y documentación útiles:

Empezando con Logging without LimitsTMDOCUMENTACIÓN Utiliza el Datadog Agent solo para la recopilación de logsDOCUMENTACIÓN Descubre cómo procesar tus logsDOCUMENTACIÓN Obtener más información sobre el análisisDOCUMENTACIÓN Función de rastreo en directo de DatadogDOCUMENTACIÓN Aprender a explorar tus logsDOCUMENTACIÓN Entrada del glosario para "rastreo"GLOSARIO