Activez globalement auto_multi_line_detection dans le fichier datadog.yaml :

logs_config:
  auto_multi_line_detection: true

Utilisez la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION dans le conteneur de l’Agent Datadog pour configurer une règle globale d’agrégation automatique des lignes multiples. Exemple :

DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION=true

Operator

Utilisez le paramètre spec.override.nodeAgent.env dans le manifeste de votre Operator Datadog pour définir la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION, afin de configurer une règle globale d’agrégation automatique des lignes multiples. Exemple :

spec:
  override:
    nodeAgent:
      env:
        - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION
          value: "true"

Helm

Utilisez l’option datadog.logs.autoMultiLineDetection dans le chart Helm pour configurer une règle globale d’agrégation automatique des lignes multiples. Exemple :

datadog:
  logs:
    enabled: true
    autoMultiLineDetection: true

Dans un environnement de host, activez auto_multi_line_detection avec la méthode de collecte de logs personnalisée. Exemple :

logs:
  - type: file
    path: /my/test/file.log
    service: testApp
    source: java
    auto_multi_line_detection: true

Dans un environnement Docker, utilisez l’étiquette com.datadoghq.ad.logs sur votre conteneur pour spécifier la configuration de log. Exemple :

 labels:
    com.datadoghq.ad.logs: >-
      [{
        "source": "java",
        "service": "testApp",
        "auto_multi_line_detection": true
      }]

Dans un environnement Kubernetes, utilisez l’annotation ad.datadoghq.com/<CONTAINER_NAME>.logs sur votre pod pour spécifier la configuration de log. Exemple :

apiVersion: apps/v1
metadata:
  name: testApp
spec:
  selector:
    matchLabels:
      app: testApp
  template:
    metadata:
      annotations:
        ad.datadoghq.com/<CONTAINER_NAME>.logs: >-
          [{
            "source": "java",
            "service": "testApp",
            "auto_multi_line_detection": true
          }]
      labels:
        app: testApp
      name: testApp
    spec:
      containers:
        - name: '<CONTAINER_NAME>'
          image: testApp:latest

Dans un fichier de configuration, ajoutez les patterns auto_multi_line_extra_patterns à datadog.yaml :

logs_config:
  auto_multi_line_detection: true
  auto_multi_line_extra_patterns:
   - \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
   - '[A-Za-z_]+ \d+, \d+ \d+:\d+:\d+ (AM|PM)'

Seuil personnalisé

Le paramètre auto_multi_line_default_match_threshold détermine le degré de correspondance requis entre les logs et les patterns pour que l’agrégation automatique des lignes multiples fonctionne.

Si vos logs à lignes multiples ne sont pas agrégés comme prévu, vous pouvez modifier le degré de correspondance en définissant le paramètre auto_multi_line_default_match_threshold. Ajoutez le paramètre auto_multi_line_default_match_threshold à votre fichier de configuration en le définissant sur une valeur plus basse (pour obtenir plus de correspondances) ou plus haute (pour obtenir moins de correspondances) par rapport à la valeur actuelle du seuil.

Redémarrez l’Agent Datadog pour appliquer la nouvelle valeur de seuil aux prochains logs ingérés. Pour vérifier la valeur actuelle du seuil, exécutez la commande status de l’Agent.

logs_config:
  auto_multi_line_detection: true
  auto_multi_line_extra_patterns:
   - \d{4}\-(0?[1-9]|1[012])\-(0?[1-9]|[12][0-9]|3[01])
   - '[A-Za-z_]+ \d+, \d+ \d+:\d+:\d+ (AM|PM)'
  auto_multi_line_default_match_threshold: 0.1

Dans un Agent conteneurisé, ajoutez la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS :

    environment:
      - DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION=true
      - DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS=\d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)

Remarque : l’Agent Datadog interprète les espaces de la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS comme des séparateurs entre plusieurs patterns. Dans l’exemple suivant, les deux patterns d’expression régulière sont séparés par une espace, et \s dans le deuxième pattern correspond aux espaces.

Seuil personnalisé

Le paramètre auto_multi_line_default_match_threshold détermine le degré de correspondance requis entre les logs et les patterns pour que l’agrégation automatique des lignes multiples fonctionne.

Si vos logs à lignes multiples ne sont pas agrégés comme prévu, vous pouvez modifier le degré de correspondance en définissant le paramètre auto_multi_line_default_match_threshold.

Ajoutez le paramètre auto_multi_line_default_match_threshold à votre fichier de configuration en le définissant sur une valeur plus basse (pour obtenir plus de correspondances) ou plus haute (pour obtenir moins de correspondances) par rapport à la valeur actuelle du seuil.

Pour vérifier la valeur actuelle du seuil, exécutez la commande status de l’Agent.

    environment:
      - DD_LOGS_CONFIG_AUTO_MULTI_LINE_DETECTION=true
      - DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS=\d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)
      - DD_LOGS_CONFIG_AUTO_MULTI_LINE_DEFAULT_MATCH_THRESHOLD=0.1

Dans Kubernetes, ajoutez la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS :

Operator

spec:
  override:
    nodeAgent:
      env:
        - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS
          value: \d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)

Helm

datadog:
  env:
    - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS
      value: \d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)

Remarque : l’Agent Datadog interprète les espaces de la variable d’environnement DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS comme des séparateurs entre plusieurs patterns. Dans l’exemple suivant, les deux patterns d’expression régulière sont séparés par une espace, et \s dans le deuxième pattern correspondant aux espaces.

Seuil personnalisé

Le paramètre auto_multi_line_default_match_threshold détermine le degré de correspondance requis entre les logs et les patterns pour que l’agrégation automatique des lignes multiples fonctionne.

Si vos logs à lignes multiples ne sont pas agrégés comme prévu, vous pouvez modifier le degré de correspondance en définissant le paramètre auto_multi_line_default_match_threshold. Ajoutez le paramètre auto_multi_line_default_match_threshold à votre fichier de configuration en le définissant sur une valeur plus basse (pour obtenir plus de correspondances) ou plus haute (pour obtenir moins de correspondances) par rapport à la valeur actuelle du seuil. Pour vérifier la valeur actuelle du seuil, exécutez la commande status de l’Agent.

Operator

spec:
  override:
    nodeAgent:
      env:
        - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS
          value: \d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)
        - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_DEFAULT_MATCH_THRESHOLD
          value: "0.1"

Helm

datadog:
  env:
    - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_EXTRA_PATTERNS
      value: \d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01]) [A-Za-z_]+\s\d+,\s\d+\s\d+:\d+:\d+\s(AM|PM)
    - name: DD_LOGS_CONFIG_AUTO_MULTI_LINE_DEFAULT_MATCH_THRESHOLD
      value: "0.1"