Nouvelles annonces sur les technologies sans serveur et réseau ainsi que sur le RUM (Real-User Monitoring) dévoilées à la conférence Dash ! Nouvelles annonces dévoilées à la conférence Dash !

Processeurs

Un processeur exécute dans un pipeline une action de structuration de données sur un log (remappage d’un attribut, parsing Grok, etc.).

Les différents types de processeurs sont expliqués ci-dessous.

Parser grok

Créez des règles grok personnalisées pour analyser l’intégralité du message ou un attribut spécifique de votre événement brut :

Consultez la section relative au parsing pour obtenir davantage d’informations à ce sujet.

Remappeur de dates de log

Lorsque Datadog reçoit des logs, il leur attribue un timestamp à l’aide des valeurs de l’un de ces attributs par défaut :

  • timestamp
  • date
  • _timestamp
  • Timestamp
  • eventTime
  • published_date

Si la date de vos logs est spécifiée dans un attribut ne figurant pas dans cette liste, utilisez le processeur du remappeur de dates de logs pour définir leur attribut de date comme timestamp officiel pour ces logs :

Si vos logs ne comprennent aucun des attributs par défaut et que vous n’avez pas défini votre propre attribut de date, Datadog marque d’un timestamp les logs avec la date de réception.

Les formats de date reconnus sont : ISO8601, UNIX (le format EPOCH en millisecondes) et RFC3164.

Remarque : si plusieurs processeurs de remappage de dates de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.

Remappeur de statuts de log

Utilisez ce processeur si vous souhaitez définir des attributs en tant que statut officiel. Entrez simplement le chemin de l’attribut dans le carré du processeur comme suit :

Il permet de transformer ce log :

En ce log :

Il convient toutefois de noter que chaque valeur de statut entrant est mappée comme suit :

  • Les entiers de 0 à 7 mappent vers les normes de sévérité Syslog.
  • Les chaînes de caractères commençant par emerg ou f (insensible à la casse) mappent vers emerg (0).
  • Les chaînes de caractères commençant par a (insensible à la casse) mappent vers alert (1).
  • Les chaînes de caractères commençant par c (insensible à la casse) mappent vers critical (2).
  • Les chaînes de caractères commençant par err (insensible à la casse) mappent vers error (3).
  • Les chaînes de caractères commençant par w (insensible à la casse) mappent vers warning (4).
  • Les chaînes de caractères commençant par n (insensible à la casse) mappent vers notice (5).
  • Les chaînes de caractères commençant par i (insensible à la casse) mappent vers info (6).
  • Les chaînes de caractères commençant par d, trace ou verbose (insensible à la casse) mappent vers debug (7).
  • Les chaînes de caractères commençant par o ou correspondant à OK ou Success (insensible à la casse) mappent vers OK
  • Toutes les autres chaînes de caractères mappent vers info (6).

Remarque : si plusieurs processeurs de remappage du statut de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.

Remappeur de services

Utilisez ce processeur si vous souhaitez définir au moins un attribut en tant que service officiel. Définissez le ou les attributs dans le carré du processeur comme suit :

Remarque : si plusieurs processeurs de remappage du service peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.

Remappeur de messages de log

Le message est un attribut clé dans Datadog. Il est affiché dans la colonne de message du Log Explorer et vous permet d’effectuer des recherches en texte intégral. Utilisez ce processeur pour définir au moins un attribut en tant que message de log officiel. Définissez le ou les attributs dans le carré du processeur comme suit :

Remarque : si plusieurs processeurs de remappage de message de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.

Remappeur

Ce processeur effectue un remappage de n’importe quel attribut ou tag source vers un autre attribut ou tag cible. Par exemple, ici, il effectue le remappage de user vers user.firstname :

Il permet de transformer ce log :

En ce log :

Les contraintes de nom du tag ou de l’attribut sont expliquées dans les recommandations relatives aux tags. Certaines contraintes supplémentaires sont appliquées, car les caractères : ou , ne sont pas autorisés dans le nom du tag ou de l’attribut cible.

Parser d’URL

Ce processeur extrait les paramètres de requête et d’autres paramètres importants à partir d’une URL. Pour l’utiliser, il vous suffit de saisir l’attribut source de votre URL :

Les paramètres suivants :

Vous permettent d’obtenir les résultats suivants :

Parser de user-agent

Le parser de user-agent reçoit un attribut user-agent et tente d’extraire le système d’exploitation, le navigateur, l’appareil, etc. Il reconnaît les bots majeurs comme le Google Bot, Yahoo Slurp, Bing et autres.

Si vos logs comprennent des user-agents encodés (comme pour les logs IIS, par exemple), activez l’option Apply a URL decode first afin de décoder l’URL avant son parsing.

Les paramètres suivants :

Vous permettent d’obtenir les résultats suivants :

Processeur de catégories

Utilisez le processeur de catégories pour ajouter un nouvel attribut (sans espace ni caractère spécial dans le nouveau nom de l’attribut) à un log correspondant à votre requête de recherche. Les catégories sont idéales pour créer des groupes utiles et faciliter l’analyse des informations (exemples : groupes d’URL, groupes de machines, environnements, compartiments de temps de réponse, etc.).

Par exemple, pour catégoriser vos logs d’accès Web en fonction de la plage de valeurs du code de statut (2xx pour un code de réponse entre 200 et 299, 3xx pour un code de réponse entre 300 et 399, etc.), ajoutez ce processeur :

Cela génère le résultat suivant :

Remarque importante : la requête peut être effectuée sur n’importe quel attribut de log ou tag, qu’il s’agisse d’une facette ou non. Votre requête peut également contenir des wildcards. Une fois que l’une des requêtes du processeur a renvoyé un log, celle-ci s’arrête. Assurez-vous de spécifier les requêtes dans l’ordre adéquat si un log correspond à plusieurs requêtes.

Processeur arithmétique

Utilisez le processeur arithmétique pour ajouter un nouvel attribut (sans espace ni caractère spécial dans le nouveau nom de l’attribut) à un log avec le résultat de la formule fournie. Cela vous permet de remapper différents attributs de temps avec différentes unités vers un seul attribut, ou de calculer des opérations sur des attributs dans le même log.

Cette formule peut utiliser des parenthèses et les opérateurs arithmétiques de base : -, +, *, /.

Exemple :

Par défaut, le calcul est ignoré s’il manque un attribut. Sélectionnez « Replace missing attribute by 0 » pour remplacer automatiquement les valeurs d’attribut manquantes par 0 et ainsi garantir la réalisation du calcul. Un attribut est considéré comme manquant s’il est introuvable dans les attributs de log, ou s’il ne peut pas être converti en chiffre.

Remarques :

  • L’opérateur - doit être séparé par une espace dans la formule, car il peut également être présent dans les noms d’attributs.
  • Si l’attribut cible existe déjà, il est remplacé par le résultat de la formule.
  • Les résultats sont arrondis à la 9e décimale. Par exemple, si le résultat de la formule est 0,1234567891, la valeur stockée pour l’attribut est alors 0,123456789.

Remappeur de traces

Il existe deux façons d’améliorer la corrélation entre les traces et les logs d’application :

  1. Suivez la documentation sur l’ajout d’un ID de trace dans les logs d’application et sur l’utilisation des intégrations de log par défaut pour prendre en charge le reste de la configuration.

  2. Utilisez le processeur de remappage de trace pour définir un attribut de log comme étant son ID de trace associé. Pour ce faire, entrez le chemin de l’attribut dans le carré du processeur comme suit :

Pour aller plus loin