Un processeur exécute dans un pipeline une action de structuration de données sur un log (remappage d’un attribut, parsing Grok, etc.).
Les différents types de processeurs sont expliqués ci-dessous.
Créez des règles grok personnalisées pour analyser l’intégralité du message ou un attribut spécifique de votre événement brut :
Consultez la section relative au parsing pour obtenir davantage d’informations à ce sujet.
Lorsque Datadog reçoit des logs, il leur attribue un timestamp à l’aide des valeurs de l’un de ces attributs par défaut :
timestampdate_timestampTimestampeventTimepublished_dateSi la date de vos logs est spécifiée dans un attribut ne figurant pas dans cette liste, utilisez le processeur du remappeur de dates de logs pour définir leur attribut de date comme timestamp officiel pour ces logs :
Si vos logs ne comprennent aucun des attributs par défaut et que vous n’avez pas défini votre propre attribut de date, Datadog marque d’un timestamp les logs avec la date de réception.
Remarque : si plusieurs processeurs de remappage de dates de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.
Utilisez ce processeur si vous souhaitez définir des attributs en tant que statut officiel. Entrez simplement le chemin de l’attribut dans le carré du processeur comme suit :
Il permet de transformer ce log :
En ce log :
Il convient toutefois de noter que chaque valeur de statut entrant est mappée comme suit :
Remarque : si plusieurs processeurs de remappage du statut de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.
Utilisez ce processeur si vous souhaitez définir au moins un attribut en tant que service officiel. Définissez le ou les attributs dans le carré du processeur comme suit :
Remarque : si plusieurs processeurs de remappage du service peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.
Le message est un attribut clé dans Datadog. Il est affiché dans la colonne de message du Log Explorer et vous permet d’effectuer des recherches en texte intégral. Utilisez ce processeur pour définir au moins un attribut en tant que message de log officiel. Définissez le ou les attributs dans le carré du processeur comme suit :
Remarque : si plusieurs processeurs de remappage de message de log peuvent être appliqués à un log donné, seul le premier (selon la séquence des pipelines) est pris en compte.
Ce processeur effectue un remappage de n’importe quel attribut ou tag source vers un autre attribut ou tag cible. Par exemple, ici, il effectue le remappage de user vers user.firstname :
Il permet de transformer ce log :
En ce log :
Les contraintes de nom du tag ou de l’attribut sont expliquées dans les recommandations relatives aux tags. Certaines contraintes supplémentaires sont appliquées, car les caractères : ou , ne sont pas autorisés dans le nom du tag ou de l’attribut cible.
Ce processeur extrait les paramètres de requête et d’autres paramètres importants à partir d’une URL. Pour l’utiliser, il vous suffit de saisir l’attribut source de votre URL :
Les paramètres suivants :
Vous permettent d’obtenir les résultats suivants :
Le parser de user-agent reçoit un attribut user-agent et tente d’extraire le système d’exploitation, le navigateur, l’appareil, etc. Il reconnaît les bots majeurs comme le Google Bot, Yahoo Slurp, Bing et autres.
Si vos logs comprennent des user-agents encodés (comme pour les logs IIS, par exemple), activez l’option Apply a URL decode first afin de décoder l’URL avant son parsing.
Les paramètres suivants :
Vous permettent d’obtenir les résultats suivants :
Utilisez le processeur de catégories pour ajouter un nouvel attribut (sans espace ni caractère spécial dans le nouveau nom de l’attribut) à un log correspondant à votre requête de recherche. Les catégories sont idéales pour créer des groupes utiles et faciliter l’analyse des informations (exemples : groupes d’URL, groupes de machines, environnements, compartiments de temps de réponse, etc.).
Par exemple, pour catégoriser vos logs d’accès Web en fonction de la plage de valeurs du code de statut (2xx pour un code de réponse entre 200 et 299, 3xx pour un code de réponse entre 300 et 399, etc.), ajoutez ce processeur :
Cela génère le résultat suivant :
Remarque importante : la requête peut être effectuée sur n’importe quel attribut de log ou tag, qu’il s’agisse d’une facette ou non. Votre requête peut également contenir des wildcards. Une fois que l’une des requêtes du processeur a renvoyé un log, celle-ci s’arrête. Assurez-vous de spécifier les requêtes dans l’ordre adéquat si un log correspond à plusieurs requêtes.
Utilisez le processeur arithmétique pour ajouter un nouvel attribut (sans espace ni caractère spécial dans le nouveau nom de l’attribut) à un log avec le résultat de la formule fournie. Cela vous permet de remapper différents attributs de temps avec différentes unités vers un seul attribut, ou de calculer des opérations sur des attributs dans le même log.
Cette formule peut utiliser des parenthèses et les opérateurs arithmétiques de base : -, +, *, /.
Exemple :
Par défaut, le calcul est ignoré s’il manque un attribut. Sélectionnez « Replace missing attribute by 0 » pour remplacer automatiquement les valeurs d’attribut manquantes par 0 et ainsi garantir la réalisation du calcul. Un attribut est considéré comme manquant s’il est introuvable dans les attributs de log, ou s’il ne peut pas être converti en chiffre.
Remarques :
- doit être séparé par une espace dans la formule, car il peut également être présent dans les noms d’attributs.0,1234567891, la valeur stockée pour l’attribut est alors 0,123456789.Il existe deux façons d’améliorer la corrélation entre les traces et les logs d’application :
Suivez la documentation sur l’ajout d’un ID de trace dans les logs d’application et sur l’utilisation des intégrations de log par défaut pour prendre en charge le reste de la configuration.
Utilisez le processeur de remappage de trace pour définir un attribut de log comme étant son ID de trace associé. Pour ce faire, entrez le chemin de l’attribut dans le carré du processeur comme suit :
Documentation, liens et articles supplémentaires utiles:
