Traitement
Rapport de recherche Datadog : Bilan sur l'adoption de l'informatique sans serveur Rapport : Bilan sur l'adoption de l'informatique sans serveur

Traitement

Présentation

Pour accéder au volet de configuration, ouvrez le menu Logs à gauche, puis le sous-menu de configuration.

La page de configuration des logs offre un contrôle total du traitement de vos logs avec les pipelines et les processeurs Datadog.

Les pipelines et les processeurs peuvent être appliqués à n’importe quel type de log :

Par conséquent, vous n’avez pas besoin de modifier votre journalisation ni de déployer des changements dans les règles de traitement côté serveur. Vous pouvez gérer l’ensemble des paramètres depuis la page de traitement Datadog.

La mise en place d’une stratégie de traitement de logs vous permet également d’implémenter une convention de nommage d’attributs pour votre organisation.

Traitement de logs

Les logs d’intégration

Un pipeline d’intégration est automatiquement installé pour les logs d’intégration, afin de prendre en charge leur parsing et d’ajouter la facette correspondante dans Log Explorer. Consultez l’exemple de logs ELB ci-dessous :

Logs personnalisés

Les formats de logs peuvent être totalement personnalisés. Vous pouvez ainsi définir des règles de traitement personnalisées. Utilisez n’importe quelle syntaxe de log pour extraire tous vos attributs et, au besoin, les remapper pour qu’ils soient plus globaux et canoniques.

Par exemple, avec des règles de traitement personnalisées, vous pouvez transformer ce log :

En celui ci :

Consultez la page Pipelines pour découvrir comment effectuer des actions uniquement sur certains sous-ensembles de logs avec les filtres de pipelines.

Pour accéder à la liste complète des processeurs disponibles, consultez la page Processeurs.

Si vous souhaitez en savoir plus sur les possibilités de parsing pur de l’application Datadog, suivez le guide d’entraînement au parsing. Vous pouvez également consulter le guide des recommandations de parsing et du dépannage de parsing.

Pour une utilisation optimale de la solution Log Management, Datadog recommande d’utiliser au maximum 20 processeurs par pipeline et 10 règles de parsing dans un processeur Grok. Datadog se réserve le droit de désactiver les règles de parsing, les processeurs ou les pipelines peu optimisés qui pourraient avoir une incidence sur les performances du service de Datadog.

Prétraitement des logs JSON

Le prétraitement des logs JSON est appliqué à tous les logs avant leur arrivée dans les pipelines de logs. Le prétraitement exécute une série d’opérations basées sur des attributs réservés :

Le prétraitement des logs JSON inclut une configuration par défaut qui prend en charge les redirecteurs de log standard. Vous pouvez modifier cette configuration à tout moment si vous utilisez une stratégie de transmission des logs personnalisée ou spécifique. Pour modifier les valeurs par défaut, accédez à la page de configuration et modifiez le pipeline Pre processing for JSON logs :

Carré de prétraitement des logs

Attribut source

Si un fichier de log au format JSON comprend l’attribut ddsource, Datadog interprète sa valeur en tant que source du log. Pour utiliser les mêmes noms de source que ceux de Datadog, consultez la bibliothèque du pipeline d’intégration.

Remarque : les logs provenant d’un environnement conteneurisé nécessitent l’utilisation d’une variable d’environnement pour remplacer les valeurs source et service par défaut.

Attribut host

Utilisez l’Agent Datadog ou le format RFC 5424 pour définir automatiquement la valeur du host sur vos logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur comme host du log :

  • host
  • hostname
  • syslog.hostname

Attribut date

Par défaut, Datadog génère un timestamp et l’ajoute à un attribut de date lors de la réception des logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur en que date officielle du log :

  • @timestamp
  • timestamp
  • _timestamp
  • Timestamp
  • eventTime
  • date
  • published_date
  • syslog.timestamp

Vous pouvez également préciser des attributs alternatifs à utiliser comme source pour la date d’un log en définissant un processeur de remappage de dates de log.

Remarque : Datadog rejette un log si sa date officielle est antérieure de plus de 18 heures.

Les formats de date reconnus sont : ISO 8601, UNIX (le format EPOCH en millisecondes) et RFC 3164.

Attribut message

Par défaut, Datadog ingère la valeur du message comme corps de l’entrée du log. Cette valeur est alors mise en évidence et affichée dans le flux de logs, où elle est indexée pour d’éventuelles recherches plein texte.

Attribut status

Chaque entrée de log peut spécifier un niveau de statut. Celui-ci peut est disponible pour la recherche à facettes au sein de Datadog. Cependant, si un fichier de log au format JSON inclut l’un des attributs suivants, Datadog interprète sa valeur en tant que statut officiel du log :

  • status
  • severity
  • level
  • syslog.severity

Si vous souhaitez remapper un statut existant dans l’attribut status, vous pouvez le faire avec le remappeur de statuts de log.

Attribut service

Utilisez l’Agent Datadog ou le format RFC 5424 pour définir automatiquement la valeur du service sur vos logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur comme service du log :

  • service
  • syslog.appname

Attribut trace_id

Par défaut, les traceurs de Datadog peuvent automatiquement injecter les ID de trace et de span dans les logs. Cependant, si un log au format JSON comprend les attributs suivants, Datadog interprète sa valeur en que trace_id du log :

  • dd.trace_id
  • contextMap.dd.trace_id

Pour aller plus loin