Nouvelles annonces sur les technologies sans serveur et réseau ainsi que sur le RUM (Real-User Monitoring) dévoilées à la conférence Dash ! Nouvelles annonces dévoilées à la conférence Dash !

Traitement

Présentation

Pour accéder au volet de configuration, ouvrez le menu Logs à gauche, puis le sous-menu de configuration.

La page de configuration des logs offre un contrôle total du traitement de vos logs avec les pipelines et les processeurs Datadog.

Les pipelines et les processeurs peuvent être appliqués à n’importe quel type de log :

Par conséquent, vous n’avez pas besoin de modifier votre journalisation ni de déployer des changements dans les règles de traitement côté serveur. Vous pouvez gérer l’ensemble des paramètres depuis la page de traitement Datadog.

La mise en place d’une stratégie de traitement de logs vous permet également d’implémenter une convention de nommage d’attributs pour votre organisation.

Traitement de logs

Logs d’intégration

Un pipeline d’intégration est automatiquement installé pour les logs d’intégration, afin de prendre en charge leur parsing et d’ajouter la facette correspondante dans Log Explorer. Consultez l’exemple de logs ELB ci-dessous :

Logs personnalisés

Les formats de logs peuvent être totalement personnalisés. Vous pouvez ainsi définir des règles de traitement personnalisées. Utilisez n’importe quelle syntaxe de log pour extraire tous vos attributs et, au besoin, les remapper pour qu’ils soient plus globaux et canoniques.

Par exemple, avec des règles de traitement personnalisées, vous pouvez transformer ce log :

En celui ci :

Consultez la page Pipelines pour découvrir comment effectuer des actions uniquement sur certains sous-ensembles de logs avec les filtres de pipelines.

Pour accéder à la liste complète des processeurs disponibles, consultez la page Processeurs.

Si vous souhaitez en savoir plus sur les possibilités de parsing pur de l’application Datadog, suivez le guide d’entraînement au parsing. Vous pouvez également consulter le guide des recommandations de parsing et du dépannage de parsing.

Attributs réservés

Si vos logs sont au format JSON, sachez que certains attributs sont réservés à Datadog :

Attribut date

Par défaut, Datadog génère un timestamp et l’ajoute à un attribut de date lors de la réception des logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur en que date officielle du log :

  • @timestamp
  • timestamp
  • _timestamp
  • Timestamp
  • eventTime
  • date
  • published_date
  • syslog.timestamp

Vous pouvez également préciser des attributs alternatifs à utiliser comme source pour la date d’un log en définissant un processeur de remappage de dates de log.

Remarque : Datadog rejette un log si sa date officielle est antérieure de plus de 6 heures.

Les formats de date reconnus sont : ISO 8601, UNIX (le format EPOCH en millisecondes) et RFC 3164.

Attribut message

Par défaut, Datadog ingère la valeur du message comme corps de l’entrée du log. Cette valeur est alors mise en évidence et affichée dans le flux de logs, où elle est indexée pour d’éventuelles recherches plein texte.

Attribut status

Chaque entrée de log peut spécifier un niveau de statut. Celui-ci peut est disponible pour la recherche à facettes au sein de Datadog. Cependant, si un fichier de log au format JSON inclut l’un des attributs suivants, Datadog interprète sa valeur en tant que statut officiel du log :

  • status
  • severity
  • level
  • syslog.severity

Si vous souhaitez remapper un statut existant dans l’attribut status, vous pouvez le faire avec le remappeur de statuts de log

Attribut host

Utilisez l’Agent Datadog ou le format RFC 5424 pour définir automatiquement la valeur du host sur vos logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur comme host du log :

  • host
  • hostname
  • syslog.hostname

Attribut source

Si un fichier de log au format JSON comprend l’attribut ddsource, Datadog interprète sa valeur en tant que source du log. Pour utiliser les mêmes noms de source que ceux de Datadog, consultez la référence du pipeline d’intégration.

Attribut service

Utilisez l’Agent Datadog ou le format RFC 5424 pour définir automatiquement la valeur du service sur vos logs. Cependant, si un fichier de log au format JSON comprend l’un des attributs suivants, Datadog interprète sa valeur comme service du log :

  • service
  • syslog.appname

Attribut trace_id

Par défaut, les traceurs de Datadog peuvent automatiquement injecter les ID de trace et de span dans les logs. Cependant, si un log au format JSON comprend les attributs suivants, Datadog interprète sa valeur en que trace_id du log :

  • dd.trace_id
  • contextMap.dd.trace_id

Modifier des attributs réservés

Vous pouvez désormais contrôler le hostname global, le service, le timestamp et le mappage principal du statut qui sont appliqués avant les pipelines de traitement. Cela s’avère utile lorsque des logs sont envoyés au format JSON ou à partir d’un Agent externe.

Pour modifier les valeurs par défaut de chaque attribut réservé, accédez à la page Configuration et modifiez le champ Reserved Attribute mapping :

Pour aller plus loin