Processing

Processing

Présentation

Contrôlez le traitement de vos logs depuis la page de configuration des logs.

Les pipelines et les processeurs peuvent être appliqués à tout type de log. Vous n’avez pas besoin de modifier la configuration de votre journalisation ni de déployer des changements dans les règles de traitement côté serveur. Vous pouvez gérer l’ensemble des paramètres depuis la page de configuration des pipelines.

La mise en place d’une stratégie de traitement des logs vous permet également de bénéficier d’une convention de nommage d’attributs à l’échelle de votre organisation.

Logs personnalisés

Définissez des règles de traitement personnalisées pour les formats de logs personnalisés. Utilisez n’importe quelle syntaxe de log pour extraire tous vos attributs et, si besoin, les remapper sur des attributs globaux ou canoniques.

Par exemple, avec des règles de traitement personnalisées, vous pouvez transformer ce log :

En celui ci :

Consultez la documentation relative aux pipelines pour découvrir comment effectuer des actions uniquement sur un sous-ensemble de logs avec les filtres de pipelines.

Consultez la documentation relative aux processeurs pour découvrir la liste complète des processeurs disponibles.

Si vous souhaitez en savoir plus sur les fonctionnalités de parsing, consultez la documentation dédiée. Vous pouvez également parcourir les recommandations de parsing ainsi que le guide relatif au dépannage pour le parsing.

Remarques :

  • Pour une utilisation optimale de la solution Log Management, Datadog recommande d’utiliser au maximum 20 processeurs par pipeline et 10 règles de parsing dans un processeur Grok.

  • Datadog se réserve le droit de désactiver les règles de parsing, les processeurs ou les pipelines peu efficaces qui pourraient avoir une incidence sur les performances du service de Datadog.

Pipeline de traitement

Un pipeline de traitement applique à un sous-ensemble filtré de logs entrants une liste de processeurs séquentiels. Consultez la documentation relative aux pipelines pour découvrir comment fonctionne le prétraitement des logs JSON et des pipelines d’intégration.

Pour aller plus loin