Vue d’ensemble

Les processeurs d’Observability Pipelines vous permettent d’ajouter, de modifier et de supprimer des champs de log. Le remappage des attributs ou la réécriture des valeurs garantit que vos logs sont traités et standardisés correctement. Pour la majorité des cas d’utilisation de traitement, utilisez le processeur Edit Fields pour ajouter, remapper ou supprimer des champs de vos logs. Pour les cas d’utilisation avancés, utilisez le Custom Processor pour modifier conditionnellement des champs ou réécrire la valeur d’un champ.

Dans Datadog, les attributs réservés sont des champs de log mis de côté pour un traitement spécifique dans la plateforme. Les attributs réservés incluent host, source, status, service, trace_id et message. Les attributs réservés sont appliqués lors de l’acheminement des logs vers les destinations Observability Pipelines suivantes :

• Datadog Logs
• Amazon S3 (pour les archives de logs)
• Azure Blob Storage (pour les archives de logs)
• Google Cloud Storage (pour les archives de logs)

Il existe des restrictions dans Observability Pipelines sur la façon dont vous pouvez modifier les attributs réservés. Par exemple, les attributs réservés ne peuvent pas être renommés à l’aide du processeur Rename Field, mais doivent être remappés à la place. Ce guide vous accompagne dans les étapes de remappage de la valeur des attributs réservés.

Si votre configuration spécifique utilise une source Splunk HEC et une destination Datadog, consultez Remappez les attributs de source et de service lors de l’utilisation de la source Splunk HEC et de la destination Datadog.

Remappez la valeur des attributs réservés

Pour modifier ou remplacer la valeur d’un champ d’attribut réservé existant, Datadog recommande deux approches utilisant Observability Pipelines. La première utilise le processeur Edit Fields, et la seconde utilise le processeur Custom Processor.

Utilisez le processeur Edit Fields pour des attributions de champs de base

1. Utilisez un processeur Remove field pour supprimer l’attribut réservé du log.
2. Utilisez un processeur Add field pour réintroduire l’attribut réservé dans le log avec le nom de champ et l’attribution de valeur corrects.

Remarque : En ce qui concerne l’ordre des processeurs, le processeur Add Field doit être placé immédiatement après le processeur Remove Field pour garantir un remappage correct des champs.

Exemple

L’image du processeur Remove field ci-dessous supprime le champ service mal nommé du log.

L’image du processeur Add field ci-dessous réinsère le champ service avec la valeur correcte.

Utilisez le Custom Processor pour des attributions dynamiques ou manuelles

Utilisez le Custom Processor pour réécrire la valeur de l’attribut réservé.

Attribuez dynamiquement la valeur en utilisant la syntaxe de modèle pour référencer la valeur d’un autre champ.

Le script du Custom Processor suivant réécrit le champ service et attribue dynamiquement la valeur de app_id à la valeur du champ service.

.service = {{.app_id}}

Dans l’image d’exemple ci-dessous, l’entrée montre service avec la valeur wrongstatus. Après le traitement du log avec le script, la sortie montre service avec la valeur streaming-service, qui est la valeur de app_id.

Réécrivez manuellement la valeur d’un attribut avec un nom statique

Le script du Custom Processor suivant définit le champ status sur la valeur statique info.

.status = "info"

Dans l’image d’exemple ci-dessous, l’entrée montre status avec la valeur wrongstatus. Après le traitement du log avec le script, la sortie montre status avec info comme attribué.

Remappez les attributs de source et de service lors de l’utilisation de la source Splunk HEC et de la destination Datadog

Suivez les instructions de cette section pour remapper les valeurs source et/ou service si vous utilisez une source Splunk HEC et une destination Datadog. Vous devez suivre ces instructions pour remapper ces attributs :

• Le service de Splunk est ce que Datadog appelle l’attribut source.
• Le sourcetype de Splunk est ce que Datadog appelle l’attribut ddsource.

Remarque : Si vous souhaitez remapper d’autres attributs réservés, tels que env et hostname, suivez les instructions Remappez la valeur des attributs réservés.

Vous pouvez utiliser le Custom Processor ou Edit Fields pour :

1. Remappez le champ service du log d’entrée sur le nom de champ source.
2. Remappez le champ source du log d’entrée sur le nom de champ ddsource.

Remappez les attributs de service et de source à l’aide du Custom Processor

Voici un exemple de log d’entrée provenant de la source Splunk HEC :

{
  "service": "wrongService"
  "source": "wrongSource"
}

Supposons qu’il s’agisse des valeurs correctes que vous souhaitez pour le log envoyé à Datadog :

{
  "ddsource": "akamai",
  "source": "cdn-logs"
}

Use this Custom Processor script to remap the `service` and `source` to the correct values:

```json
  .source = "cdn-logs"
  .ddsource = "akamai"
  del(.service)

Après le traitement du log avec le script, la sortie affiche :

{
  "ddsource": "akamai",
  "source": "cdn-logs"
}

Dans l’image d’exemple ci-dessous, l’entrée affiche source et service avec la valeur wrongstatus. Après le traitement du log avec le script, les valeurs correctes sont affichées.

Remappez les attributs de service et de source à l’aide d’Edit Fields

Voici un exemple de log d’entrée provenant de la source Splunk HEC :

{
  "service": "wrongService"
  "source": "wrongSource"
}

Supposons qu’il s’agisse des valeurs correctes que vous souhaitez pour le log envoyé à Datadog :

{
  "ddsource": "akamai",
  "source": "cdn-logs"
}

Effectuez les opérations suivantes pour remapper les attributs source et service sur les valeurs correctes :

1. Utilisez un processeur Remove field pour supprimer le champ source.
   • Saisissez source dans le champ Field to drop.

2. Utilisez un processeur Add field pour ajouter le champ ddsource avec la valeur akamai.
   • Saisissez ddsource dans le champ Field to add.
   • Saisissez akamai dans le champ Value to add.

3. Utilisez un processeur Remove field pour supprimer le champ service.
   • Saisissez service dans le champ Field to drop.

4. Utilisez un processeur Add field pour ajouter le champ source avec la valeur cdn-logs.
   • Saisissez source dans le champ Field to add.
   • Saisissez cdn-logs dans le champ Value to add.

Lectures complémentaires

Documentation, liens et articles supplémentaires utiles:

En savoir plus sur le processeur Edit FieldsDOCUMENTATION En savoir plus sur le processeur Custom ProcessorDOCUMENTATION