Configuration

Docs > Observability Pipelines > Configuration

Présentation

La page des pipelines avec une source allant vers deux groupes de processeurs et deux destinations

Observability Pipelines vous permet de collecter et de traiter au sein de votre propre infrastructure, puis acheminez-les vers différentes destinations. Un pipeline se compose de trois composants principaux :

Source : reçoit des données provenant d’un outil tel que le Datadog Agent.
Processors : transforment, enrichissent ou filtrent les données.
Destinations : où les données sont envoyées (par exemple, Datadog, Amazon S3, Splunk, Google Security Operations et Microsoft Sentinel).

Créez et déployez des pipelines pour collecter, transformer et acheminer vos données en utilisant l’une de ces méthodes :

Types de pipelines

Il existe deux types de pipelines :

Utilisez l’un des modèles de logs pour créer un pipeline de logs.

Archiver les logs
Dual Ship Logs
Générer des métriques basées sur les logs
Log Enrichment
Log Volume Control
Rédaction de données sensibles
Fractionner les logs

Consultez Set Up Pipelines pour plus d’informations sur la configuration d’une source, de processors et de destinations.

Utilisez le modèle Metric Tag Governance pour créer un pipeline de métriques.

Consultez Set Up Pipelines pour plus d’informations sur la configuration d’une source, de processors et d’une destination.

Données de métriques

Les métriques envoyées à Observability Pipelines incluent les éléments suivants :

name : Le nom de la métrique.
kind : Il existe deux types de métriques :
- absolute métriques : Représente la valeur actuelle d’une mesure au moment où elle est rapportée.
- incremental métriques : Représente le changement d’une mesure depuis la dernière valeur rapportée, que le système agrège au fil du temps.
value : Le type de métrique :
- counter
- gauge
- distribution
- histogram
timestamp : La date et l’heure auxquelles la métrique est créée.
tags : Inclut des tags tels que host.

Le fait qu’une métrique reçue soit incremental ou absolute dépend de la source. Par exemple, les métriques provenant d’OpenTelemetry peuvent être incrémentielles ou absolues en fonction de leur temporalité. Le tableau suivant est un exemple de métrique de compteur OTel envoyée avec une temporalité delta par rapport à une temporalité cumulative.

Type de métrique	Incrémentiel	Absolu
Compteur	Envoyé sous forme de deltas : `+2`, `+4`, `+6`	Envoyé sous forme de somme cumulative : `2`, `6`, `10`

Un exemple de métrique :

{
  "name":"datadog.agent.retry_queue_duration.bytes_per_sec",
  "tags":{
    "agent":"core",
    "domain":"https://7-72-3-app.agent.datadoghq.com",
    "host":"COMP-YGVQDJG75L",
    "source_type_name":"System",
    "env:prod"
  },
  "timestamp":"2025-11-28T13:03:09Z",
  "kind":"absolute",
  "gauge":{"value":454.1372767857143}
}

Types de métriques

Les types de métriques disponibles :

Type de métrique ;	Description	Exemple
COUNTER	Le nombre total d’occurrences d’événements dans un intervalle de temps. Peut être réinitialisé à zéro, mais ne peut pas être diminué.	Vous souhaitez compter le nombre de logs avec `status:error`.
GAUGE	Un instantané d’une valeur au moment où elle est rapportée.	Vous souhaitez suivre la dernière utilisation du CPU pour chaque host.
HISTOGRAM	Agrégations statistiques (`avg`, `min`, `max`, `count`, `median`, percentiles) calculées par host par le Datadog Agent dans un intervalle de temps, puis envoyées à Datadog.	Vous souhaitez des agrégations de latence de requête par host à partir de chaque serveur web.
DISTRIBUTION	Valeurs brutes envoyées à Datadog afin que les agrégations de percentiles soient calculées côté serveur, globalement sur chaque host rapportant la métrique dans un intervalle de temps.	Vous souhaitez la latence p95 globale d’un endpoint d’API, calculée sur chaque host qui le dessert.