Présentation

De nombreux types de logs sont utilisés pour suivre des tendances, tels que les KPI, sur de longues périodes. Générer des métriques à partir de vos logs est un moyen rentable de résumer les données de logs provenant de logs volumineux, tels que les logs de CDN, les logs de flux VPC, les logs de pare-feu et les logs de réseau. Utilisez le processeur de génération de métriques pour générer des métriques de comptage, de jauge ou de distribution à partir de logs correspondant à une requête, et envoyez-les vers votre destination.

Remarque : Les métriques générées à partir des logs et acheminées vers Datadog sont des métriques personnalisées et facturées en conséquence. Consultez Facturation des Custom Metrics pour plus d’informations.

Configuration

Pour configurer le processeur :

Cliquez sur Manage Metrics pour créer de nouvelles métriques ou modifier des métriques existantes. Cela ouvre un panneau latéral.

• Si vous n’avez pas encore créé de métriques, saisissez les paramètres de métrique comme décrit dans la section Ajouter une métrique pour créer une métrique.
• Si vous avez déjà créé des métriques, cliquez sur la ligne de la métrique dans le tableau de synthèse pour la modifier ou la supprimer. Utilisez la barre de recherche pour trouver une métrique spécifique par son nom, puis sélectionnez la métrique pour la modifier ou la supprimer. Cliquez sur Add Metric pour ajouter une autre métrique.

Ajouter une métrique

1. Saisissez une requête de filtre. Consultez Syntaxe de recherche de logs pour plus d’informations.
   • Seuls les logs correspondant au filtre sont traités.
   • Tous les logs, qu’ils correspondent ou non à la requête de filtrage, sont envoyés à l’étape suivante du pipeline.
   • Remarque : Comme un seul processeur peut générer plusieurs métriques, vous pouvez définir une requête de filtrage différente pour chaque métrique.
2. Saisissez un nom pour la métrique.
3. Dans la section Define parameters, sélectionnez le type de métrique (compte, jauge ou distribution). Consultez l’exemple de métrique Count et l’exemple de métrique Distribution. Consultez également Types de métriques pour plus d’informations.
   • Pour les types de métriques ‘jauge’ et ‘distribution’, sélectionnez un champ de log qui possède une valeur numérique (ou une chaîne numérique analysable) utilisée pour la valeur de la métrique générée.
   • Pour le type de métrique de distribution, la valeur du champ de log peut être un tableau de valeurs numériques (analysables), qui est utilisé pour l’ensemble d’échantillons de la métrique générée.
   • Le champ Group by détermine comment les valeurs de métrique sont regroupées. Par exemple, si vous avez des centaines d’hôtes répartis dans quatre régions, le regroupement par région vous permet de représenter une ligne pour chaque région. Les champs listés dans le paramètre Group by sont définis comme des tags sur la métrique configurée.
4. Cliquez sur Add Metric.

Configurez une destination de métriques

1. Sur le processeur Generate Metrics, cliquez sur Add Metrics Destination.
   Remarque : Si vous utilisez la simulation de pipeline, retournez à la page du pipeline pour configurer votre destination de métriques. Cliquez sur Back to pipeline dans le coin supérieur droit de la page de simulation de pipeline.
2. Datadog Metrics est la destination par défaut. Pour sélectionner une destination différente, cliquez sur l’icône en forme de crayon sur la destination Datadog Metrics et sélectionnez Changer la destination des métriques.
3. Sélectionnez votre destination et suivez les instructions de configuration pour la destination spécifique.

Types de métriques

Vous pouvez générer ces types de métriques pour vos logs. Consultez la documentation sur les Types de métriques et les Distributions pour plus de détails.

Exemple de métrique de type Count

Pour cet exemple de log status:error :

{"status": "error", "env": "prod", "host": "ip-172-25-222-111.ec2.internal"}

Pour créer une métrique de type Count qui compte le nombre de logs contenant "status":"error" et les regroupe par env et host, saisissez les informations suivantes :

Exemple de métrique de distribution

Pour cet exemple de log de réponse d’API :

{
    "timestamp": "2018-10-15T17:01:33Z",
    "method": "GET",
    "status": 200,
    "request_body": "{"information"}",
    "response_time_seconds: 10
}

Pour créer une métrique de distribution qui mesure le temps moyen nécessaire pour effectuer un appel API, saisissez les informations suivantes :

Convertir l’horodatage de chaîne au format horodatage

Le processeur Generate Metrics ne peut utiliser le champ de log timestamp pour définir l’horodatage de la métrique que si le champ de log est de type horodatage. Si le champ timestamp est une chaîne, l’heure à laquelle le log est traité est utilisée à la place. Pour utiliser le timestamp de log, vous devez convertir la chaîne en type horodatage avant d’envoyer les logs au processeur Generate Metrics.

Pour convertir un horodatage de chaîne au format horodatage :

1. Ajoutez un Custom Processor à votre pipeline avant le processeur Generate Metrics.
2. Ajoutez une fonction avec le script personnalisé suivant :

   .timestamp = parse_timestamp!(.timestamp, format: "%+")
   

   See parse_timestamp for more information.

Métriques de santé

Pour les métriques de composant et les métriques de tampon de processeur émises par tous les processeurs, consultez la documentation Pipelines Usage Metrics.

Métriques du processeur Generate Metrics

• Utilisez le tag component_id pour filtrer ou regrouper par composants individuels.
• Le tag component_type est generate_metrics pour les métriques de ce processeur.

pipelines.generated_metrics_from_logs_total

Description: Le nombre de métriques générées à partir des événements de log par le processeur.

Type de métrique : count