Générer des métriques à partir de logs ingérés

Présentation

La fonctionnalité Logging without Limits* de Datadog vous permet de choisir de façon dynamique les éléments à inclure ou à exclure de vos index. Les métriques basées sur des logs constituent une solution rentable vous permettant d’obtenir une synthèse des données de log à partir de l’ensemble du flux d’ingestion. Ainsi, même si vous utilisez des filtres d’exclusion pour limiter les index aux logs essentiels sur le plan opérationnel, vous pouvez toujours visualiser les tendances et les anomalies sur toutes vos données de log, avec une granularité complète pendant 15 mois.

Avec des métriques basées sur des logs, vous pouvez enregistrer le nombre de logs qui correspondent à une requête ou résumer une valeur numérique contenue dans un log, comme la durée des requêtes.

Générer une métrique basée sur des logs

Pour générer une nouvelle métrique basée sur des logs, accédez à la page Configuration de votre compte Datadog et sélectionnez l’onglet Generate Metrics, puis le bouton New Metric+.

Ajouter une nouvelle métrique basée sur des logs

1. Saisissez une requête pour filtrer le flux de logs : la syntaxe de la requête est la même que pour la recherche du Log Explorer. Seuls les logs ingérés avec un timestamp ne dépassant pas les 20 dernières minutes sont pris en compte lors de l’agrégation.
2. Sélectionnez le champ que vous souhaitez surveiller : sélectionnez * pour obtenir le nombre total de logs qui correspondent à votre requête, ou saisissez un attribut de log (p. ex., @network.bytes_written) pour agréger une valeur numérique et créer sa métrique agrégée correspondante (count, min, max, sum et avg). Si la facette d’attribut de log est une mesure, la valeur de la métrique correspond à la valeur de l’attribut de log.
3. Ajoutez des dimensions en fonction desquelles effectuer le regroupement avec group by : par défaut, les métriques générées à partir de logs ne sont associées à aucun tag, sauf si vous avez explicitement choisi d’en ajouter. Toute dimension d’attribut ou de tag présente dans vos logs peut être utilisée pour créer des tags de métriques. Les métriques basées sur des logs sont considérées comme des métriques custom. Évitez donc d’effectuer des regroupements à partir d’attributs sans restriction ou présentant une cardinalité extrêmement élevée, tels que des timestamps, des ID utilisateur, des ID de requête ou des ID de session, pour empêcher une hausse conséquente de vos coûts.
4. Donnez un nom à votre métrique : les noms de métriques basées sur des logs doivent suivre la convention de nommage des métriques.

Remarque : les points de données pour les métriques basées sur des logs sont générés à des intervalles de dix secondes.

Mettre à jour une métrique basée sur des logs

Lorsqu’une métrique est créée, seuls les champs suivants peuvent être mis à jour :

• Requête de filtrage du flux : permet de modifier le groupe de logs à agréger pour générer les métriques.
• Groupes d’agrégation : permet de modifier les tags ou de gérer la cardinalité des métriques générées.

Pour modifier le type ou le nom d’une métrique, une nouvelle métrique doit être créée.

Métriques d’utilisation conseillées

Les métriques d’utilisation sont des estimations en temps quasi-réel de votre utilisation de Datadog. Elles vous permettent de :

• Représenter graphiquement l’estimation de votre utilisation.
• Créer des monitors sur l’estimation de votre utilisation.
• Obtenir des alertes en cas de pics ou de chutes d’utilisation.
• Évaluer en temps quasi-réel l’impact potentiel des modifications de code sur votre utilisation.

Les métriques d’utilisation Log Management s’accompagnent de trois tags qui peuvent être utilisés pour une surveillance plus granulaire :

Un tag status supplémentaire est disponible pour la métrique datadog.estimated_usage.logs.ingested_events afin d’indiquer le statut du log (info, warning, etc.).

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Apprendre à traiter vos logsDOCUMENTATION Contrôler le volume de logs indexés par DatadogDOCUMENTATION

*Logging without Limits est une marque déposée de Datadog, Inc.