Surveiller votre utilisation des logs
Ce guide vous explique comment surveiller l’utilisation des logs avec des métriques d’estimation de l’utilisation. Les points suivants seront abordés :
- Recevoir une alerte en cas de pic de trafic imprévu
- Recevoir une alerte lorsque vous êtes sur le point de dépasser un seuil de budget associé à vos logs indexés
- Importer le dashboard d’utilisation Log Management prêt à l’emploi
Recevoir une alerte en cas de pic imprévu
Métriques d’utilisation des logs
Les métriques d’utilisation des logs sont proposées par défaut afin de surveiller le nombre de logs ingérés, d’octets ingérés et de logs indexés. Ces métriques sont gratuites et valables pendant 15 mois :
Consultez la section ci-dessous pour découvrir comment les exploiter dans des monitors de détection d’anomalies.
Remarque : il est conseillé de définir l’unité de la métrique datadog.estimated_usage.logs.ingested_bytes
sur Byte
depuis la page Metric Summary :
Monitors de détection d’anomalies
Pour définir des monitors de détection d’anomalies et recevoir une alerte en cas d’augmentation imprévue du nombre de logs indexés :
- Créez un monitor d’anomalie.
- Sélectionnez la métrique
datadog.estimated_usage.logs.ingested_events
. - Ajoutez
datadog_is_excluded:false
dans la section from
(pour surveiller les logs indexés et non ceux qui sont ingérés). - Ajoutez le tag
service
et datadog_index
dans count by (pour recevoir une notification si un service spécifique fait l’objet d’un pic ou arrête d’envoyer des logs vers un index quelconque). - Définissez des conditions d’alerte en fonction de vos besoins (par exemple, une fenêtre d’évaluation ou un nombre d’occurrences d’une valeur en dehors de la plage attendue).
- Définissez un message de notification avec des instructions claires :
Exemple de notification avec des liens contextuels :
Une quantité de logs imprévue a été indexée dans l'index {{datadog_index.name}}
1. [Consultez les patterns de logs pour ce service](https://app.datadoghq.com/logs/patterns?from_ts=1582549794112&live=true&to_ts=1582550694112&query=service%3A{{service.name}})
2. [Appliquez un filtre pour exclure le pattern à l'origine du pic](https://app.datadoghq.com/logs/pipelines/indexes)
Dashboard d’estimation de l’utilisation
Il est également possible d’utiliser les métriques d’utilisation des logs pour créer un dashboard servant à estimer votre utilisation de la solution Log Management de Datadog. Voici un exemple de dashboard de ce type :
Remarque : les métriques utilisées dans ce dashboard sont des estimations et peuvent ne pas refléter les valeurs facturées.
Pour importer ce dashboard, copiez la définition JSON du dashboard d’estimation de l’utilisation et collez-la dans un nouveau dashboard. Vous pouvez également utiliser l’option Import Dashboard JSON
dans le menu des paramètres, situé dans le coin supérieur droit de la fenêtre du nouveau dashboard.
Remarque : cette définition JSON ne peut pas être importée en tant que timeboard ou screenboard.
Surveiller les logs indexés avec un seuil fixe
Recevez une notification si les volumes de logs indexés de votre infrastructure augmentent de manière imprévue, peu importe leur contexte (service
, availability-zone
, etc.) :
- Accédez à la vue Log Explorer de Datadog.
- Créez une requête de recherche qui correspond au volume à surveiller. Ne spécifiez pas de requête pour surveiller tous les logs de cet index.
- Cliquez sur Export to monitor.
- Spécifiez la valeur seuil pour un warning ou une error.
- Indiquez une notification explicite :
Le volume de ce service vient d'atteindre un niveau trop élevé. Définissez un filtre d'exclusion supplémentaire ou augmentez le taux d'échantillonnage pour revenir à des valeurs normales.
Recevoir une alerte lorsqu’un index atteint son quota journalier
Il est également possible d’appliquer un quota journalier aux index pour empêcher que le nombre de logs indexés par jour dépasse une valeur donnée. Si vous appliquez une telle limite, Datadog vous conseille de configurer le monitor ci-dessus de façon à recevoir une alerte lorsque 80 % de ce quota est atteint au cours des 24 dernières heures. Un événement est généré lorsque le quota journalier est atteint. Configurez un monitor pour être notifié de cet événement :
Voici un exemple de notification sur Slack :
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles: