Avec Kafka Console de Data Streams Monitoring, un check du Datadog Agent se connecte à votre cluster Kafka et commence à collecter des métriques de santé et de performance. Kafka Console vous permet de :

• Surveiller l’état de santé de Kafka : visualisez l’état de santé du cluster, du broker, du topic et de la partition avec des métriques de débit, de retard et de réplication.
• Identifier la cause première : corrélez les changements de configuration et de schéma avec le retard, le débit et les erreurs, et tracez les problèmes jusqu’au topic, à la version de schéma ou au changement de configuration exact.
• Connecter des services aux topics : voyez quels producteurs et consommateurs interagissent avec chaque topic, avec des propriétaires, des dépôts, des rotations d’astreinte, des traces et des logs d’erreurs liés.
• Inspecter les schémas et les messages des topics : affichez les schémas, comparez les versions et accédez aux messages pour déboguer des charges utiles problématiques ou explorer le topic.
• Alertez et automatisez les réponses : utilisez les modèles de monitor recommandés et déclenchez Workflow Automation ou des webhooks lorsqu’une condition Kafka se déclenche.

Pour commencer, consultez Kafka Console Setup.

Workflows

Surveillez l’état de santé et les performances du cluster

Les onglets Clusters, Topics et Brokers affichent l’état de santé de l’ensemble de votre infrastructure Kafka. Pour chaque topic, vous pouvez voir le nombre de partitions, les partitions sous-répliquées et hors ligne, le débit des messages et le retard des consommateurs.

Cliquez sur n’importe quel topic pour voir un résumé détaillé, incluant le taux de messages entrants, le retard maximal sur toutes les partitions et si le retard actuel approche de la limite de rétention.

À partir de n’importe quelle métrique, vous pouvez créer des monitors, des SLO et des dashboards Datadog.

Corrélez les changements de configuration et de schéma avec les métriques de santé

Les événements de changement sont superposés directement sur les graphiques de débit et de retard, afin que vous puissiez voir si un changement de configuration ou de schéma a coïncidé avec une dégradation.

Pour identifier exactement ce qui a changé, cliquez sur les changements détectés sur la superposition et sélectionnez View config change.

Connectez les services producteurs et consommateurs aux topics

Les sections Producers et Consumers de chaque topic indiquent quels services lisent et écrivent dans ce topic. Le survol d’un service affiche les informations de propriété du Service Catalog : équipe, dépôt de code, ingénieur d’astreinte et canal Slack.

Utilisez ces informations pour contacter la bonne équipe lorsqu’un consommateur est en retard ou qu’un producteur se comporte mal.

Inspectez les schémas et les messages des topics

La section Schema affiche le schéma actuel pour la clé ou la valeur d’un topic, avec l’historique des versions. Utilisez le sélecteur de version pour comparer les schémas entre les versions.

La section Messages vous permet de récupérer des messages par partition et offset pour inspecter directement les charges utiles. Ceci est utile pour déboguer des charges utiles problématiques ou vérifier la structure des messages après un changement de schéma. Consultez Enable message inspection pour connaître les prérequis et autorisations supplémentaires nécessaires pour récupérer les messages.

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Résolvez les problèmes Kafka à chaque couche de votre pile avec Kafka Console.BLOG