Data Streams Monitoring pour Kafka

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Prérequis

LangageBibliothèqueVersion minimale du traceurVersion recommandée du traceur
Javakafka-clients (La génération de lag n'est pas prise en charge pour la v3.7*)1.9.01.43.0 or later
Goconfluent-kafka-go1.56.11.66.0 or later
Sarama1.56.11.66.0 or later
kafka-go1.63.01.63.0 or later
Node.jskafkajs2.39.0 or 3.26.0 or 4.5.05.25.0 or later
confluent-kafka-javascript5.52.05.52.0 or later
Pythonconfluent-kafka1.16.02.11.0 or later
aiokafka4.1.04.1.0 or later
.NETConfluent.Kafka2.28.02.41.0 or later
RubyRuby Kafka2.23.02.23.0 or later
Karafka2.23.02.23.0 or later

*Spring Boot 3.3.x et spring-kafka 3.2.x utilisent kafka-clients 3.7.x, qui ne prend pas en charge la génération de lag. Pour résoudre ce problème, mettez à jour votre version de kafka-clients vers la version 3.8.0 ou ultérieure.

Kafka Streams est partiellement pris en charge pour Java et peut entraîner des lacunes dans les mesures de latence.

Déploiements Kafka pris en charge

L’instrumentation de vos consommateurs et producteurs avec Data Streams Monitoring vous permet de visualiser votre topologie et de suivre vos pipelines avec des métriques prêtes à l’emploi, quel que soit le mode de déploiement de Kafka. De plus, les déploiements Kafka suivants bénéficient d’une intégration plus poussée, offrant davantage d’informations sur l’état de votre cluster Kafka :

ModèleIntégration
Auto-hébergéKafka Broker & Kafka Consumer
Confluent PlatformConfluent Platform
Confluent CloudConfluent Cloud
Amazon MSKAmazon MSK ou Amazon MSK (Agent)
Red PandaPas encore intégré

Configurer Data Streams Monitoring

Consultez les instructions de configuration pour Java, Go, Node.js, Python, .NET ou Ruby.

Monitoring Kafka Pipelines

Data Streams Monitoring uses message headers to propagate context through Kafka streams. If log.message.format.version is set in the Kafka broker configuration, it must be set to 0.11.0.0 or higher. Data Streams Monitoring is not supported for versions lower than this.

Surveillance des connecteurs

Connecteurs Confluent Cloud

Data Streams Monitoring can automatically discover your Confluent Cloud connectors and visualize them within the context of your end-to-end streaming data pipeline.

Setup

  1. Install and configure the Datadog-Confluent Cloud integration.

  2. In Datadog, open the Confluent Cloud integration tile.

    The Confluent Cloud integration tile in Datadog, on the Configure tab. Under an Actions heading, a table titled '13 Resources autodiscovered' containing a list of resources and checkboxes for each resource.

    Under Actions, a list of resources populates with detected clusters and connectors. Datadog attempts to discover new connectors every time you view this integration tile.

  3. Select the resources you want to add.

  4. Click Add Resources.

  5. Navigate to Data Streams Monitoring to visualize the connectors and track connector status and throughput.

Connecteurs Kafka auto-hébergés

Prérequis : dd-trace-java v1.44.0+

Cette fonctionnalité est en version Preview.

Data Streams Monitoring peut collecter des informations à partir de vos connecteurs Kafka auto-hébergés. Dans Datadog, ces connecteurs apparaissent sous forme de services connectés à des topics Kafka. Datadog collecte le débit vers et depuis tous les topics Kafka. Datadog ne collecte pas le statut des connecteurs ni les sinks et sources des connecteurs Kafka auto-hébergés.

Configuration
  1. Assurez-vous que l’Agent Datadog est en cours d’exécution sur vos workers Kafka Connect.
  2. Vérifiez que dd-trace-java est installé sur vos workers Kafka Connect.
  3. Modifiez vos options Java pour inclure dd-trace-java sur vos nœuds worker Kafka Connect. Par exemple, sur Strimzi, modifiez STRIMZI_JAVA_OPTS pour ajouter -javaagent:/path/to/dd-java-agent.jar.