Configurer Data Streams Monitoring pour Java

Docs > Data Streams Monitoring > Configurer Data Streams Monitoring > Configurer Data Streams Monitoring pour Java

Prérequis

Agent Datadog v7.34.0 ou version ultérieure

Bibliothèques compatibles

Technologies	Bibliothèque	Version minimale du traceur	Version recommandée du traceur
Kafka	kafka-clients (la génération de lag n’est pas prise en charge pour v3.7*)	1.9.0	1.43.0 or later
RabbitMQ	amqp-client	1.9.0	1.42.2 or later
Amazon SQS	aws-java-sdk-sqs (v1)	1.27.0	1.42.2 or later
Amazon SQS	sqs (v2)	1.27.0	1.42.2 or later
Amazon Kinesis	Kinesis (v1)	1.22.0	1.42.2 or later
Amazon Kinesis	Kinesis (v2)	1.22.0	1.42.2 or later
Amazon SNS	SNS (v1)	1.31.0	1.42.2 or later
Amazon SNS	SNS (v2)	1.31.0	1.42.2 or later
Google PubSub	Google Cloud Pub/Sub	1.25.0	1.42.2 or later
IBM MQ	Classes IBM MQ pour Java et JMS	1.55.0	1.55.0 or later

*Spring Boot 3.3.x et spring-kafka 3.2.x utilisent kafka-clients 3.7.x, qui ne prend pas en charge la génération de lag. Pour résoudre ce problème, mettez à jour votre version de kafka-clients vers 3.8.0 ou une version ultérieure.

Installation

Pour activer Data Streams Monitoring, définissez les variables d’environnement suivantes sur true sur les services qui envoient ou consomment des messages :

DD_DATA_STREAMS_ENABLED
DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED

environment:
  - DD_DATA_STREAMS_ENABLED: "true"
  - DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED: "true"

Exécutez la commande suivante au démarrage de votre application Java :

java -javaagent:/path/to/dd-java-agent.jar -Ddd.data.streams.enabled=true -Ddd.trace.remove.integration-service-names.enabled=true -jar path/to/your/app.jar

Installation en un clic

Pour configurer Data Streams Monitoring à partir de l’interface utilisateur de Datadog sans avoir à redémarrer votre service, utilisez la configuration à lʼexécution. Accédez à la page du service APM et Enable DSM.

Activer la solution Data Streams Monitoring depuis la section Dépendances de la page du service APM

Configuration

Utilisez le traceur Java de Datadog, dd-trace-java, pour collecter des informations auprès de vos workers Kafka Connect.

Ajoutez le fichier dd-java-agent.jar à vos workers Kafka Connect. Assurez-vous d’utiliser dd-trace-java v1.44+.
Modifiez vos options Java pour inclure le traceur Java Datadog sur vos nœuds worker. Par exemple, sur Strimzi, modifiez STRIMZI_JAVA_OPTS pour ajouter -javaagent:/path/to/dd-java-agent.jar.

Monitoring SQS pipelines

Data Streams Monitoring uses one message attribute to track a message’s path through an SQS queue. As Amazon SQS has a maximum limit of 10 message attributes allowed per message, all messages streamed through the data pipelines must have 9 or fewer message attributes set, allowing the remaining attribute for Data Streams Monitoring.

Monitoring RabbitMQ pipelines

The RabbitMQ integration can provide detailed monitoring and metrics of your RabbitMQ deployments. For full compatibility with Data Streams Monitoring, Datadog recommends configuring the integration as follows:

instances:
  - prometheus_plugin:
      url: http://<HOST>:15692
      unaggregated_endpoint: detailed?family=queue_coarse_metrics&family=queue_consumer_count&family=channel_exchange_metrics&family=channel_queue_exchange_metrics&family=node_coarse_metrics

This ensures that all RabbitMQ graphs populate, and that you see detailed metrics for individual exchanges as well as queues.

Pour surveiller un pipeline de données où Amazon SNS communique directement avec Amazon SQS, vous devez effectuer les étapes de configuration supplémentaires suivantes :

Définissez la variable d’environnement DD_TRACE_SQS_BODY_PROPAGATION_ENABLED sur true.

Par exemple :

environment:
  - DD_DATA_STREAMS_ENABLED: "true"
  - DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED: "true"
  - DD_TRACE_SQS_BODY_PROPAGATION_ENABLED: "true"

Assurez-vous d’utiliser le traceur Java v1.44.0+.

Activez la diffusion de messages bruts Amazon SNS.

Monitoring Kinesis pipelines

There are no message attributes in Kinesis to propagate context and track a message’s full path through a Kinesis stream. As a result, Data Streams Monitoring’s end-to-end latency metrics are approximated based on summing latency on segments of a message’s path, from the producing service through a Kinesis Stream, to a consumer service. Throughput metrics are based on segments from the producing service through a Kinesis Stream, to the consumer service. The full topology of data streams can still be visualized through instrumenting services.

Instrumentation manuelle

Data Streams Monitoring propage le contexte via les en-têtes de messages. Si vous utilisez une technologie de file d’attente non prise en charge par DSM, une technologie sans en-têtes (comme Kinesis) ou des Lambdas, utilisez l’instrumentation manuelle pour configurer DSM.

Surveillance des connecteurs

Connecteurs Confluent Cloud

Data Streams Monitoring can automatically discover your Confluent Cloud connectors and visualize them within the context of your end-to-end streaming data pipeline.

Setup

Install and configure the Datadog-Confluent Cloud integration.
In Datadog, open the Confluent Cloud integration tile.
Under Actions, a list of resources populates with detected clusters and connectors. Datadog attempts to discover new connectors every time you view this integration tile.
Select the resources you want to add.
Click Add Resources.
Navigate to Data Streams Monitoring to visualize the connectors and track connector status and throughput.

Connecteurs Kafka auto-hébergés

Prérequis : dd-trace-java v1.44.0+

Cette fonctionnalité est en version Preview.

Data Streams Monitoring peut collecter des informations auprès de vos connecteurs Kafka auto-hébergés. Dans Datadog, ces connecteurs sont affichés comme des services connectés aux topics Kafka. Datadog collecte le débit vers et depuis tous les topics Kafka. Datadog ne collecte pas le statut des connecteurs ni les sinks et sources des connecteurs Kafka auto-hébergés.

Configuration

Assurez-vous que l’Agent Datadog est en cours d’exécution sur vos workers Kafka Connect.
Assurez-vous que dd-trace-java est installé sur vos workers Kafka Connect.
Modifiez vos options Java pour inclure dd-trace-java sur vos nœuds worker Kafka Connect. Par exemple, sur Strimzi, modifiez STRIMZI_JAVA_OPTS pour ajouter -javaagent:/path/to/dd-java-agent.jar.