Configurar Data Streams Monitoring para Java

Este producto no es compatible con el sitio Datadog seleccionado. ().

Requisitos previos

Bibliotecas compatibles

TecnologíaBibliotecaVersión mínima del rastreadorVersión recomendada del rastreador
Kafkakafka-clients (La generación de retardos no se admite para la v3.7*)1.9.01.43.0 or later
RabbitMQamqp-client1.9.01.42.2 or later
Amazon SQSaws-java-sdk-sqs (v1)1.27.01.42.2 or later
Amazon SQSsqs (v2)1.27.01.42.2 or later
Amazon KinesisKinesis (v1)1.22.01.42.2 or later
Amazon KinesisKinesis (v2)1.22.01.42.2 or later
Amazon SNSSNS (v1)1.31.01.42.2 or later
Amazon SNSSNS (v2)1.31.01.42.2 or later
Google PubSubGoogle Cloud Pub/Sub1.25.01.42.2 or later
IBM MQClases de IBM MQ para Java y JMS1.55.01.55.0 or later

*Spring Boot 3.3.x y spring-kafka 3.2.x utilizan kafka-clients 3.7.x, que no admite la generación de retardos. Para solucionarlo, actualiza la versión de kafka-clients a 3.8.0 o posterior.</span (tramo)>

Instalación

Para activar Data Streams Monitoring, configura las siguientes variables de entorno en true en los servicios que envían o consumen mensajes:

  • DD_DATA_STREAMS_ENABLED
  • DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED
    environment:
  - DD_DATA_STREAMS_ENABLED: "true"
  - DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED: "true"

    Ejecuta lo siguiente cuando inicies tu aplicación Java:

    java -javaagent:/path/to/dd-java-agent.jar -Ddd.data.streams.enabled=true -Ddd.trace.remove.integration-service-names.enabled=true -jar path/to/your/app.jar

    Instalación con un solo clic

    Para configurar Data Streams Monitoring desde la interfaz de usuario Datadog sin necesidad de reiniciar tu servicio, utiliza la configuración en tiempo de ejecución. Ve a la página de servicios APM y Enable DSM.

    Activa Data Streams Monitoring desde la sección Dependencias de la page (página) de servicios de APM
    Instalación

    Utiliza el rastreador de Java de Datadog, dd-trace-java, para recopilar información de tus trabajadores de Kafka Connect.

    1. Añade el archivo dd-java-agent.jar a tus trabajadores de Kafka. Asegúrate de estar utilizando dd-trace-java v1.44+.
    2. Modifica tus opciones de Java para incluir el rastreador de Java de Datadog en tus nodos de trabajadores. Por ejemplo, en Strimzi, modifica STRIMZI_JAVA_OPTS para añadir -javaagent:/path/to/dd-java-agent.jar.

    Monitoring SQS pipelines

    Data Streams Monitoring uses one message attribute to track a message’s path through an SQS queue. As Amazon SQS has a maximum limit of 10 message attributes allowed per message, all messages streamed through the data pipelines must have 9 or fewer message attributes set, allowing the remaining attribute for Data Streams Monitoring.

    Monitoring RabbitMQ pipelines

    The RabbitMQ integration can provide detailed monitoring and metrics of your RabbitMQ deployments. For full compatibility with Data Streams Monitoring, Datadog recommends configuring the integration as follows:

    instances:
  - prometheus_plugin:
      url: http://<HOST>:15692
      unaggregated_endpoint: detailed?family=queue_coarse_metrics&family=queue_consumer_count&family=channel_exchange_metrics&family=channel_queue_exchange_metrics&family=node_coarse_metrics

    This ensures that all RabbitMQ graphs populate, and that you see detailed metrics for individual exchanges as well as queues.

    Monitorización de pipelines SNS a SQS

    Para monitorizar un pipeline de datos en el que Amazon SNS habla directamente con Amazon SQS, debes realizar los siguientes pasos adicionales de configuración:

      • Configura la variable de entorno DD_TRACE_SQS_BODY_PROPAGATION_ENABLED en true.

        Por ejemplo:

        environment:
  - DD_DATA_STREAMS_ENABLED: "true"
  - DD_TRACE_REMOVE_INTEGRATION_SERVICE_NAMES_ENABLED: "true"
  - DD_TRACE_SQS_BODY_PROPAGATION_ENABLED: "true"

      • Asegúrate de estar utilizando el rastreador de Java v1.44.0+.

      Activa la entrega de mensajes sin formato de Amazon SNS.

      Monitoring Kinesis pipelines

      There are no message attributes in Kinesis to propagate context and track a message’s full path through a Kinesis stream. As a result, Data Streams Monitoring’s end-to-end latency metrics are approximated based on summing latency on segments of a message’s path, from the producing service through a Kinesis Stream, to a consumer service. Throughput metrics are based on segments from the producing service through a Kinesis Stream, to the consumer service. The full topology of data streams can still be visualized through instrumenting services.

      Instrumentación manual

      Data Streams Monitoring propaga el contexto a través de las cabeceras de los mensajes. Si utilizas una tecnología de cola de mensajes no compatible con DSM, una tecnología sin cabeceras (como Kinesis) o Lambda, utiliza la instrumentación manual para configurar DSM.

      Conectores de monitorización

      Conectores de Confluent Cloud

      Data Streams Monitoring can automatically discover your Confluent Cloud connectors and visualize them within the context of your end-to-end streaming data pipeline.

      Setup

      1. Install and configure the Datadog-Confluent Cloud integration.

      2. In Datadog, open the Confluent Cloud integration tile.

        The Confluent Cloud integration tile in Datadog, on the Configure tab. Under an Actions heading, a table titled '13 Resources autodiscovered' containing a list of resources and checkboxes for each resource.

        Under Actions, a list of resources populates with detected clusters and connectors. Datadog attempts to discover new connectors every time you view this integration tile.

      3. Select the resources you want to add.

      4. Click Add Resources.

      5. Navigate to Data Streams Monitoring to visualize the connectors and track connector status and throughput.

      Conectores de Kafka autoalojados

      Requisitos: dd-trace-java v1.44.0+

      Esta función está en vista previa.

      Data Streams Monitoring puede recopilar información de tus conectores de Kafka autoalojados. En Datadog, estos conectores se muestran como servicios conectados a temas de Kafka. Datadog recopila el rendimiento hacia y desde todos los temas de Kafka. Datadog no recopila el estado del conector ni los receptores y sources (fuentes) de los conectores de Kafka autoalojados.

      Instalación
      1. Asegúrate de que el Datadog Agent se esté ejecutando en tus trabajadores de Kafka Connect.
      2. Asegúrate de que dd-trace-java esté instalado en tus trabajadores de Kafka Connect.
      3. Modifica tus opciones de Java para incluir dd-trace-java en tus nodos de trabajadores de Kafka Connect. Por ejemplo, en Strimzi, modifica STRIMZI_JAVA_OPTS para añadir -javaagent:/path/to/dd-java-agent.jar.

      Referencias adicionales

      Más enlaces, artículos y documentación útiles:

      Integración de KafkaDOCUMENTACIÓN more more Catálogo de softwareDOCUMENTACIÓN more more Descubre automáticamente los conectores de Confluent Cloud y monitoriza fácilmente el rendimiento en Data Streams MonitoringBLOG more more