Data Streams Monitoring para Kafka

Este producto no es compatible con el sitio Datadog seleccionado. ().

Requisitos previos

LenguajeBibliotecaVersión de rastreador mínimaVersión de rastreador recomendada
Javakafka-clients (Lag generation is not supported for v3.7*)1.9.01.43.0 or later
Goconfluent-kafka-go1.56.11.66.0 or later
Sarama1.56.11.66.0 or later
kafka-go1.63.01.63.0 or later
Node.jskafkajs2.39.0 or 3.26.0 or 4.5.05.25.0 or later
confluent-kafka-javascript5.52.05.52.0 or later
Pythonconfluent-kafka1.16.02.11.0 or later
aiokafka4.1.04.1.0 or later
.NETConfluent.Kafka2.28.02.41.0 or later
RubyRuby Kafka2.23.02.23.0 or later
Karafka2.23.02.23.0 or later

*Spring Boot v3.3.x y Spring Kafka v3.2.x utilizan Kafka Clients v3.7.x, que no admite la generación de retrasos. Para solucionarlo, actualiza la versión de Kafka Clients a v3.8.0 o posterior.

Kafka Streams es parcialmente compatible con Java y esto puede llevar a que se omitan mediciones de latencia.

Despliegues de Kafka compatibles

Instrumentar tus consumidores y productores con Data Streams Monitoring te permite ver tu topología y realizar un seguimiento de tus pipelines con métricas listas para usar, independientemente de cómo se despliega Kafka. Además, los siguientes despliegues de Kafka tienen más compatibilidad de integración, proporcionando más información sobre la salud de tu clúster de Kafka:

ModeloIntegración
AutoalojadoIntermediario Kafka y Consumidor Kafka
Confluent PlatformConfluent Platform
Nube ConfluentConfluent Cloud
Amazon MSKAmazon MSK o Amazon MSK (Agent)
Red PandaAún no integrado

Configuración de Data Streams Monitoring

Consulta las instrucciones de configuración para Java, Go, Node.js, Python, .NET o Ruby.

Monitoring Kafka Pipelines

Data Streams Monitoring uses message headers to propagate context through Kafka streams. If log.message.format.version is set in the Kafka broker configuration, it must be set to 0.11.0.0 or higher. Data Streams Monitoring is not supported for versions lower than this.

Conectores de monitorización

Conectores de Confluent Cloud

Data Streams Monitoring can automatically discover your Confluent Cloud connectors and visualize them within the context of your end-to-end streaming data pipeline.

Setup

  1. Install and configure the Datadog-Confluent Cloud integration.

  2. In Datadog, open the Confluent Cloud integration tile.

    The Confluent Cloud integration tile in Datadog, on the Configure tab. Under an Actions heading, a table titled '13 Resources autodiscovered' containing a list of resources and checkboxes for each resource.

    Under Actions, a list of resources populates with detected clusters and connectors. Datadog attempts to discover new connectors every time you view this integration tile.

  3. Select the resources you want to add.

  4. Click Add Resources.

  5. Navigate to Data Streams Monitoring to visualize the connectors and track connector status and throughput.

Conectores de Kafka autoalojados

Requisitos: dd-trace (traza)-java v1.44.0 o posterior

Esta función está en vista previa.

Data Streams Monitoring puede recopilar información de tus conectores de Kafka autoalojados. En Datadog, estos conectores se muestran como servicios conectados a temas de Kafka. Datadog recopila el rendimiento hacia y desde todos los temas de Kafka. Datadog no recopila estados de conectores o sumideros y fuentes de conectores de Kafka autoalojados.

Instalación
  1. Asegúrate de que el Datadog Agent se está ejecutando en tus workers de Kafka Connect.
  2. Asegúrate de que dd-trace (traza)-java está instalado en tus workers de Kafka Connect.
  3. Modifica tus opciones de Java para incluir dd-trace-java en los nodos de tus workers de Kafka Connect. Por ejemplo, en Strimzi, modifica STRIMZI_JAVA_OPTS para añadir -javaagent:/path/to/dd-java-agent.jar.