Información general

Este check monitoriza Confluent Platform y los componentes Kafka a través del Datadog Agent.

Este integración recopila métricas JMX para los siguientes componentes:

• Broker
• Conectar
• Replicador
• Registro de esquemas
• Servidor ksqlDB
• Flujos (streams)
• Proxy REST

Considera Data Streams Monitoring para mejorar tu integración de Confluent Platform. Esta solución permite la visualización del pipeline y el seguimiento de retrasos, lo que te ayuda a identificar y resolver cuellos de botella.

Configuración

Instalación

El check de Confluent Platform se incluye en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor de componentes de Confluent Platform.

Nota: Este check recopila métricas con JMX. Se necesita una JVM en cada nodo para que el Agent pueda ejecutar jmxfetch. Se recomienda utilizar una JVM proporcionada por Oracle.

Configuración

1. Edita el archivo confluent_platform.d/conf.yaml, en la carpeta conf.d/ en la raíz del directorio de configuración de tu Agent para recopilar los datos de rendimiento de Confluent Platform. Consulta el confluent_platform.d/conf.yaml de ejemplo para ver todas las opciones de configuración disponibles.

   Para cada componente, es necesario crear una instancia separada para recopilar sus métricas JMX. La lista de métricas recopiladas por defecto se encuentra en el archivo metrics.yaml, por ejemplo:

   instances:
    - host: localhost
      port: 8686
      name: broker_instance
      user: username
      password: password
    - host: localhost
      port: 8687
      name: schema_registry_instance
    - host: localhost
      port: 8688
      name: rest_proxy_instance
   

2. Reinicia el Agent.

Recopilación de logs

Disponible para las versiones 6.0 o posteriores del Agent

1. La recopilación de logs se encuentra deshabilitada de manera predeterminada en el Datadog Agent; debes habilitarla en el archivo datadog.yaml:

   logs_enabled: true
   

2. Añade este bloque de configuración a tu archivo confluent_platform.d/conf.yaml para empezar a recopilar logs de componentes de Confluent Platform:

     logs:
       - type: file
         path: <CONFLUENT_COMPONENT_PATH>/logs/*.log
         source: confluent_platform
         service: <SERVICE_NAME>
         log_processing_rules:
           - type: multi_line
             name: new_log_start_with_date
             pattern: \[\d{4}\-\d{2}\-\d{2}
   

   Cambia los valores de los parámetros path y service y configúralos para tu entorno. Consulta el confluent_platform.d/conf.yaml de ejemplo para conocer todas las opciones de configuración disponibles.

3. Reinicia el Agent.

Recopilación de métricas

Para entornos en contenedores, consulta la guía Autodiscovery con JMX.

Validación

Ejecuta el subcomando de estado del Agent y busca confluent_platform en la sección JMXFetch.

    ========
    JMXFetch
    ========

      Initialized checks
      ==================
        confluent_platform
          instance_name : confluent_platform-localhost-31006
          message :
          metric_count : 26
          service_check_count : 0
          status : OK

Datos recopilados

Métricas

Eventos

El check de Confluent Platform no incluye eventos.

Checks de servicio

confluent.can_connect

Devuelve CRITICAL si el Agent no puede conectarse y recopilar métricas de la instancia del componente Confluent Platform monitorizado, WARNING si no se recopilan métricas y OK en caso contrario.

Estados: ok, critical, warning

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.