Con la Kafka Console de Data Streams Monitoring, una verificación del Datadog Agent se conecta a su clúster de Kafka y comienza a recopilar métricas de salud y rendimiento. La Consola de Kafka le permite:

• Haga un seguimiento de la salud de Kafka: Vea el estado del clúster, broker, tema y partición con métricas de rendimiento, retraso y replicación.
• Identifique la causa raíz: Correlacione los cambios de configuración y esquema con el retraso, el rendimiento y los errores, y rastree los problemas hasta el tema, la versión del esquema o el cambio de configuración exactos.
• Conecte servicios a temas: Vea qué productores y consumidores interactúan con cada tema, con propietarios vinculados, repositorios, rotaciones de guardia, trazas y registros de errores.
• Inspeccione esquemas y mensajes de temas: Vea esquemas, compare versiones y acceda a mensajes para depurar cargas útiles dañinas o explorar el tema.
• Alerte y automatice respuestas: Utilice plantillas de monitor recomendadas y active Workflow Automation o webhooks cuando se dispare una condición de Kafka.

Para comenzar, consulte Configuración de la Consola de Kafka.

Flujos de trabajo

Haga un seguimiento del estado y el rendimiento del clúster

Las pestañas Clusters, Topics y Brokers muestran el estado de salud en toda su infraestructura de Kafka. Para cada tema, puede ver el recuento de particiones, las particiones sub-replicadas y fuera de línea, el rendimiento de mensajes y el retraso del consumidor.

Haga clic en cualquier tema para ver un resumen detallado, que incluye la tasa de mensajes entrantes, el retraso máximo en todas las particiones y si el retraso actual se acerca al límite de retención.

Desde cualquier métrica, puede crear Datadog monitors, SLOs y dashboards.

Correlacione los cambios de configuración y esquema con las métricas de salud

Los eventos de cambio se superponen directamente en los gráficos de rendimiento y retraso, para que pueda ver si un cambio de configuración o esquema coincidió con una degradación.

Para identificar exactamente qué cambió, haga clic en los cambios detectados en la superposición y seleccione View config change.

Conecte los servicios de productor y consumidor a los temas

Las secciones Producers y Consumers de cada tema muestran qué servicios están leyendo y escribiendo en ese tema. Al pasar el cursor sobre un servicio, se muestra la información de propiedad del Service Catalog: equipo, repositorio de código, ingeniero de guardia y canal de Slack.

Utilice esta información para contactar al equipo correcto cuando un consumidor esté retrasado o un productor no funcione correctamente.

Inspeccione los esquemas y mensajes de los temas

La sección Schema muestra el esquema actual para la clave o el valor de un tema, con el historial de versiones. Utilice el selector de versiones para comparar esquemas entre versiones.

La sección Messages le permite recuperar mensajes por partición y desplazamiento para inspeccionar las cargas útiles directamente. Esto es útil para depurar cargas útiles dañinas o verificar la estructura de los mensajes después de un cambio de esquema. Consulte Habilitar inspección de mensajes para conocer los requisitos previos y permisos adicionales necesarios para recuperar mensajes.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Solucione problemas de Kafka en cada capa de su stack con la Consola de Kafka.BLOG