Información general

Amazon Managed Streaming para Apache Kafka (MSK) es un servicio totalmente gestionado que facilita la creación y ejecución de aplicaciones que utilizan Apache Kafka para procesar datos de streaming.

Puedes recopilar métricas de esta integración de dos formas: con el Datadog Agent o con un rastreador que recopile métricas de CloudWatch.

Considera Data Streams Monitoring para mejorar tu integración MSK. Esta solución permite la visualización de los flujos y el seguimiento de los retrasos, ayudándote a identificar y resolver los cuellos de botella.

Configuración

El check del Agent monitoriza Amazon Managed Streaming for Apache Kafka (Amazon MSK) a través del Datadog Agent.

Sigue las instrucciones a continuación para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos en contenedores, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.

Esta integración basada en OpenMetrics tiene un modo más reciente (use_openmetrics: true) y un modo legacy (use_openmetrics: false). Para obtener todas las funciones más actualizadas, Datadog recomienda activar el modo más reciente. Para obtener más información, consulta Versiones más recientes y legacy de integraciones basadas en OpenMetrics.

Instalación

1. Crea una máquina cliente, si aún no existe.
2. Asegúrate de que la máquina cliente tiene concedida la política de permisos arn:aws:iam::aws:policy/AmazonMSKReadOnlyAccess o que dispones de credenciales equivalentes.
3. Activa la monitorización abierta con Prometheus en el lado de MSK para activar el JmxExporter y el NodeExporter.
4. Instala el Datadog Agent en la máquina cliente que acabas de crear.

Configuración

1. Edita el archivo amazon_msk.d/conf.yaml, en la carpeta conf.d/ de la raíz del directorio de configuración de tu Agent para comenzar a recopilar datos de rendimiento de Amazon MSK.

   Incluye etiquetas (tags) personalizadas que se adjunten a cada métrica y check de servicio proporcionados por esta integración.

   tags:
     - <KEY_1>:<VALUE_1>
     - <KEY_2>:<VALUE_2>
   

   Para ver todas las opciones de configuración disponibles del modo más reciente, consulta el ejemplo amazon_msk.d/conf.yaml. Para ver el modo legacy de esta integración, consulta el ejemplo legacy.

2. Reinicia el Agent.

Validación

Ejecuta el subcomando de estado del Agent y busca amazon_msk en la sección Checks.

Datos recopilados

Métricas

Eventos

El check de Amazon MSK no incluye eventos.

Checks de servicio

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.

Referencias adicionales

Documentación útil adicional, enlaces y artículos:

• Monitorizar Amazon Managed Streaming para Apache Kafka con Datadog