Supported OS Linux Mac OS Windows

Información general

Esta check monitoriza Apache Flume.

Configuración

La check de Flume no está incluida en el paquete del Datadog Agent, por lo que deberás instalarlo.

Instalación

Para el Agent v7.21+ / v6.21+, sigue las siguientes instrucciones para instalar la check de Flume en tu host. Consulta Utilizar integraciones de Community para realizar la instalación con el Docker Agent o versiones anteriores del Agent.

  1. Ejecuta el siguiente comando para instalar la integración del Agent:

    datadog-agent integration install -t datadog-flume==<INTEGRATION_VERSION>
    
  2. Configura tu integración de forma similar a las [integraciones] del núcleo (https://docs.datadoghq.com/getting_started/integrations/).

Configuración

  1. Configura el agent de Flume para habilitar JMX añadiendo los siguientes argumentos JVM a tu flume-env.sh:
export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=5445 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"
  1. Edita el archivo flume.d/conf.yaml, que se encuentra en la carpeta conf.d/ en la raíz del directorio de configuración de tu Agent, para empezar a recopilar datos de rendimiento de Flume. Consulta el archivo ejemplo flume.d/conf.yaml para conocer todas las opciones de configuración disponibles.

    Este check tiene un límite de 350 métricas por instancia. El número de métricas devueltas se indica en el resultado del estado. Puedes especificar las métricas que te interesan editando la configuración a continuación. Para obtener instrucciones detalladas sobre la personalización de las métricas a recopilar, consulta la documentación de JMX Checks. Si necesitas monitorizar más métricas, ponte en contacto con asistencia técnica de Datadog.

  2. Reinicia el Agent

Validación

Ejecuta el subcomando status del Agent y busca flume en la sección Checks.

Métricas de componente

Las métricas recuperadas por este check dependen del source (fuente), del canal y del receptor utilizados por tu agent de Flume. Para obtener una lista completa de las métricas expuestas por cada componente, revisa Métricas de componente disponibles de la documentación de Apache Flume. Para obtener una lista de las métricas que puedes ver en Datadog, consulta la sección Métricas en esta page (página).

Datos recopilados

Métricas

flume.channel.capacity
(gauge)
El número máximo de eventos que pueden estar en cola en el canal en cualquier momento. Para los tipos de canal sin límite de capacidad, el valor será cero.
Mostrado como evento.
flume.channel.fill_percentage
(gauge)
El porcentaje de relleno del canal.
Mostrado como porcentaje
flume.channel.size
(gauge)
El número de eventos actualmente en cola en el canal.
Mostrado como evento
flume.channel.event_put_attempt_count
(count)
El número total de eventos que se han intentado introducir en el canal.
Mostrado como evento
flume.channel.event_put_success_count
(count)
El número total de eventos que se han introducido con éxito en el canal.
Mostrado como evento
flume.channel.event_take_attempt_count
(count)
El número total de intentos que se han hecho para tomar un evento del canal.
Mostrado como evento
flume.channel.event_take_success_count
(count)
El número total de eventos que se han tomado con éxito del canal.
Mostrado como evento
flume.channel.kafka_commit_timer
(gauge)
El temporizador para las confirmaciones del canal Kafka.
Mostrado como tiempo
flume.channel.kafka_event_get_timer
(gauge)
El temporizador para el canal kafka que recupera eventos.
Mostrado como tiempo_
flume.channel.kafka_event_send_timer
(gauge)
El temporizador para el canal Kafka que envía eventos.
Mostrado como tiempo
flume.channel.rollbackcount
(count)
El número de reversiones del canal kafka.
Mostrado como evento
flume.sink.event_write_fail
(count)
El número total de eventos de escritura fallidos.
Mostrado como evento
flume.sink.batch_empty_count
(count)
El número de lotes de anexados intentados que contienen cero eventos.
Mostrado como evento
flume.sink.channel_read_fail
(count)
El número de eventos de lectura fallidos del canal.
Mostrado como evento
flume.sink.batch_complete_count
(count)
El número de lotes anexados intentados que contienen el número máximo de eventos admitido por el siguiente salto.
Mostrado como evento
flume.sink.batch_underflow_count
(count)
El número de lotes de anexión intentados que contienen menos del número máximo de eventos admitidos por el siguiente salto.
Mostrado como evento
flume.sink.connection_closed_count
(count)
El número de conexiones cerradas por este receptor.
Mostrado como connection (conexión)
flume.sink.connection_failed_count
(count)
El número de conexiones fallidas.
Mostrado como connection (conexión)
flume.sink.connection_created_count
(count)
El número de conexiones creadas por este receptor. Solo aplicable a algunos tipos de receptores.
Mostrado como connection (conexión).
flume.sink.event_drain_attempt_count
(count)
El número total de eventos que se han intentado purgar al siguiente salto.
Mostrado como evento
flume.sink.event_drain_success_count
(count)
El número total de eventos que se han purgado con éxito al siguiente salto
Mostrado como evento
flume.sink.kafka_event_sent_timer
(gauge)
El temporizador para el receptor Kafka que envía eventos.
Mostrado como tiempo
flume.sink.rollbackcount
(gauge)
El número de reversiones del receptor Kafka.
Mostrado como evento
flume.source.event_read_fail
(count)
El número total de eventos de source (fuente) de lectura fallidos.
Mostrado como evento
flume.source.channel_write_fail
(count)
El número total de eventos de escritura de canal fallidos.
Mostrado como evento
flume.source.event_accepted_count
(count)
El número total de eventos aceptados con éxito, ya sea a través de lotes de anexión o anexiones de un solo evento.
Mostrado como evento
flume.source.event_received_count
(count)
El número total de eventos recibidos, ya sea a través de lotes de anexión o anexiones de un solo evento.
Mostrado como evento
flume.source.append_accepted_count
(count)
Número total de anexiones de un solo evento aceptadas con éxito.
Mostrado como evento
flume.source.append_received_count
(count)
El número total de anexos de un solo evento recibidos.
Mostrado como evento
flume.source.open_connection_count
(count)
El número de conexiones abiertas
Mostrado como conexión
flume.source.generic_processing_fail
(count)
El número total de fallos de procesamiento genérico.
Mostrado como evento
flume.source.append_batch_accepted_count
(count)
El número total de lotes anexados aceptados con éxito.
Mostrado como evento
flume.source.append_batch_received_count
(count)
El número total de lotes anexados recibidos.
Mostrado como evento
flume.source.kafka_commit_timer
(gauge)
El temporizador para los eventos de confirmación de source (fuente) Kafka.
Mostrado como tiempo
flume.source.kafka_empty_count
(count)
El número de eventos vacíos de la source (fuente) Kafka.
Mostrado como evento
flume.source.kafka_event_get_timer
(gauge)
El temporizador para la recuperación de eventos de la source (fuente) Kafka.
Mostrado como tiempo

Eventos

Flume no incluye eventos.

Checks de servicio

flume.can_connect

Devuelve CRITICAL si el Agent no puede conectarse y recopilar métricas de la instancia de Flume monitorizada. En caso contrario, devuelve OK.

Estados: ok, crítico

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con asistencia técnica de Datadog.