Supported OS Linux Windows Mac OS

Versión de la integración7.0.0

Dashboard de MapReduce

Información general

Obtén métricas del servicio de MapReduce en tiempo real para hacer lo siguiente:

  • Visualizar y monitorizar los estados de MapReduce
  • Recibir notificaciones sobre conmutaciones por error y eventos de MapReduce.

Configuración

Instalación

El check de MapReduce está incluido en el paquete del Datadog Agent, por lo que no necesitas instalar nada más en tus servidores.

Configuración

host

Para configurar este check para un Agent que se ejecuta en un host:

  1. Edita el archivo mapreduce.d/conf.yaml, en la carpeta conf.d/ en la raíz de tu directorio de configuración del Agent para apuntar a tu servidor y puerto, configura los maestros a monitorizar. Consulta el ejemplo mapreduce.d/conf.yaml para conocer todas las opciones de configuración disponibles.

  2. Reinicia el Agent.

Recopilación de logs
  1. La recopilación de logs está desactivada en forma predeterminada en el Datadog Agent, actívala en tu archivo datadog.yaml:

    logs_enabled: true
    
  2. Quita los comentarios y edita el bloque de configuración de registros en tu archivo mapreduce.d/conf.yaml. Cambia los valores de los parámetros type, path y service en función de tu entorno. Consulta el ejemplo mapreduce.d/conf.yaml para conocer todas las opciones de configuración disponibles.

    logs:
      - type: file
        path: <LOG_FILE_PATH>
        source: mapreduce
        service: <SERVICE_NAME>
        # To handle multi line that starts with yyyy-mm-dd use the following pattern
        # log_processing_rules:
        #   - type: multi_line
        #     pattern: \d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2},\d{3}
        #     name: new_log_start_with_date
    
  3. Reinicia el Agent.

En contenedores

Para los entornos en contenedores, consulta las Plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de los parámetros que se indican a continuación.

ParámetroValor
<INTEGRATION_NAME>mapreduce
<INIT_CONFIG>en blanco o {}
<INSTANCE_CONFIG>{"resourcemanager_uri": "https://%%host%%:8088", "cluster_name":"<MAPREDUCE_CLUSTER_NAME>"}
Recopilación de logs

La recopilación de logs está desactivada en forma predeterminada en el Datadog Agent. Para activarla, consulta la Recopilación de logs de Docker.

A continuación, configura las integraciones de logs como etiquetas de Docker:

LABEL "com.datadoghq.ad.logs"='[{"source": "mapreduce", "service": "<SERVICE_NAME>"}]'

Validación

Ejecuta el subcomando de estado del Agent y busca mapreduce en la sección Checks.

Datos recopilados

Métricas

mapreduce.job.counter.map_counter_value
(tasa)
Valor del contador de las tareas de asignación
Se muestra como tarea
mapreduce.job.counter.reduce_counter_value
(tasa)
Valor del contador de tareas de reducción
Se muestra como tarea
mapreduce.job.counter.total_counter_value
(tasa)
Valor del contador de todas las tareas
Se muestra como tarea
mapreduce.job.elapsed_time.95percentile
(gauge)
Percentil 95 del tiempo transcurrido desde el inicio de la aplicación
Se muestra en milisegundos
mapreduce.job.elapsed_time.avg
(gauge)
Tiempo medio transcurrido desde el inicio de la aplicación
Se muestra en milisegundos
mapreduce.job.elapsed_time.count
(tasa)
Número de veces que se ha muestreado el tiempo transcurrido
mapreduce.job.elapsed_time.max
(gauge)
Tiempo máximo transcurrido desde el inicio de la aplicación
Se muestra en milisegundos
mapreduce.job.elapsed_time.median
(gauge)
Mediana del tiempo transcurrido desde el inicio de la aplicación
Se muestra en milisegundos
mapreduce.job.failed_map_attempts
(tasa)
Número de intentos fallidos de asignación
Se muestra como tarea
mapreduce.job.failed_reduce_attempts
(tasa)
Número de intentos de reducción fallidos
Se muestra como tarea
mapreduce.job.killed_map_attempts
(tasa)
Número de intentos de asignación eliminados
Se muestra como tarea
mapreduce.job.killed_reduce_attempts
(tasa)
Número de intentos de reducción eliminados
Se muestra como tarea
mapreduce.job.map.task.elapsed_time.95percentile
(gauge)
Percentil 95 del tiempo transcurrido de todas las tareas de asignación
Se muestra en milisegundos
mapreduce.job.map.task.elapsed_time.avg
(gauge)
Tiempo medio transcurrido de todas las tareas de asignación
Se muestra en milisegundos
mapreduce.job.map.task.elapsed_time.count
(tasa)
Número de veces que se ha muestreado el tiempo transcurrido de las tareas de asignación
mapreduce.job.map.task.elapsed_time.max
(gauge)
Tiempo máximo transcurrido de todas las tareas de asignación
Se muestra en milisegundos
mapreduce.job.map.task.elapsed_time.median
(gauge)
Mediana del tiempo transcurrido de todas las tareas de asignación
Se muestra en milisegundos
mapreduce.job.maps_completed
(tasa)
Número de asignaciones finalizadas
Se muestra como tarea.
mapreduce.job.maps_pending
(tasa)
Número de asignaciones pendientes
Se muestra como tarea
mapreduce.job.maps_running
(tasa)
Número de asignaciones en ejecución
Se muestra como tarea
mapreduce.job.maps_total
(tasa)
Número total de asignaciones
Se muestra como tarea
mapreduce.job.new_map_attempts
(tasa)
Número de nuevos intentos de asignación
Se muestra como tarea
mapreduce.job.new_reduce_attempts
(tasa)
Número de nuevos intentos de reducción
Se muestra como tarea
mapreduce.job.reduce.task.elapsed_time.95percentile
(gauge)
Percentil 95 de tiempo transcurrido de todas las tareas de reducción
Se muestra en milisegundos
mapreduce.job.reduce.task.elapsed_time.avg
(gauge)
Tiempo medio transcurrido de todas las tareas de reducción
Se muestra en milisegundos
mapreduce.job.reduce.task.elapsed_time.count
(tasa)
Número de veces que se ha muestreado el tiempo transcurrido de las tareas de reducción
mapreduce.job.reduce.task.elapsed_time.max
(gauge)
Tiempo máximo transcurrido de todas las tareas de reducción
Se muestra en milisegundos
mapreduce.job.reduce.task.elapsed_time.median
(gauge)
Mediana del tiempo transcurrido de todas las tareas de reducción
Se muestra en milisegundos.
mapreduce.job.reduces_completed
(tasa)
Número de reducciones finalizadas
Se muestra como tarea
mapreduce.job.reduces_pending
(tasa)
Número de reducciones pendientes
Se muestra como tarea
mapreduce.job.reduces_running
(tasa)
Número de reducciones en ejecución
Se muestra como tarea
mapreduce.job.reduces_total
(tasa)
Número de reducciones
Se muestra como tarea
mapreduce.job.running_map_attempts
(tasa)
Número de intentos de asignación en ejecución
Se muestra como tarea
mapreduce.job.running_reduce_attempts
(tasa)
Número de intentos de reducción en ejecución
Se muestra como tarea
mapreduce.job.successful_map_attempts
(tasa)
Número de intentos de asignación con éxito
Se muestra como tarea
mapreduce.job.successful_reduce_attempts
(tasa)
Número de intentos de reducción con éxito
Se muestra como tarea

Eventos

El check de MapReduce no incluye eventos.

Checks de servicio

mapreduce.resource_manager.can_connect

Devuelve CRITICAL si el Agent no puede conectarse al gestor de recursos. En caso contrario, devuelve OK.

Estados: ok, crítico

mapreduce.application_master.can_connect

Devuelve CRITICAL si el Agent no puede conectarse a la aplicación maestra. En caso contrario, devuelve OK.

Estados: ok, crítico

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con asistencia técnica de Datadog.

Referencias adicionales