Amazon EMR

Información general

Data Jobs Monitoring te ayuda a observar, solucionar problemas y optimizar los costes de tus trabajos de Spark en tus clústeres de EMR.

Amazon EMR es un servicio web que facilita el procesamiento rápido y rentable de grandes cantidades de datos.

Habilita esta integración para ver las métricas de EMR en Datadog.

Configuración

Instalación

Si aún no lo has hecho, configura primero la integración de Amazon Web Services.

Recopilación de métricas

  1. En la página de la integración de AWS, asegúrate de que EMR está habilitado en la pestaña Metric Collection.

  2. Añade los siguientes permisos a tu política de IAM de Datadog para recopilar métricas de Amazon EMR. Para obtener más información, consulta las políticas de EMR en el sitio web de AWS.

    Permiso de AWSDescripción
    elasticmapreduce:ListClustersLista de clústeres disponibles.
    elasticmapreduce:DescribeClusterAñadir etiquetas a las métricas de CloudWatch EMR.
  3. Instala la integración de Datadog y Amazon EMR.

Recopilación de logs

Activar logging

Configura Amazon EMR para enviar logs a un bucket de S3 o a CloudWatch.

Nota: Si vas a loguear en un bucket de S3, asegúrate de que amazon_emr está configurado como Target prefix (Prefijo de destino).

Enviar logs a Datadog

  1. Si aún no lo has hecho, configura la función de Lambda del Datadog Forwarder.

  2. Una vez instalada la función de Lambda, añade manualmente un activador en el bucket de S3 o grupo de logs de CloudWatch que contenga tus logs de Amazon EMR en la consola de AWS:

Datos recopilados

Métricas

aws.elasticmapreduce.apps_completed
(gauge)
Número medio de aplicaciones enviadas a YARN que se han completado. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_completed.sum
(gauge)
La suma del número de aplicaciones enviadas a YARN que se han completado. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_failed
(gauge)
Número medio de aplicaciones enviadas a YARN que no se han completado. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_failed.sum
(gauge)
La suma del número de aplicaciones enviadas a YARN que no se han completado. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_killed
(gauge)
El número medio de aplicaciones enviadas a YARN que han sido eliminadas. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_killed.sum
(gauge)
La suma del número de aplicaciones enviadas a YARN que han sido eliminadas. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_pending
(gauge)
Número medio de aplicaciones enviadas a YARN que se encuentran en estado pendiente. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_pending.sum
(gauge)
La suma del número de aplicaciones enviadas a YARN que se encuentran en estado pendiente. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_running
(gauge)
El número medio de aplicaciones enviadas a YARN que se están ejecutando. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_running.sum
(gauge)
La suma del número de aplicaciones enviadas a YARN que se están ejecutando. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_submitted
(gauge)
Número medio de solicitudes enviadas a YARN. (Sólo Hadoop v2)
aws.elasticmapreduce.apps_submitted.sum
(gauge)
La suma del número de solicitudes enviadas a YARN. (Sólo Hadoop v2)
aws.elasticmapreduce.backup_failed
(count)
Si falló la última copia de seguridad. (Sólo Hadoop v1)
aws.elasticmapreduce.capacity_remaining_gb
(gauge)
La cantidad media de capacidad de disco HDFS restante. (Sólo Hadoop v2)
Se muestra como byte.
aws.elasticmapreduce.capacity_remaining_gb.sum
(gauge)
La suma de la cantidad de capacidad de disco HDFS restante. (Sólo Hadoop v2)
Se muestra como byte.
aws.elasticmapreduce.container_allocated
(gauge)
El número medio de contenedores de recursos asignados por el ResourceManager. (Sólo Hadoop v2)
aws.elasticmapreduce.container_allocated.sum
(gauge)
La suma del número de contenedores de recursos asignados por el ResourceManager. (Sólo Hadoop v2)
aws.elasticmapreduce.container_pending
(gauge)
El número medio de contenedores en la cola que aún no han sido asignados. (Sólo Hadoop v2)
aws.elasticmapreduce.container_pending.sum
(gauge)
La suma del número de contenedores en la cola que aún no han sido asignados. (Sólo Hadoop v2)
aws.elasticmapreduce.container_pending_ratio
(gauge)
Porcentaje medio de contenedores en la cola que aún no han sido asignados. (Sólo Hadoop v2)
Se muestra como porcentaje.
aws.elasticmapreduce.container_reserved
(gauge)
El número medio de contenedores reservados. (Sólo Hadoop v2)
aws.elasticmapreduce.container_reserved.sum
(gauge)
La suma del número de contenedores reservados. (Sólo Hadoop v2)
aws.elasticmapreduce.core_nodes_pending
(gauge)
Número medio de nodos centrales en espera de ser asignados. Es posible que no todos los nodos centrales solicitados estén disponibles inmediatamente; esta métrica informa de las solicitudes pendientes. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_nodes_pending.sum
(gauge)
La suma del número de nodos centrales en espera de ser asignados. Es posible que no todos los nodos centrales solicitados estén disponibles inmediatamente; esta métrica informa de las solicitudes pendientes. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_nodes_requested
(gauge)
El número medio de nodos centrales en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_nodes_requested.sum
(gauge)
La suma del número de nodos centrales de un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_nodes_running
(gauge)
Número medio de nodos centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_nodes_running.sum
(gauge)
La suma del número de nodos centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_units_requested
(gauge)
El número medio de unidades centrales en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_units_requested.sum
(gauge)
La suma del número de unidades centrales en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_units_running
(gauge)
Número objetivo de unidades centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_units_running.sum
(gauge)
La suma del número de unidades centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_vcpu_requested
(gauge)
El número medio de vCPUs centrales en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_vcpu_requested.sum
(gauge)
La suma del número de vCPUs centrales en un clúster según lo determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.core_vcpu_running
(gauge)
Número medio de vCPU centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.core_vcpu_running.sum
(gauge)
La suma del número de vCPUs centrales en funcionamiento. Los puntos de datos de esta métrica sólo se notifican cuando existe un grupo de instancias correspondiente.
Se muestra como nodo
aws.elasticmapreduce.corrupt_blocks
(gauge)
El número medio de bloques que HDFS reporta como corruptos. (Sólo Hadoop v2)
Se muestra como bloque
aws.elasticmapreduce.corrupt_blocks.sum
(gauge)
La suma del número de bloques que HDFS reporta como corruptos. (Sólo Hadoop v2)
Se muestra como bloque
aws.elasticmapreduce.dfs_fsnamesystem_pending_replication_blocks
(gauge)
El estado de la replicación de bloques: bloques que se están replicando, antigüedad de las solicitudes de replicación y solicitudes de replicación fallidas. (Sólo Hadoop v2)
aws.elasticmapreduce.hbase_backup_failed
(gauge)
Si falló la última copia de seguridad. Se establece en 0 por defecto y se actualiza a 1 si el intento de copia de seguridad anterior falló. Esta métrica sólo se reporta para clústeres HBase. (Sólo Hadoop v2)
aws.elasticmapreduce.hbase_most_recent_backup_duration
(gauge)
El tiempo que tardó en completarse la última copia de seguridad. Esta métrica se establece independientemente de si la última copia de seguridad completada tuvo éxito o falló. Mientras la copia de seguridad está en curso, esta métrica devuelve el número de minutos transcurridos desde el inicio de la copia de seguridad. Esta métrica sólo se informa para clústeres HBase.
Se muestra como minuto
aws.elasticmapreduce.hbase_time_since_last_successful_backup
(gauge)
El número de minutos transcurridos desde la última copia de seguridad de HBase iniciada correctamente en tu clúster. Esta métrica sólo se informa para clústeres HBase.
Se muestra como minuto
aws.elasticmapreduce.hdfsbytes_read
(gauge)
El número medio de bytes leídos de HDFS.
Se muestra como byte
aws.elasticmapreduce.hdfsbytes_read.sum
(gauge)
La suma del número de bytes leídos desde HDFS.
Se muestra como byte
aws.elasticmapreduce.hdfsbytes_written
(gauge)
El número medio de bytes escritos en HDFS.
Se muestra como byte
aws.elasticmapreduce.hdfsbytes_written.sum
(gauge)
La suma del número de bytes escritos en HDFS.
Se muestra como byte
aws.elasticmapreduce.hdfsutilization
(gauge)
El porcentaje de almacenamiento HDFS utilizado actualmente.
Se muestra como porcentaje
aws.elasticmapreduce.is_idle
(gauge)
Indica que un clúster ya no está realizando trabajo, pero sigue vivo y acumulando cargos. Se establece en 1 si no hay tareas ni trabajos en ejecución, y en 0 en caso contrario. Este valor se comprueba a intervalos de cinco minutos y un valor de 1 sólo indica que el clúster estaba inactivo cuando se comprobó, no que estuviera inactivo durante los cinco minutos.
aws.elasticmapreduce.jobs_failed
(gauge)
El número medio de trabajos en el clúster que han fallado. (Sólo Hadoop v1)
aws.elasticmapreduce.jobs_failed.sum
(gauge)
La suma del número de trabajos en el clúster que han fallado. (Sólo Hadoop v1)
aws.elasticmapreduce.jobs_running
(gauge)
El número medio de trabajos en el clúster que se están ejecutando actualmente. (Sólo Hadoop v1)
aws.elasticmapreduce.jobs_running.sum
(gauge)
La suma del número de trabajos en el clúster que se están ejecutando actualmente. (Sólo Hadoop v1)
aws.elasticmapreduce.live_data_nodes
(gauge)
El porcentaje de nodos de datos que están recibiendo trabajo de Hadoop.
Se muestra como porcentaje
aws.elasticmapreduce.live_task_trackers
(gauge)
El porcentaje de rastreadores de tareas que son funcionales. (Sólo Hadoop v1)
Se muestra como porcentaje
aws.elasticmapreduce.map_slots_open
(gauge)
La capacidad media de tareas de mapa no utilizadas. Se calcula como el número máximo de tareas de mapa para un clúster determinado, menos el número total de tareas de mapa que se ejecutan actualmente en ese clúster. (Sólo Hadoop v1)
aws.elasticmapreduce.map_slots_open.sum
(gauge)
La suma de la capacidad de tareas de mapa no utilizadas. Se calcula como el número máximo de tareas de mapa para un clúster determinado, menos el número total de tareas de mapa que se ejecutan actualmente en ese clúster. (Sólo Hadoop v1)
aws.elasticmapreduce.memory_allocated_mb
(gauge)
La cantidad media de memoria asignada al clúster. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_allocated_mb.sum
(gauge)
La suma de la cantidad de memoria asignada al clúster. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_available_mb
(gauge)
La cantidad media de memoria disponible para ser asignada. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_available_mb.sum
(gauge)
La suma de la cantidad de memoria disponible para ser asignada. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_reserved_mb
(gauge)
La cantidad media de memoria reservada. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_reserved_mb.sum
(gauge)
La suma de la cantidad de memoria reservada. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_total_mb
(gauge)
La cantidad total media de memoria en el clúster. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.memory_total_mb.sum
(gauge)
La suma de la cantidad total de memoria en el clúster. (Sólo Hadoop v2)
Se muestra como byte
aws.elasticmapreduce.missing_blocks
(gauge)
El número medio de bloques en los que HDFS no tiene réplicas. Puede tratarse de bloques corruptos.
Se muestra como bloque
aws.elasticmapreduce.missing_blocks.sum
(gauge)
La suma del número de bloques en los que HDFS no tiene réplicas. Puede tratarse de bloques corruptos.
Se muestra como bloque
aws.elasticmapreduce.mractive_nodes
(gauge)
El número medio de nodos que actualmente ejecutan tareas o trabajos MapReduce. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mractive_nodes.sum
(gauge)
La suma del número de nodos que actualmente ejecutan tareas o trabajos MapReduce. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrdecommissioned_nodes
(gauge)
El número medio de nodos asignados a aplicaciones MapReduce que se han marcado en estado DECOMISSIONED. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrdecommissioned_nodes.sum
(gauge)
La suma del número de nodos asignados a las aplicaciones de MapReduce que se han marcado en estado DECOMMISSIONED. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrlost_nodes
(gauge)
El número medio de nodos asignados a MapReduce que se han marcado en estado LOST. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrlost_nodes.sum
(gauge)
La suma del número de nodos asignados a MapReduce que han sido marcados en estado LOST. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrrebooted_nodes
(gauge)
El número medio de nodos disponibles para MapReduce que han sido reiniciados y marcados en estado REBOOTED. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrrebooted_nodes.sum
(gauge)
La suma del número de nodos disponibles para MapReduce que han sido reiniciados y marcados en estado REBOOTED. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrtotal_nodes
(gauge)
El número medio de nodos actualmente disponibles para los trabajos de MapReduce. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrtotal_nodes.sum
(gauge)
La suma del número de nodos actualmente disponibles para los trabajos de MapReduce. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrunhealthy_nodes
(gauge)
El número medio de nodos disponibles para MapReduce trabajos marcados en estado UNHEALTHY. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.mrunhealthy_nodes.sum
(gauge)
La suma del número de nodos disponibles para trabajos de MapReduce marcados en estado UNHEALTHY. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.multi_master_instance_group_nodes_requested
(count)
El número de nodos maestros solicitados. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.multi_master_instance_group_nodes_running
(count)
El número de nodos maestros en ejecución. (Sólo Hadoop v2)
Se muestra como nodo
aws.elasticmapreduce.multi_master_instance_group_nodes_running_percentage
(gauge)
El porcentaje de nodos maestros que se están ejecutando por encima del recuento de instancias de nodo maestro solicitado. (Sólo Hadoop v2)
Se muestra como porcentaje
aws.elasticmapreduce.no_of_black_listed_task_trackers
(gauge)
El número medio de nodos de TaskTracker prohibidos.
Se muestra como nodo
aws.elasticmapreduce.no_of_black_listed_task_trackers.sum
(gauge)
La suma del número de nodos TaskTracker prohibidos.
Se muestra como nodo
aws.elasticmapreduce.no_of_gray_listed_task_trackers
(gauge)
Número medio de nodos TaskTracker en la lista gris.
Se muestra como nodo
aws.elasticmapreduce.no_of_gray_listed_task_trackers.sum
(gauge)
La suma del número de nodos TaskTracker en la lista gris.
Se muestra como nodo
aws.elasticmapreduce.pending_deletion_blocks
(gauge)
El número medio de bloques marcados para su eliminación. (Sólo Hadoop v2)
Se muestra como bloque
aws.elasticmapreduce.pending_deletion_blocks.sum
(gauge)
La suma del número de bloques marcados para su eliminación. (Sólo Hadoop v2)
Se muestra como bloque.
aws.elasticmapreduce.reduce_slots_open
(gauge)
Capacidad media de tareas de reducción no utilizadas. Se calcula como la capacidad máxima de tareas de reducción para un clúster determinado, menos el número de tareas de reducción que se están ejecutando en ese clúster. (Sólo Hadoop v1)
aws.elasticmapreduce.reduce_slots_open.sum
(gauge)
La suma de la capacidad de reducción no utilizada. Se calcula como la capacidad máxima de tareas de reducción para un clúster determinado, menos el número de tareas de reducción que se ejecutan actualmente en ese clúster. (Sólo Hadoop v1)
aws.elasticmapreduce.remaining_map_tasks
(gauge)
El número medio de tareas de mapa restantes para cada trabajo. Si tienes un programador instalado y varios trabajos en ejecución, se generarán varios gráficos. Una tarea de mapa restante es aquella que no se encuentra en ninguno de los siguientes estados: Running, Killed, o Completed. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.remaining_map_tasks.sum
(gauge)
La suma del número de tareas de mapa restantes para cada trabajo. Si tienes un programador instalado y varios trabajos en ejecución, se generarán varios gráficos. Una tarea de mapa restante es aquella que no se encuentra en ninguno de los siguientes estados: Running, Killed, o Completed. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.remaining_map_tasks_per_slot
(gauge)
La relación entre el total de tareas de mapa restantes y el total de slots de mapa disponibles en el clúster. (Sólo Hadoop v1)
aws.elasticmapreduce.remaining_reduce_tasks
(gauge)
El número medio de tareas de reducción restantes para cada trabajo. Si tienes un programador instalado y varios trabajos en ejecución, se generarán varios gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.remaining_reduce_tasks.sum
(gauge)
La suma del número de tareas de reducción restantes para cada trabajo. Si tienes un programador instalado y múltiples trabajos en ejecución, se generan múltiples gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.running_map_tasks
(gauge)
El número medio de tareas de mapa en ejecución para cada trabajo. Si tienes un programador instalado y múltiples tareas en ejecución, se generan múltiples gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.running_map_tasks.sum
(gauge)
La suma del número de tareas de mapa en ejecución para cada trabajo. Si tienes un programador instalado y múltiples tareas en ejecución, se generan múltiples gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.running_reduce_tasks
(gauge)
El número medio de tareas de reducción en ejecución para cada trabajo. Si tienes un programador instalado y múltiples trabajos en ejecución, se generan múltiples gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.running_reduce_tasks.sum
(gauge)
La suma del número de tareas de reducción en ejecución para cada trabajo. Si tienes un programador instalado y múltiples trabajos en ejecución, se generan múltiples gráficos. (Sólo Hadoop v1)
Se muestra como tarea
aws.elasticmapreduce.s_3bytes_read
(gauge)
El número medio de bytes leídos de Amazon S3.
Se muestra como byte
aws.elasticmapreduce.s_3bytes_read.sum
(gauge)
La suma del número de bytes leídos de Amazon S3.
Se muestra como byte
aws.elasticmapreduce.s_3bytes_written
(gauge)
El número medio de bytes escritos en Amazon S3.
Se muestra como byte
aws.elasticmapreduce.s_3bytes_written.sum
(gauge)
La suma del número de bytes escritos en Amazon S3.
Se muestra como byte
aws.elasticmapreduce.task_nodes_pending
(gauge)
Número medio de nodos de tarea en espera de ser asignados. Es posible que no todos los nodos de tarea solicitados estén disponibles inmediatamente; esta métrica informa de las solicitudes pendientes. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_nodes_pending.sum
(gauge)
La suma del número de nodos de tarea en espera de ser asignados. Es posible que no todos los nodos de tarea solicitados estén disponibles inmediatamente; esta métrica informa de las solicitudes pendientes. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_nodes_requested
(gauge)
El número medio de nodos de tareas en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_nodes_requested.sum
(gauge)
La suma del número de nodos de tareas en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_nodes_running
(gauge)
Número medio de nodos de tarea en funcionamiento. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_nodes_running.sum
(gauge)
La suma del número de nodos de tarea en funcionamiento. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_units_requested
(gauge)
El número medio de unidades de tarea en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_units_requested.sum
(gauge)
La suma del número de unidades de tarea en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_units_running
(gauge)
Número medio de unidades de tarea en funcionamiento. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_units_running.sum
(gauge)
La suma del número de unidades de tarea en funcionamiento. Los puntos de datos para esta métrica se reportan sólo cuando existe un grupo de instancia correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_vcpu_requested
(gauge)
El número medio de vCPUs de tarea en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_vcpu_requested.sum
(gauge)
La suma del número de vCPUs de tarea en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.task_vcpu_running
(gauge)
Número medio de vCPUs de tarea en funcionamiento. Los puntos de datos para esta métrica sólo se reportan cuando existe un grupo de instancias correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.task_vcpu_running.sum
(gauge)
La suma del número de vCPUs de tarea en funcionamiento. Los puntos de datos para esta métrica sólo se reportan cuando existe un grupo de instancias correspondiente. (Sólo Hadoop v1)
Se muestra como nodo
aws.elasticmapreduce.total_load
(gauge)
El número total medio de transferencias de datos simultáneas.
aws.elasticmapreduce.total_load.sum
(gauge)
La suma del número total de transferencias de datos concurrentes.
aws.elasticmapreduce.total_map_tasks
(gauge)
El número total medio de tareas del mapa.
Se muestra como tarea
aws.elasticmapreduce.total_map_tasks.sum
(gauge)
La suma del número total de tareas del mapa.
Se muestra como tarea
aws.elasticmapreduce.total_nodes_requested
(gauge)
El número total de nodos de un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_nodes_requested.average
(gauge)
La media del número total de nodos de un clúster determinada por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_nodes_running
(gauge)
Número medio actual de nodos disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.total_nodes_running.sum
(gauge)
La suma actual de nodos disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.total_reduce_tasks
(gauge)
El número total medio de tareas de reducción.
Se muestra como tarea
aws.elasticmapreduce.total_reduce_tasks.sum
(gauge)
La suma del número total de tareas de reducción.
Se muestra como tarea
aws.elasticmapreduce.total_units_requested
(gauge)
El número total medio de unidades en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_units_requested.sum
(gauge)
La suma del número total de unidades en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_units_running
(gauge)
El número medio actual de unidades disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.total_units_running.sum
(gauge)
La suma actual de unidades disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.total_vcpu_requested
(gauge)
El número total medio de vCPUs en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_vcpu_requested.sum
(gauge)
La suma del número total de vCPUs en un clúster determinado por el escalado gestionado.
Se muestra como nodo
aws.elasticmapreduce.total_vcpu_running
(gauge)
El número medio actual de vCPUs disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.total_vcpu_running.sum
(gauge)
La suma actual de vCPUs disponibles en un clúster en ejecución.
Se muestra como nodo
aws.elasticmapreduce.under_replicated_blocks
(gauge)
El número medio de bloques que necesitan ser replicados una o más veces. (Sólo Hadoop v2)
Se muestra como bloque
aws.elasticmapreduce.under_replicated_blocks.sum
(gauge)
La suma del número de bloques que necesitan ser replicados una o más veces. (Sólo Hadoop v2)
Se muestra como bloque
aws.elasticmapreduce.yarnmemory_available_percentage
(gauge)
El porcentaje de memoria restante disponible para YARN. (Sólo Hadoop v2)
Se muestra como porcentaje

A cada una de las métricas recuperadas de AWS se le asignan las mismas etiquetas (tags) que aparecen en la consola de AWS, incluidos, entre otros, el nombre del host y los grupos de seguridad.

Eventos

La integración de Amazon EMR no incluye ningún evento.

Checks de servicio

La integración de Amazon EMR no incluye ningún check de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.