Supported OS

Versión de la integración2.1.0

Información general

Este check monitoriza dos partes de Hive: Hive Metastore y HiveServer2.

Configuración

Instalación

El check de Hive se incluye en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor.

Configuración

Configuración de Hive

  1. Edita el archivo de configuración de Hive en HIVE_HOME/conf/hive-site.xml para activar las métricas de Hive Metastore y HiveServer2 añadiendo estas propiedades:

    <property>
      <name>hive.metastore.metrics.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>hive.server2.metrics.enabled</name>
      <value>true</value>
    </property>
    
  2. Habilita una conexión JMX remota para HiveServer2 o para Hive Metastore. Por ejemplo, configura la variable de entorno HADOOP_CLIENT_OPTS:

    export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dcom.sun.management.jmxremote \
    -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false \
    -Dcom.sun.management.jmxremote.port=8808"
    

    A continuación, reinicia HiveServer2 o Hive Metastore. Hive Metastore y HiveServer2 no pueden compartir la misma conexión JMX.

host

Para configurar este check para un Agent que se ejecuta en un host:

Sigue las instrucciones de abajo para configurar este check para un Agent que se ejecuta en un host. En el caso de entornos en contenedores, consulta la sección En contenedores.

Recopilación de métricas
  1. Edita el archivo hive.d/conf.yaml, en la carpeta conf.d/ en la raíz del directorio de configuración de tu Agent para empezar a recopilar tus datos de rendimiento de Hive. Consulta el hive.d/conf.yaml de ejemplo para conocer todas las opciones de configuración disponibles.

    Este check tiene un límite de 350 métricas por instancia. El número de métricas devueltas se indica en la página de estado. Puedes especificar las métricas que te interesan editando la configuración a continuación. Para saber cómo personalizar las métricas a recopilar, consulta la documentación de JMX Checks para obtener instrucciones más detalladas. Si necesitas monitorizar más métricas, ponte en contacto con el soporte de Datadog.

  2. Reinicia el Agent.

Recopilación de logs

Disponible para las versiones 6.0 o posteriores del Agent

  1. La recopilación de logs se encuentra deshabilitada de manera predeterminada en el Datadog Agent; debes habilitarla en el archivo datadog.yaml:

    logs_enabled: true
    
  2. Añade este bloque de configuración a tu archivo hive.d/conf.yaml para empezar a recopilar tus logs de Hive:

      logs:
        - type: file
          path: /tmp/<USER>/hive.log
          source: hive
          service: '<SERVICE_NAME>'
          log_processing_rules:
            - type: multi_line
              name: new_log_start_with_date
              pattern: \d{4}\-\d{2}\-\d{2}
    

    Cambia los valores de los parámetros path y service y configúralos para tu entorno. Consulta el hive.d/conf.yaml de ejemplo para conocer todas las opciones de configuración disponibles.

  3. Reinicia el Agent.

En contenedores

Para entornos en contenedores, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de los parámetros que se indican a continuación.

Recopilación de métricas

Para recopilar métricas con la integración Datadog-Hive, consulta la guía Autodiscovery con JMX.

Recopilación de logs

Disponible para las versiones 6.0 o posteriores del Agent

La recopilación de logs está desactivada de forma predeterminada en el Datadog Agent. Para activarla, consulta Recopilación de logs de Kubernetes.

ParámetroValor
<LOG_CONFIG>{"source": "hive", "service": "<SERVICE_NAME>", "log_processing_rules":{"type":"multi_line","name":"new_log_start_with_date", "pattern":"\d{4}\-\d{2}\-\d{2}"}}

Validación

Ejecuta el subcomando de estado del Agent y busca Hive en la sección Checks.

Datos recopilados

Métricas

hive.metastore.api.alter_table
(rate)
Llamada a la API para alterar la tabla.
Se muestra como tarea
hive.metastore.api.alter_table.active_call
(gauge)
Llamada activa a la API para alterar la tabla.
Se muestra como unidad
hive.metastore.api.create_table
(rate)
Llamada a la API para crear una tabla.
Se muestra como tarea
hive.metastore.api.create_table.active_call
(gauge)
Llamada activa a la API para crear una tabla.
Se muestra como unidad
hive.metastore.api.drop_table
(rate)
Llamada a la API para eliminar una tabla.
Se muestra como tarea
hive.metastore.api.drop_table.active_call
(gauge)
Llamada activa a la API para eliminar una tabla.
Se muestra como unidad
hive.metastore.api.flushcache
(rate)
API flushcache.
Se muestra como tarea
hive.metastore.api.flushcache.active_call
(gauge)
API flushcache activa.
Se muestra como unidad
hive.metastore.api.get_all_databases
(rate)
Llamada a la API para obtener todas las bases de datos.
Se muestra como tarea
hive.metastore.api.get_all_databases.active_call
(gauge)
Llamada activa a la API para obtener todas las bases de datos.
Se muestra como unidad
hive.metastore.api.get_all_functions
(rate)
Llamada a la API para obtener todas las funciones.
Se muestra como tarea
hive.metastore.api.get_all_functions.active_call
(gauge)
Llamada activa a la API para obtener todas las funciones.
Se muestra como unidad
hive.metastore.api.get_all_tables
(rate)
Llamada a la API para obtener todas las tablas.
Se muestra como tarea
hive.metastore.api.get_all_tables.active_call
(gauge)
Llamada activa a la API para obtener todas las tablas.
Se muestra como unidad
hive.metastore.api.get_database
(rate)
Llamada a la API para obtener una base de datos.
Se muestra como tarea
hive.metastore.api.get_database.active_call
(gauge)
Llamada activa a la API para obtener una base de datos.
Se muestra como unidad
hive.metastore.api.get_table
(rate)
Llamada a la API para obtener una tabla.
Se muestra como tarea
hive.metastore.api.get_table.active_call
(gauge)
Llamada activa a la API para obtener una tabla.
Se muestra como unidad
hive.metastore.api.get_table_req
(rate)

Se muestra como tarea
hive.metastore.api.get_table_req.active_call
(gauge)

Se muestra como unidad
hive.metastore.api.init
(rate)
Inicialización de la API.
Se muestra como tarea
hive.metastore.api.init.active_call
(gauge)
Inicialización de la API activa.
Se muestra como unidad
hive.metastore.api.shutdown
(rate)
API shutdown.
Se muestra como tarea
hive.metastore.api.shutdown.active_call
(gauge)
API shutdown activa.
Se muestra como unidad
hive.metastore.db.created
(rate)
Número total de bases de datos creadas.
Se muestra como elemento
hive.metastore.db.deleted
(rate)
Número total de bases de datos eliminadas.
Se muestra como elemento
hive.metastore.db.init
(rate)
Número de base de datos inicializada.
Se muestra como elemento
hive.metastore.directsql_errors
(gauge)
Número de errores SQL.
Se muestra como unidad
hive.metastore.open_connections
(gauge)
Número de conexiones abiertas.
Se muestra como conexión
hive.metastore.partition.created
(rate)
Número total de particiones creadas.
Se muestra como elemento
hive.metastore.partition.deleted
(rate)
Número total de particiones borradas.
Se muestra como elemento
hive.metastore.partition.init
(rate)
Número de partición inicializada.
Se muestra como elemento
hive.metastore.table.created
(rate)
Número total de tablas creadas.
Se muestra como tabla
hive.metastore.table.deleted
(rate)
Número total de tablas borradas.
Se muestra como tabla
hive.metastore.table.init
(rate)
Número de tabla inicializada.
Se muestra como tabla
hive.server.api.operation.initialized.75percentile
(gauge)
Tiempo P75 para iniciar una operación.
Se muestra en milisegundos
hive.server.api.operation.initialized.95percentile
(gauge)
Tiempo P95 para iniciar una operación.
Se muestra en milisegundos
hive.server.api.operation.initialized.active_call
(gauge)
Operación inicializada activa.
Se muestra como usuario
hive.server.api.operation.initialized.count
(rate)
Número de operación inicializada.
Se muestra como operación
hive.server.api.operation.initialized.max
(gauge)
Tiempo máximo para iniciar una operación.
Se muestra en milisegundos
hive.server.api.operation.initialized.mean
(gauge)
Tiempo medio para iniciar una operación.
Se muestra en milisegundos
hive.server.api.operation.initialized.meanrate
(gauge)
Tasa de inicialización de la operación.
Se muestra como operación
hive.server.api.operation.initialized.min
(gauge)
Tiempo mínimo para iniciar una operación.
Se muestra en milisegundos
hive.server.api.operation.pending.75percentile
(gauge)
Tiempo P75 en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.operation.pending.95percentile
(gauge)
Tiempo P95 en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.operation.pending.active_call
(gauge)
Operación activa pendiente.
Se muestra como operación
hive.server.api.operation.pending.count
(rate)
Número de operación en estado pendiente.
Se muestra como operación
hive.server.api.operation.pending.max
(gauge)
Tiempo máximo en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.operation.pending.mean
(gauge)
Tiempo medio en estado pendiente para una operación sql.
Se muestra en milisegundos
hive.server.api.operation.pending.meanrate
(gauge)
Tasa de operación pendiente.
Se muestra como operación
hive.server.api.operation.pending.min
(gauge)
Tiempo mínimo en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.operation.running.75percentile
(gauge)
Tiempo P75 en estado de ejecución para una operación sql.
Se muestra en milisegundos
hive.server.api.operation.running.95percentile
(gauge)
Tiempo P95 en estado de ejecución para una operación sql.
Se muestra en milisegundos
hive.server.api.operation.running.active_call
(gauge)
Operación activa en ejecución.
Se muestra como operación
hive.server.api.operation.running.count
(rate)
Número de operación en estado de ejecución.
Se muestra como milisegundo
hive.server.api.operation.running.max
(gauge)
Tiempo máximo en estado de ejecución para una operación sql.
Se muestra como milisegundo
hive.server.api.operation.running.mean
(gauge)
Tiempo medio en estado de ejecución de una operación sql.
Se muestra en milisegundos
hive.server.api.operation.running.meanrate
(gauge)
Tasa de estado en ejecución de la operación.
Se muestra como operación
hive.server.api.operation.running.min
(gauge)
Tiempo mínimo en estado de ejecución para una operación sql.
Se muestra en milisegundos
hive.server.api.queries.executing.active_call
(gauge)
Consultas activas en ejecución.
Se muestra como consulta
hive.server.api.sql_operation.pending.75percentile
(gauge)
Tiempo P75 en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.sql_operation.pending.95percentile
(gauge)
Tiempo P95 en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.sql_operation.pending.active_call
(gauge)
Operación sql activa pendiente.
Se muestra como operación
hive.server.api.sql_operation.pending.count
(rate)
Número de operaciones sql en estado pendiente.
Se muestra como operación
hive.server.api.sql_operation.pending.max
(gauge)
Tiempo máximo en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.sql_operation.pending.mean
(gauge)
Tiempo medio en estado pendiente para una operación sql.
Se muestra en milisegundos
hive.server.api.sql_operation.pending.meanrate
(gauge)
Tasa de operaciones sql pendientes.
Se muestra como operación
hive.server.api.sql_operation.pending.min
(gauge)
Tiempo mínimo en estado pendiente para una operación sql.
Se muestra como milisegundo
hive.server.api.sql_operation.running.75percentile
(gauge)
Tiempo P75 de estado de ejecución para una operación sql.
Se muestra en milisegundos
hive.server.api.sql_operation.running.95percentile
(gauge)
Tiempo P95 de estado de ejecución de una operación sql.
Se muestra en milisegundos
hive.server.api.sql_operation.running.active_call
(gauge)
Operación sql activa en ejecución.
Se muestra como operación
hive.server.api.sql_operation.running.count
(rate)
Número de operaciones sql en estado de ejecución.
Se muestra como operación
hive.server.api.sql_operation.running.max
(gauge)
Tiempo máximo de estado de ejecución de una operación sql.
Se muestra en milisegundos
hive.server.api.sql_operation.running.mean
(gauge)
Tiempo medio del estado de ejecución de una operación sql.
Se muestra en milisegundos
hive.server.api.sql_operation.running.meanrate
(gauge)
Tasa de operación sql en ejecución.
Se muestra como operación
hive.server.api.sql_operation.running.min
(gauge)
Tiempo mínimo para el estado de ejecución de una operación sql.
Se muestra en milisegundos
hive.server.memory.heap.committed
(gauge)
Memoria comprometida para HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.heap.init
(gauge)
Memoria utilizada en la inicialización por el HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.heap.max
(gauge)
Memoria máxima que puede utilizar HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.heap.used
(gauge)
Memoria utilizada por HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.non_heap.committed
(gauge)
Memoria comprometida para HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.non_heap.init
(gauge)
Memoria utilizada en la inicialización por HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.non_heap.max
(gauge)
Memoria máxima que puede utilizar HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.non_heap.used
(gauge)
Memoria utilizada por HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.total.committed
(gauge)
Memoria comprometida total para HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.total.init
(gauge)
Memoria total en la inicialización por parte de HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.total.max
(gauge)
Memoria máxima total que puede utilizarse para HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra como byte
hive.server.memory.total.used
(gauge)
Memoria total utilizada por HiveServer2 o Metastore. Depende del tipo de instancia conectada
Se muestra en bytes
hive.server.open_operations
(gauge)
Operación abierta en el HiveServer2.
Se muestra como operación
hive.server.operation.completed.closed
(rate)
Número de operación cerrada.
Se muestra como operación
hive.server.operation.completed.finished
(rate)
Número de operación finalizada.
Se muestra como operación
hive.server.queries.compiling.75percentile
(gauge)
Tiempo P75 de compilación de una consulta.
Se muestra en milisegundos
hive.server.queries.compiling.95percentile
(gauge)
Tiempo P95 de compilación de una consulta.
Se muestra en milisegundos
hive.server.queries.compiling.active_call
(gauge)
Consultas de compilación activas.
Se muestra como consulta
hive.server.queries.compiling.count
(rate)
Número de consulta compilada.
Se muestra como consulta
hive.server.queries.compiling.max
(gauge)
Tiempo máximo para compilar una consulta.
Se muestra como milisegundo
hive.server.queries.compiling.mean
(gauge)
Tiempo medio de compilación de una consulta.
Se muestra en milisegundos
hive.server.queries.compiling.meanrate
(gauge)
Compilación de la tasa de consulta.
Se muestra como consulta
hive.server.queries.compiling.min
(gauge)
Tiempo mínimo de compilación de una consulta.
Se muestra en milisegundos
hive.server.queries.executing.75percentile
(gauge)
Tiempo de ejecución P75 de una consulta.
Se muestra en milisegundos
hive.server.queries.executing.95percentile
(gauge)
Tiempo P95 de ejecución de una consulta.
Se muestra en milisegundos
hive.server.queries.executing.count
(rate)
Número de consultas ejecutadas.
Se muestra como consulta
hive.server.queries.executing.max
(gauge)
Tiempo máximo de ejecución de una consulta.
Se muestra en milisegundos
hive.server.queries.executing.mean
(gauge)
Tiempo medio de ejecución de una consulta.
Se muestra en milisegundos
hive.server.queries.executing.meanrate
(gauge)
Tasa de ejecución de consulta.
Se muestra como consulta
hive.server.queries.executing.min
(gauge)
Tiempo mínimo de ejecución de una consulta.
Se muestra en milisegundos
hive.server.queries.submitted.75percentile
(gauge)
Tiempo P75 para una consulta enviada.
Se muestra como milisegundo
hive.server.queries.submitted.95percentile
(gauge)
Tiempo P95 para una consulta enviada.
Se muestra en milisegundos
hive.server.queries.submitted.active_call
(gauge)
Consultas activas enviadas.
Se muestra como consulta
hive.server.queries.submitted.count
(rate)
Número de consultas enviadas.
Se muestra como consulta
hive.server.queries.submitted.max
(gauge)
Tiempo máximo para una consulta enviada.
Se muestra como milisegundo
hive.server.queries.submitted.mean
(gauge)
Tiempo medio de una consulta enviada.
Se muestra en milisegundos
hive.server.queries.submitted.meanrate
(gauge)
Tasa de consulta enviada.
Se muestra como consulta
hive.server.queries.submitted.min
(gauge)
Tiempo mínimo para una consulta enviada.
Se muestra como milisegundo
hive.server.queries.succeeded.count
(rate)
Número de consultas realizadas con éxito.
Se muestra como consulta
hive.server.queries.succeeded.meanrate
(gauge)
Tasa de consultas con éxito.
Se muestra como consulta
hive.server.session.active
(gauge)
Número de sesión activa.
Se muestra como sesión
hive.server.session.active.time_mean
(gauge)
Tiempo medio que ha estado activa una sesión.
Se muestra en milisegundos
hive.server.session.open
(gauge)
Número de sesión abierta.
Se muestra como sesión
hive.server.session.open.time_mean
(gauge)
Tiempo medio de apertura de una sesión.
Se muestra en milisegundos
hive.server.sql_operation.completed.closed
(rate)
Número de operaciones sql cerradas.
Se muestra como operación
hive.server.sql_operation.completed.finished
(rate)
Número de operaciones sql finalizadas.
Se muestra como operación
hive.server.sql_operation.user.active
(gauge)
Número de usuario activo.
Se muestra como usuario

Eventos

El check de Hive no incluye eventos.

Checks de servicio

hive.can_connect

Devuelve CRITICAL si el Agent no puede conectarse y recopilar métricas de la instancia HiveServer2/Hive Metastore supervisada, WARNING si no se recopilan métricas y OK en caso contrario.

Estados: ok, critical, warning

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.