Databricks

Supported OS

Data Jobs Monitoring te ayuda a observar, solucionar problemas y optimizar los costos de tus trabajos y clústeres de Databricks.

Esta página se limita a la documentación para la ingesta de las métricas y logs de utilización de clústeres de Databricks.

Dashboard predeterminado de Databricks

Información general

Datadog ofrece varias capacidades de monitorización de Databricks.

Data Jobs Monitoring proporciona monitorización para los trabajos y clústeres de Databricks. Puedes detectar trabajos y flujos de trabajo problemáticos de Databricks en cualquier parte de tus pipelines de datos, solucionar trabajos fallidos o de larga duración con mayor rapidez y optimizar los recursos del clúster para reducir costes.

Cloud Cost Management te brinda una vista para analizar todos los costes de DBU de Databricks junto con el gasto en la nube asociado.

Log Management te permite agregar y analizar logs de tus trabajos y clústeres de Databricks. Puedes recopilar estos logs como parte de Data Jobs Monitoring.

La Monitorización de la infraestructura te brinda un subconjunto limitado de las funciones de Data Jobs Monitoring: visibilidad de la utilización de los recursos de tus clústeres de Databricks y métricas de rendimiento de Apache Spark.

Las métricas de servicio de modelos brindan información sobre el rendimiento de la infraestructura de servicio de modelos de Databricks. Con estas métricas, puedes detectar endpoints que tienen una tasa de errores alta, una latencia alta, un aprovisionamiento excesivo o insuficiente, entre otros.

Configuración

Instalación

Monitoriza las aplicaciones de Databricks con Spark con la integración de Datadog con Spark. Instala el Datadog Agent en tus clústeres con las instrucciones de configuración para el clúster correspondiente. Luego, instala la integración de Spark en Datadog para instalar de manera automática el dashboard de información general de Databricks.

Configuración

Configura la integración de Spark para monitorizar tu clúster de Apache Spark en Databricks y recopilar el sistema y las métricas de Spark.

Cada script descrito a continuación puede modificarse para adaptarlo a tus necesidades. Por ejemplo, puedes:

Añadir etiquetas (tags) específicas a tus instancias.
Modificar la configuración de la integración de Spark.

Por razones de seguridad, no se recomienda definir la variable de entorno `DD_API_KEY` en texto simple directamente en la interfaz de usuario. En su lugar, utiliza secretos de Databricks.

Con un script de inicio global

Un script de inicio global se ejecuta en cada clúster creado en tu área de trabajo. Las secuencias de scripts de inicio globales son útiles cuando se desea aplicar configuraciones o pantallas de seguridad de bibliotecas en toda la organización.

Solo los administradores del área de trabajo pueden gestionar scripts de inicio globales.

Los scripts de inicio globales solo se ejecutan en clústeres configurados con un único usuario o en el modo de acceso compartido sin aislamiento de legacy. Por lo tanto, Databricks recomienda configurar todos los scripts de inicio como ámbito de clúster y gestionarlos en toda el área de trabajo mediante políticas de clúster.

Utiliza la interfaz de usuario de Databricks para editar los scripts de inicio globales:

Elige uno de los siguientes scripts para instalar el Agent en el controlador o en los nodos controlador y trabajador del clúster.
Modifica el script para adaptarlo a tus necesidades. Por ejemplo, puedes añadir etiquetas (tags) o definir una configuración específica para la integración.
Ve a la configuración de administración y haz clic en la pestaña Scripts de inicio globales.
Haz clic en el botón + Añadir.
Dale un nombre al script, por ejemplo Datadog init script y pégalo en el campo Script.
Haz clic en el conmutador Habilitado para activarlo.
Haz clic en el botón Añadir.

Después de estos pasos, cualquier clúster nuevo usa el script de manera automática. Puedes encontrar más información sobre los scripts de inicio globales en la documentación oficial de Databricks.

Puedes definir varios scripts de inicio y especificar su orden en la interfaz de usuario.

Instala el Datadog Agent en el controlador

Instala el Datadog Agent en el nodo controlador del clúster.

Es necesario definir el valor de la variable `DD_API_KEY` en el script.

``script de shell #!/bin/bash cat «EOF > /tmp/start_datadog.sh #!/bin/bash

fecha -u +"%Y-%m-%d %H:%M:%S UTC" eco “Running on the driver? $DB_IS_DRIVER” eco “Driver ip: $DB_DRIVER_IP”

DB_CLUSTER_NAME=$(echo “$DB_CLUSTER_NAME” | sed -e ’s/ //g’ -e “s/’//g”) DD_API_KEY=’<YOUR_API_KEY>'

si [[ ${DB_IS_DRIVER} = “TRUE” ]]; entonces eco “Installing Datadog Agent on the driver…”

CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA EL CONTROLADOR

DD_TAGS=“entorno:${DD_ENV}”,“databricks_cluster_id:${DB_CLUSTER_ID}”,“databricks_cluster_name:${DB_CLUSTER_NAME}”,“spark_host_ip:${DB_DRIVER_IP}”,“spark_node:driver”,“databricks_instance_type:${DB_INSTANCE_TYPE}”,“databricks_is_job_cluster:${DB_IS_JOB_CLUSTER}”

INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT 7 EN LOS NODOS CONTROLADOR Y TRABAJADOR

DD_INSTALL_ONLY=true
DD_API_KEY=$DD_API_KEY
DD_HOST_TAGS=$DD_TAGS
DD_HOSTNAME="$(hostname | xargs)"
DD_SITE="${DD_SITE:-datadoghq.com}"
bash -c “$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script_agent7.sh)"

Evitar conflictos en el puerto 6062

eco “process_config.expvar_port: 6063” » /etc/datadog-agent/datadog.yaml

eco “Datadog Agent is installed”

si bien[ -z $DB_DRIVER_PORT ]; haz si [ -e “/tmp/driver-env.sh” ]; entonces DB_DRIVER_PORT=”$(grep -i “CONF_UI_PORT” /tmp/driver-env.sh | cut -d’=’ -f2)" fi eco “Waiting 2 seconds for DB_DRIVER_PORT” sleep 2 hecho

eco “DB_DRIVER_PORT=$DB_DRIVER_PORT”

ESCRIBIR ARCHIVO DE CONFIGURACIÓN DE INTEGRACIÓN DE SPARK CON MÉTRICAS DE STREAMING ESTRUCTURADAS ACTIVADAS

MODIFICAR PARA INCLUIR OTRAS OPCIONES EN spark.d/conf.yaml.example

eco “init_config: instancias: - spark_url: http://${DB_DRIVER_IP}:${DB_DRIVER_PORT} spark_cluster_mode: spark_driver_mode cluster_name: ${DB_CLUSTER_NAME} streaming_metrics: true executor_level_metrics: true logs: - tipo: archivo ruta: /databricks/driver/Logs/.log fuente: spark servicio: databricks log_processing_rules: - tipo: multi_line nombre: new_log_start_with_date patrón: \d{2,4}[-/]\d{2,4}[-/]\d{2,4}.” > /etc/datadog-agent/conf.d/spark.d/spark.yaml

eco “Spark integration configured”

ACTIVAR LOGS EN Datadog.yaml PARA RECOPILAR LOGS DEL CONTROLADOR

sed -i ‘/.logs_enabled:./a logs_enabled: true’ /etc/datadog-agent/datadog.yaml fi

eco “Restart the agent” sudo service datadog-agent restart EOF

chmod a+x /tmp/start_datadog.sh /tmp/start_datadog.sh » /tmp/datadog_start.log 2>&1 & disown

Instale el Datadog Agent en los nodos controlador y trabajador del clúster

Deberás definir el valor de la variable `DD_API_KEY` en el script.

#!/bin/bash
cat <<EOF > /tmp/start_datadog.sh
#!/bin/bash

fecha -u +"%Y-%m-%d %H:%M:%S UTC"
eco "Running on the driver? \$DB_IS_DRIVER"
eco "Driver ip: \$DB_DRIVER_IP"

DB_CLUSTER_NAME=$(echo "$DB_CLUSTER_NAME" | sed -e 's/ /_/g' -e "s/'/_/g")
DD_API_KEY='<YOUR_API_KEY>'

si [[ \${DB_IS_DRIVER} = "TRUE" ]]; entonces
  eco "Installing Datadog Agent on the driver (master node)."

  # CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA EL CONTROLADOR
  DD_TAGS="entorno:\${DD_ENV}","databricks_cluster_id:\${DB_CLUSTER_ID}","databricks_cluster_name:\${DB_CLUSTER_NAME}","spark_host_ip:\${DB_DRIVER_IP}","spark_node:driver","databricks_instance_type:\${DB_INSTANCE_TYPE}","databricks_is_job_cluster:\${DB_IS_JOB_CLUSTER}"

  # INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT PARA LOS NODOS CONTROLADOR Y TRABAJADOR
  DD_INSTALL_ONLY=true \
    DD_API_KEY=\$DD_API_KEY \
    DD_HOST_TAGS=\$DD_TAGS \
    DD_HOSTNAME="\$(hostname | xargs)" \
    DD_SITE="\${DD_SITE:-datadoghq.com}" \
    bash -c "\$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script_agent7.sh)"

  eco "Datadog Agent is installed"

  mientras [ -z \$DB_DRIVER_PORT ]; haz
    si [ -e "/tmp/driver-env.sh" ]; entonces
      DB_DRIVER_PORT="\$(grep -i "CONF_UI_PORT" /tmp/driver-env.sh | cut -d'=' -f2)"
    fi
    eco "Waiting 2 seconds for DB_DRIVER_PORT"
    sleep 2
  hecho

  eco "DB_DRIVER_PORT=\$DB_DRIVER_PORT"

  # ESCRIBIR EL ARCHIVO DE CONFIGURACIÓN PARA LA INTEGRACIÓN DE SPARK CON MÉTRICAS DE STREAMING ESTRUCTURADAS ACTIVADAS
  # MODIFICAR PARA INCLUIR OTRAS OPCIONES EN spark.d/conf.yaml.example
  eco "init_config:
instancias:
    - spark_url: http://\${DB_DRIVER_IP}:\${DB_DRIVER_PORT}
      spark_cluster_mode: spark_driver_mode
      cluster_name: \${DB_CLUSTER_NAME}
      streaming_metrics: true
      executor_level_metrics: true
logs:
    - tipo: archivo
      ruta: /databricks/driver/logs/*.log
      fuente: spark
      servicio: databricks
      log_processing_rules:
        - tipo: multi_line
          nombre: new_log_start_with_date
          patrón: \d{2,4}[\-\/]\d{2,4}[\-\/]\d{2,4}.*" > /etc/datadog-agent/conf.d/spark.d/spark.yaml

  eco "Spark integration configured"

  # ACTIVAR LOGS EN datadog.yaml PARA RECOPILAR LOGS DEL CONTROLADOR
  sed -i '/.*logs_enabled:.*/a logs_enabled: true' /etc/datadog-agent/datadog.yaml
o
  eco "Installing Datadog Agent on the worker."

  # CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA TRABAJADORES
  DD_TAGS="environment:\${DD_ENV}","databricks_cluster_id:\${DB_CLUSTER_ID}","databricks_cluster_name:\${DB_CLUSTER_NAME}","spark_host_ip:\${SPARK_LOCAL_IP}","spark_node:worker","databricks_instance_type:\${DB_INSTANCE_TYPE}","databricks_is_job_cluster:\${DB_IS_JOB_CLUSTER}"

  # INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT 7 EN LOS NODOS CONTROLADOR Y TRABAJADOR
  # CONFIGURAR NOMBRE DEL HOST EXPLÍCITAMENTE EN datadog.yaml PARA IMPEDIR QUE EL AGENT FALLE EN LA VERSIÓN 7.40+
  # CONSULTA https://github.com/DataDog/datadog-agent/issues/14152 PARA CAMBIAR
  DD_INSTALL_ONLY=true DD_API_KEY=\$DD_API_KEY DD_HOST_TAGS=\$DD_TAGS DD_HOSTNAME="\$(hostname | xargs)" bash -c "\$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script_agent7.sh)"

  eco "Datadog Agent is installed"
fi

# Evitar conflictos en el puerto 6062
eco "process_config.expvar_port: 6063" >> /etc/datadog-agent/datadog.yaml

eco "Restart the agent"
sudo service datadog-agent restart
EOF

chmod a+x /tmp/start_datadog.sh
/tmp/start_datadog.sh >> /tmp/datadog_start.log 2>&1 & disown

Con un script de inicio de ámbito de clúster

Los scripts de inicio de ámbito de clúster son scripts de inicio definidos en la configuración del clúster. Los scripts de inicio de ámbito de clúster se aplican a los clústeres que creas y a los creados para ejecutar trabajos. Databricks admite la configuración y el almacenamiento de scripts de inicio a través de:

Archivos de área de trabajo
Unity Catalog Volumes
Almacenamiento de objetos en la nube

Utiliza la interfaz de usuario de Databricks para editar el clúster y ejecutar el script de inicio:

Elige uno de los siguientes scripts para instalar el Agent en el controlador o en los nodos controlador y trabajador del clúster.
Modifica el script para adaptarlo a tus necesidades. Por ejemplo, puedes añadir etiquetas (tags) o definir una configuración específica para la integración.
Guarda el script en tu área de trabajo con el menú Área de trabajo de la izquierda. Si utilizas Unity Catalog Volume, guarda el script en tu Volume con el menú Catalog de la izquierda.
En la página de configuración del clúster, haz clic en el conmutador de opciones Avanzadas.
En las Variables de entorno, especifica la variable de entorno DD_API_KEY y, opcionalmente, las variables de entorno DD_ENV y DD_SITE.
Ve a la pestaña Scripts de inicio.
En el menú desplegable Destino, selecciona el tipo de destino Workspace. Si utilizas Unity Catalog Volume, en el menú desplegable Destino, selecciona el tipo de destino Volume.
Especifica una ruta al script de inicio.
Haz clic en el botón Añadir.

Si guardaste tu datadog_init_script.sh directamente en el área de trabajo Shared, puedes acceder al archivo en la siguiente ruta: /Shared/datadog_init_script.sh.

Si guardaste tu datadog_init_script.sh directamente en un área de trabajo del usuario, puedes acceder al archivo en la siguiente ruta: /Users/$EMAIL_ADDRESS/datadog_init_script.sh.

Si guardaste tu datadog_init_script.sh directamente en un Unity Catalog Volume, puedes acceder al archivo en la siguiente ruta: /Volumes/$VOLUME_PATH/datadog_init_script.sh.

Puedes encontrar más información sobre los scripts de inicio del clúster en la documentación oficial de Databricks.

Instala el Datadog Agent en el controlador

Instala el Datadog Agent en el nodo controlador del clúster.

``script de shell #!/bin/bash cat «EOF > /tmp/start_datadog.sh #!/bin/bash

fecha -u +"%Y-%m-%d %H:%M:%S UTC" eco “Running on the driver? $DB_IS_DRIVER” eco “Driver ip: $DB_DRIVER_IP”

DB_CLUSTER_NAME=$(echo “$DB_CLUSTER_NAME” | sed -e ’s/ //g’ -e “s/’//g”)

si [[ ${DB_IS_DRIVER} = “TRUE” ]]; entonces eco “Installing Datadog Agent on the driver…”

CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA EL CONTROLADOR

INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT 7 EN LOS NODOS CONTROLADOR Y TRABAJADOR

Evitar conflictos en el puerto 6062

eco “process_config.expvar_port: 6063” » /etc/datadog-agent/datadog.yaml

eco “Datadog Agent is installed”

eco “DB_DRIVER_PORT=$DB_DRIVER_PORT”

ESCRIBIR ARCHIVO DE CONFIGURACIÓN DE INTEGRACIÓN DE SPARK CON MÉTRICAS DE STREAMING ESTRUCTURADAS ACTIVADAS

MODIFICAR PARA INCLUIR OTRAS OPCIONES EN spark.d/conf.yaml.example

eco “Spark integration configured”

ACTIVAR LOGS EN Datadog.yaml PARA RECOPILAR LOGS DEL CONTROLADOR

sed -i ‘/.logs_enabled:./a logs_enabled: true’ /etc/datadog-agent/datadog.yaml fi

eco “Restart the agent” sudo service datadog-agent restart EOF

chmod a+x /tmp/start_datadog.sh /tmp/start_datadog.sh » /tmp/datadog_start.log 2>&1 & disown

Instalar el Datadog Agent en los nodos controlador y trabajador

Instalar el Datadog Agent en los nodos controlador y trabajador del clúster

#!/bin/bash
cat <<EOF > /tmp/start_datadog.sh
#!/bin/bash

fecha -u +"%Y-%m-%d %H:%M:%S UTC"
eco "Running on the driver? \$DB_IS_DRIVER"
eco "Driver ip: \$DB_DRIVER_IP"

DB_CLUSTER_NAME=$(echo "$DB_CLUSTER_NAME" | sed -e 's/ /_/g' -e "s/'/_/g")

si [[ \${DB_IS_DRIVER} = "TRUE" ]]; entonces
  eco "Installing Datadog Agent on the driver (master node)."

  # CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA EL CONTROLADOR
  DD_TAGS="environment:\${DD_ENV}","databricks_cluster_id:\${DB_CLUSTER_ID}","databricks_cluster_name:\${DB_CLUSTER_NAME}","spark_host_ip:\${DB_DRIVER_IP}","spark_node:driver","databricks_instance_type:\${DB_INSTANCE_TYPE}","databricks_is_job_cluster:\${DB_IS_JOB_CLUSTER}"

  # INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT 7 EN LOS NODOS CONTROLADOR Y TRABAJADOR
  DD_INSTALL_ONLY=true \
    DD_API_KEY=\$DD_API_KEY \
    DD_HOST_TAGS=\$DD_TAGS \
    DD_HOSTNAME="\$(hostname | xargs)" \
    DD_SITE="\${DD_SITE:-datadoghq.com}" \
    bash -c "\$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script_agent7.sh)"

  eco "Datadog Agent is installed"

  si bien [ -z \$DB_DRIVER_PORT ]; haz
    si [ -e "/tmp/driver-env.sh" ]; entonces
      DB_DRIVER_PORT="\$(grep -i "CONF_UI_PORT" /tmp/driver-env.sh | cut -d'=' -f2)"
    fi
    eco "Waiting 2 seconds for DB_DRIVER_PORT"
    sleep 2
  hecho

  eco "DB_DRIVER_PORT=\$DB_DRIVER_PORT"

  # ESCRIBIR ARCHIVO DE CONFIGURACIÓN DE INTEGRACIÓN DE SPARK CON MÉTRICAS DE STREAMING ESTRUCTURADAS ACTIVADAS
  # MODIFICAR PARA INCLUIR OTRAS OPCIONES EN spark.d/conf.yaml.example
  eco "init_config:
instancias:
    - spark_url: http://\${DB_DRIVER_IP}:\${DB_DRIVER_PORT}
      spark_cluster_mode: spark_driver_mode
      cluster_name: \${DB_CLUSTER_NAME}
      streaming_metrics: true
      executor_level_metrics: true
logs:
    - tipo: archivo
      ruta: /databricks/driver/logs/*.log
      fuente: spark
      servicio: databricks
      log_processing_rules:
        - tipo: multi_line
          nombre: new_log_start_with_date
          patrón: \d{2,4}[\-\/]\d{2,4}[\-\/]\d{2,4}.*" > /etc/datadog-agent/conf.d/spark.d/spark.yaml

  eco "Spark integration configured"

  # ACTIVAR LOGS EN datadog.yaml PARA RECOPILAR LOGS DEL CONTROLADOR
  sed -i '/.*logs_enabled:.*/a logs_enabled: true' /etc/datadog-agent/datadog.yaml
o
  eco "Installing Datadog Agent on the worker."

  # CONFIGURAR ETIQUETAS (TAGS) DEL HOST PARA TRABAJADORES
  DD_TAGS="environment:\${DD_ENV}","databricks_cluster_id:\${DB_CLUSTER_ID}","databricks_cluster_name:\${DB_CLUSTER_NAME}","spark_host_ip:\${SPARK_LOCAL_IP}","spark_node:worker","databricks_instance_type:\${DB_INSTANCE_TYPE}","databricks_is_job_cluster:\${DB_IS_JOB_CLUSTER}"

  # INSTALAR LA ÚLTIMA VERSIÓN DEL DATADOG AGENT 7 EN LOS NODOS CONTROLADOR Y TRABAJADOR
  # CONFIGURAR EL NOMBRE DEL HOST EXPLÍCITAMENTE EN datadog.yaml PARA IMPEDIR QUE EL AGENT FALLE EN LA VERSIÓN 7.40+
  # CONSULTA https://github.com/DataDog/datadog-agent/issues/14152 PARA CAMBIOS
  DD_INSTALL_ONLY=true DD_API_KEY=\$DD_API_KEY DD_HOST_TAGS=\$DD_TAGS DD_HOSTNAME="\$(hostname | xargs)" bash -c "\$(curl -L https://s3.amazonaws.com/dd-agent/scripts/install_script_agent7.sh)"

  eco "Datadog Agent is installed"
fi

# Evitar conflictos en el puerto 6062
eco "process_config.expvar_port: 6063" >> /etc/datadog-agent/datadog.yaml

eco "Restart the agent"
sudo service datadog-agent restart
EOF

chmod a+x /tmp/start_datadog.sh
/tmp/start_datadog.sh >> /tmp/datadog_start.log 2>&1 & disown

Datos recopilados

Métricas

Consulta la documentación de la integración de Spark para obtener una lista de las métricas recopiladas.

Checks de servicio

Consulta la documentación de la integración de Spark para obtener la lista de los checks de servicio recopilados.

Eventos

La integración de Databricks no incluye ningún evento.

Resolución de problemas

Puedes solucionar los problemas por tu cuenta al habilitar el terminal web de Databricks o mediante un notebook de Databricks. Consulta la documentación de Solucionar problemas del Agent a fin de obtener información sobre los pasos útiles para solucionar problemas.

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.

Configurar tests de API y tests de API multupaso

Más enlaces, artículos y documentación útiles:

Cargar un script en el Unity Catalog Volume