Crear y configurar el principal de servicio en Databricks

1. Como administrador de Databricks workspace, ve a Settings haciendo clic en tu perfil en la esquina superior derecha del workspace.

2. En la pestaña Identity and access, haz clic en Manage junto a Service principals.

3. Haz clic en Add service principal, luego haz clic en Add new.

4. Ingresa un nombre, luego haz clic en Agregar.

   Para Azure Databricks, selecciona el tipo de gestión "administrado por Databricks". Datadog NO soporta los principales de servicio "administrados por Microsoft Entra ID".

5. Haz clic en el nombre de tu nuevo principal de servicio. Bajo la pestaña Secrets, haz clic en Generate secret.

   1. Establece Lifetime (days) al valor máximo permitido (730).

   2. Haz clic en Generate.

   3. Toma nota de tu ID de cliente y secreto de cliente.

6. En la pestaña Permissions, haz clic en Grant access. Busca el nuevo principal de servicio, otórgale el permiso Manage y haz clic en Save.

7. Regresa a la pestaña Identity and access y haz clic en Manage junto a Groups.

8. Haz clic en el grupo admins, luego haz clic en Add members para agregar el nuevo principal de servicio.

Agrega el espacio de trabajo de Databricks a Datadog

1. En Datadog, abre el mosaico de integración de Databricks.

2. En la pestaña Configure, haz clic en Add Databricks Workspace.

3. Ingresa un nombre de espacio de trabajo, la URL de tu espacio de trabajo de Databricks y el ID de cliente y secreto que generaste.

4. Para obtener visibilidad sobre tus costos de Databricks en Data Observability: Monitoreo de Trabajos o Gestión de Costos en la Nube, proporciona el ID de un Almacén SQL de Databricks que Datadog puede usar para consultar tus tablas del sistema.

   • El principal de servicio debe tener acceso al Almacén SQL. En la página de configuración del Almacén, ve a Permissions (esquina superior derecha) y otórgale permiso CAN USE.
   • Otorga al principal de servicio acceso de lectura a las tablas del sistema del Catálogo de Unity ejecutando los siguientes comandos:

   GRANT USE CATALOG ON CATALOG system TO <service_principal>;
   GRANT SELECT ON CATALOG system TO <service_principal>;
   GRANT USE SCHEMA ON CATALOG system TO <service_principal>;
   

   El usuario que otorga estos permisos debe tener el privilegio MANAGE sobre CATALOG system.

   • El Almacén SQL debe ser Pro o Serverless. Los Almacenes Clásicos NO son compatibles. Se recomienda un almacén 2XS, con Auto Stop configurado de 5 a 10 minutos para reducir costos.

5. En la sección Seleccionar productos para configurar la integración, asegúrate de que Data Observability: Monitoreo de Trabajos esté Enabled.

6. En la sección Datadog Agent Setup, elige entre

   • Gestionado por Datadog (recomendado): Datadog instala y gestiona el Agente con un script de inicio global en el espacio de trabajo.
   • Manualmente: Sigue las instrucciones a continuación para instalar y gestionar el script de inicio para instalar el Agente globalmente o en clústeres específicos de Databricks.

Si su espacio de trabajo de Databricks se implementa utilizando Conectividad de Private Link, Datadog no puede acceder a las APIs de Databricks directamente. Esto requiere usar un Private Action Runner desplegado en su entorno.

Consulte Private Link Connectivity (Preview) para obtener instrucciones completas de configuración.

1. En su espacio de trabajo de Databricks, haga clic en su perfil en la esquina superior derecha y vaya a Settings. Seleccione Developer en la barra lateral izquierda. Junto a Access tokens, haga clic en Manage.

2. Haga clic en Generate new token, ingrese “Integración de Datadog” en el campo Comment, establezca el valor de Lifetime (days) al máximo permitido (730 días) y cree un recordatorio para actualizar el token antes de que expire. Luego haga clic en Generate. Tome nota de su token.

   Importante:

   • Para la instalación del script de inicialización administrado por Datadog (recomendado)](?tab=datadogmanagedglobalinitscriptrecommended#install-the-datadog-agent), asegúrese de que el Principal del token sea un Administrador de Workspace.
   • Para la instalación manual del script de inicialización, asegúrese de que el Principal del token tenga acceso CAN VIEW para los trabajos y clústeres de Databricks que desea monitorear.

   Como alternativa, siga la documentación oficial de Databricks para generar un token de acceso para un principal de servicio. El principal de servicio debe tener habilitado el acceso al Workspace y los permisos de Administrador de Workspace o CAN VIEW como se describió anteriormente.

3. En Datadog, abra el mosaico de integración de Databricks.

4. En la pestaña Configure, haga clic en Add Databricks Workspace.

5. Ingrese un nombre para el espacio de trabajo, la URL de su espacio de trabajo de Databricks y el token de Databricks que generó.

6. Para obtener visibilidad sobre sus costos de Databricks en Data Observability: Jobs Monitoring o Cloud Cost Management, proporcione el ID de un Almacén SQL de Databricks que Datadog puede usar para consultar sus tablas del sistema.

   • El principal del token debe tener acceso al Almacén SQL. Otórguele CAN USE permiso desde Permisos en la parte superior derecha de la página de configuración del Almacén.
   • Conceda al principal del servicio acceso de lectura al Unity Catalog tablas del sistema ejecutando los siguientes comandos:

   GRANT USE CATALOG ON CATALOG system TO <token_principal>;
   GRANT SELECT ON CATALOG system TO <token_principal>;
   GRANT USE SCHEMA ON CATALOG system TO <token_principal>;
   

   El usuario que otorga estos permisos debe tener el privilegio MANAGE sobre CATALOG system.

   • El Almacén SQL debe ser Pro o Serverless. Los Almacenes Clásicos NO son compatibles. Se recomienda un almacén de tamaño 2XS, con Auto Stop configurado para 5-10 minutos para minimizar costos.

7. En la sección Seleccionar productos para configurar la integración, asegúrese de que el producto Data Observability: Jobs Monitoring esté Habilitado.

8. En la sección Datadog Agent Setup, elija ya sea

   • Gestionado por Datadog (recomendado): Datadog instala y gestiona el Agent con un script de inicio global en el espacio de trabajo.
   • Manualmente: Siga las instrucciones a continuación para instalar y gestionar el script de inicio para instalar el Agent globalmente o en clústeres específicos de Databricks.

Datadog puede instalar y gestionar un script de inicialización global en el espacio de trabajo de Databricks. El Datadog Agent se instala en todos los clústeres en el espacio de trabajo, cuando estos inician.

Al integrar un espacio de trabajo con Datadog

1. En la sección Seleccionar productos para configurar la integración, asegúrese de que el producto Data Observability: Jobs Monitoring esté Habilitado.

2. En la sección Datadog Agent Setup, seleccione el Managed by Datadog botón de alternancia.

3. Haga clic en Select API Key para seleccionar una clave de API de Datadog existente o crear una nueva clave de API de Datadog.

4. (Opcional) Desactive Enable Log Collection si no desea recopilar registros de controlador y trabajador para correlacionar con trabajos.

5. Haga clic en Save Databricks Workspace.

Al agregar el script de inicialización a un espacio de trabajo de Databricks ya integrado con Datadog

1. En la pestaña Configurar, haga clic en el espacio de trabajo en la lista de espacios de trabajo.

2. Haga clic en la Configured Products pestaña.

3. Asegúrese de que el producto Data Observability: Jobs Monitoring esté Habilitado.

4. En la sección Datadog Agent Setup, seleccione el Managed by Datadog botón de alternancia.

5. Haga clic en Select API Key para seleccionar una clave de API de Datadog existente o crear una nueva clave de API de Datadog.

6. (Opcional) Desactive Enable Log Collection si no desea recopilar registros de controladores y trabajadores para correlacionar con trabajos.

7. Haga clic en Guardar espacio de trabajo de Databricks en la parte inferior de la ventana del navegador.

Opcionalmente, puede agregar etiquetas a su clúster de Databricks y métricas de rendimiento de Spark configurando la siguiente variable de entorno en la sección Advanced Configuration de su clúster en la interfaz de usuario de Databricks o como variables de entorno de Spark con la API de Databricks:

Este enfoque se recomienda para clústeres en modo de acceso Estándar.

Cree el script de inicialización

1. En Databricks, cree un archivo de script de inicialización en un Unity Catalog volume con el siguiente contenido. Asegúrese de anotar la ruta del volumen (por ejemplo, /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh).

   #!/bin/bash
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   The script above downloads and runs the latest init script for Data Observability: Jobs Monitoring in Databricks. If you want to pin your script to a specific version, you can replace the filename in the URL with install-databricks-0.14.0.sh to use version 0.14.0, for example. The source code used to generate this script, and the changes between script versions, can be found on the Datadog Agent repository.

2. Conceda permisos de solo lectura al script de inicialización:

   1. A nivel de volumen, conceda el permiso READ VOLUME a todos los usuarios de la cuenta.
   2. A nivel de catálogo, conceda el permiso USE CATALOG a todos los usuarios de la cuenta.

3. Agregue el script de inicialización a la lista de permitidos: Para clústeres en modo de acceso Standard, debe agregar la ruta del script de inicialización a la lista de permitidos de Unity Catalog. Siga las instrucciones en la documentación de Databricks para agregar la ruta de su script de inicialización a la lista de permitidos.

Configure la política de cómputo

1. En Compute, navegue a la pestaña Policies. Si ya tiene una política de clúster aplicada a sus clústeres, navegue a esa política existente para editarla. Este es el enfoque más simple, ya que la política se aplica automáticamente a todos los clústeres que la utilizan. De lo contrario, haga clic en Create Policy para crear una nueva política.

2. Para agregar el script de inicialización a la política del clúster, en la sección Definition, haga clic en Add Definition. En el modal que se abre, completa los campos:

   1. En el menú desplegable Field, seleccione init_scripts.
   2. En el menú desplegable Source, seleccione Volume.
   3. Bajo Destination, ingrese la ruta del volumen a su script de inicialización.
   4. Haga clic en Add.

3. Configure las variables de entorno. Debe agregar cada una de las siguientes variables de entorno a la política del clúster que creó:

   Clave	Descripción
   DD_API_KEY	Su clave de API de Datadog.
   DD_SITE	Su sitio de Datadog.
   DATABRICKS_WORKSPACE	Nombre de su espacio de trabajo de Databricks. Debería coincidir con el nombre proporcionado en el paso de integración de Datadog-Databricks. Encierre el nombre entre comillas dobles si contiene espacios en blanco.

   1. Para cada una de las variables anteriores, en la Definition sección, haga clic en Add Definition. En el modal que se abre, complete los campos:
      1. En el Field menú desplegable, seleccione spark_env_vars.
      2. En el Key campo, ingrese la clave de la variable de entorno.
      3. En el Value campo, ingrese el valor de la variable de entorno.
      4. En el menú desplegable Type, seleccione Fixed.
      5. Marque la casilla Hidden para reducir la exposición de valores sensibles.
   2. Opcionalmente, establezca otros parámetros de script de inicialización y variables de entorno de Datadog, como DD_ENV y DD_SERVICE. Puedes configurar el script utilizando los siguientes parámetros:

      Variable	Descripción	Predeterminado
      DRIVER_LOGS_ENABLED	Recopile registros del driver de Spark en Datadog.	falso
      WORKER_LOGS_ENABLED	Recopile registros de los workers de Spark en Datadog.	falso
      DD_TAGS	Agregue etiquetas al clúster de Databricks y a las métricas de rendimiento de Spark, utilizando pares clave:valor separados por comas o espacios. Sigue las convenciones de etiquetas de Datadog. Ejemplo: env:staging,team:data_engineering
      DD_ENV	Establezca la etiqueta de entorno env en métricas, trazas y registros de este clúster.
      DD_LOGS_CONFIG_PROCESSING_RULES	Filtre los registros recopilados con reglas de procesamiento. Consulte Recopilación Avanzada de Registros para más detalles.

4. Haga clic en Create si crea una nueva política o en Save si actualiza una política existente. Si actualiza una política existente, todos los clústeres que utilizan esa política aplicarán automáticamente los cambios en su próximo reinicio. Si crea una nueva política, siga los pasos a continuación para aplicarla a sus clústeres.

Aplique la política del clúster a los clústeres

1. En Compute, seleccione el clúster que desea actualizar o haga clic en Create Compute para un nuevo clúster.
2. En el menú desplegable Policy en la parte superior, seleccione la política que creó.
3. Haga clic en Confirm para guardar los cambios. El clúster necesita reiniciarse para que la política surta efecto.

1. En Databricks, haga clic en su nombre de usuario (dirección de correo electrónico) en la esquina superior derecha de la página.

2. Seleccione Settings y haga clic en la pestaña Compute.

3. En la sección All purpose clusters, junto a Global init scripts, haga clic en Manage.

4. Haga clic en Add. Nombre su script. Luego, en el campo Script, copie y pegue el siguiente script, recordando reemplazar los marcadores de posición con los valores de sus parámetros.

   #!/bin/bash
   
   # Required parameters
   export DD_API_KEY=<YOUR API KEY>
   export DD_SITE=<YOUR DATADOG SITE>
   export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   El script anterior establece los parámetros requeridos, y descarga y ejecuta el último script de inicialización para Data Observability: Jobs Monitoring en Databricks. Si desea fijar su script a una versión específica, puede reemplazar el nombre del archivo en la URL con install-databricks-0.14.0.sh para usar la versión 0.14.0, por ejemplo. El código fuente utilizado para generar este script, y los cambios entre las versiones del script, se pueden encontrar en el repositorio del Datadog Agent.

5. Para habilitar el script para todos los nuevos clústeres y los que se reinicien, active Enabled.

6. Haga clic en Add.

Establezca los parámetros requeridos del script de inicialización

Proporcione los valores para los parámetros del script de inicialización al inicio del script de inicialización global.

export DD_API_KEY=<YOUR API KEY>
export DD_SITE=<YOUR DATADOG SITE>
export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"

Opcionalmente, también puede establecer otros parámetros del script de inicialización y variables de entorno de Datadog aquí, como DD_ENV y DD_SERVICE. El script se puede configurar utilizando los siguientes parámetros:

1. En Databricks, cree un archivo de script de inicialización en un volumen de Catálogo de Unidad con el siguiente contenido. Asegúrese de anotar la ruta del volumen (por ejemplo, /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh).

   #!/bin/bash
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   El script anterior descarga y ejecuta el último script de inicialización para Data Observability: Jobs Monitoring en Databricks. Si desea fijar su script a una versión específica, puede reemplazar el nombre del archivo en la URL (por ejemplo, install-databricks-0.14.0.sh para usar la versión 0.14.0). Puede encontrar el código fuente utilizado para generar este script, y los cambios entre versiones de scripts, en el repositorio del Datadog Agent.

2. Agregue el script de inicialización a la lista de permitidos (requerido para clústeres en modo de acceso Estándar): Si su clúster utiliza el modo de acceso Estándar, debe agregar la ruta del script de inicialización a la lista de permitidos del Catálogo de Unidad. Siga las instrucciones en la documentación de Databricks para agregar la ruta de su script de inicialización a la lista de permitidos.

3. En la página de configuración del clúster, haga clic en el Advanced options interruptor.

4. En la parte inferior de la página, vaya a la pestaña Init Scripts.

   • En el menú desplegable Destination, seleccione Volume.
   • Bajo Init script path, ingrese la ruta del volumen a su script de inicialización.
   • Haga clic en Add.

Establezca los parámetros requeridos del script de inicialización

1. En Databricks, en la página de configuración del clúster, haga clic en el Advanced options interruptor.

2. En la parte inferior de la página, vaya a la pestaña Spark.

   En el Environment variables cuadro de texto, proporcione los valores para los parámetros del script de inicialización.

   DD_API_KEY=<YOUR API KEY>
   DD_SITE=<YOUR DATADOG SITE>
   DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"
   

   Opcionalmente, también puede establecer otros parámetros del script de inicialización y variables de entorno de Datadog aquí, como DD_ENV y DD_SERVICE. El script se puede configurar utilizando los siguientes parámetros:

3. Haga clic en Confirm.