Conectividad de Private Link
El hacer un seguimiento de Databricks a través de Private Link Connectivity se encuentra en versión preliminar.
Los espacios de trabajo de Databricks implementados mediante Private Link Connectivity están aislados de la internet pública, lo que impide que Datadog acceda directamente a las API de Databricks. Para hacer un seguimiento de estos espacios de trabajo, implemente un Private Action Runner (PAR) en su entorno. El runner consulta a Datadog para obtener solicitudes, las ejecuta localmente contra la API de Databricks y envía los resultados de vuelta a través de su punto de conexión Datadog VPC existente.
Arquitectura
El seguimiento de Private Link se basa en la arquitectura de sondeo del Private Action Runner. Datadog proporciona una versión personalizada de la imagen del Private Action Runner que incluye un script para consultar la API de Databricks.
El flujo de solicitudes funciona de la siguiente manera:
- El Private Action Runner se comunica con el backend de Datadog (ya sea a través de la internet pública o utilizando Private Link) para consultar solicitudes pendientes. Si se encuentra una solicitud, los detalles se devuelven al runner.
- Las credenciales de Databricks (ID de cliente y secreto) se recuperan del almacenamiento de secretos. Se genera un token para la sesión llamando a la API de Databricks desde el runner utilizando esas credenciales.
- El runner ejecuta la consulta obtenida contra la API de Databricks. Los resultados se devuelven al runner.
- El runner reenvía los resultados al backend de Datadog para su procesamiento.
Toda la autenticación ante Datadog es gestionada por el Private Action Runner subyacente. Durante la instalación, se configura una lista de permitidos local en el runner para restringir las acciones que se pueden realizar solo a aquellas que sean necesarias. También puede configurar controles de acceso dentro de Datadog para administrar qué usuarios y equipos pueden usar el runner. Consulte Administrar el acceso a Private Action Runners para obtener más información.
Instalación
Paso 1: Requisitos previos de Datadog
- Establezca la conectividad con los puntos de conexión de Datadog API desde dentro de la VPC, utilizando uno de los siguientes métodos:
- Salida a la internet pública (a través de una puerta de enlace NAT u otro)
- Salida a Datadog a través de puntos de conexión o servicios de VPC de Private Link:
- Cree una cuenta de servicio de Datadog:
- Vaya a la página Cuentas de servicio.
- Haga clic en Nueva cuenta de servicio.
- Ingrese un nombre y una dirección de correo electrónico para su cuenta de servicio.
- En Assign Roles, seleccione el Datadog Standard Role. Alternativamente, seleccione un rol personalizado que tenga el permiso
Connections Resolve. - Haga clic en Crear cuenta de servicio.
- Asegúrese de que Remote Configuration esté habilitada para su cuenta de Datadog.
Paso 2: Requisitos previos de Databricks
- Cree una entidad de servicio de Databricks (documentación de Databricks):
- Como administrador del área de trabajo, inicie sesión en el área de trabajo de Databricks.
- Haga clic en su nombre de usuario en la barra superior y seleccione Settings.
- Haga clic en la pestaña Identity and access.
- Junto a Service principals, haga clic en Manage.
- Haga clic en Add service principal, luego haga clic en Add new e ingrese un nombre.
- Alternativamente, para reutilizar un principal de servicio de otra área de trabajo, seleccione un principal de servicio existente y omita el siguiente paso.
- Haga clic en Agregar.
- Genere secretos para el principal de servicio de Databricks (documentación de Databricks):
- Seleccione el principal de servicio creado anteriormente.
- Haga clic en la pestaña Secrets, luego haga clic en Generate secret.
- Establezca la duración del secreto en días (máximo 730 días).
- Haga clic en Generate.
- Haga que las credenciales de Databricks estén disponibles para el runner utilizando uno de los siguientes métodos:
- Almacenamiento de secretos en la nube (AWS Secrets Manager, AWS Parameter Store, Azure Key Vault o Google Cloud Secret Manager): almacene las credenciales como un blob JSON:
{"client_id": "<CLIENT_ID>", "client_secret": "<CLIENT_SECRET>"}
Make note of the secret path (AWS ARN, AKV URL, or Google Cloud resource name). You enter this in the integration tile or set it as the DATABRICKS_SECRET_PATH environment variable on the runner container or pod. - Environment variables: Set
DATABRICKS_CLIENT_ID and DATABRICKS_CLIENT_SECRET directly on the runner container or pod. When using this method, leave the Secret Path field blank in the integration tile.
- Aprovisione el acceso al área de trabajo y los derechos para la entidad de servicio. Consulte Permissions para obtener todos los detalles.
- Otorgue al principal de servicio los privilegios de Workspace Admin. Esto permite a Datadog administrar las instalaciones y actualizaciones de scripts de inicio automáticamente. Alternativamente, asigne granular permissions para monitorear trabajos, clústeres y consultas.
- Haga clic en la pestaña Identity and access.
- Junto a Groups, haga clic en Manage.
- Seleccione el grupo admins.
- Haga clic en Add members y seleccione el principal de servicio agregado anteriormente.
- Haga clic en Agregar.
- Para acceder a los datos de costos de Databricks o monitorear trabajos serverless, otorgue al principal de servicio
CAN USE en el SQL Warehouse y acceso de lectura a system tables en Unity Catalog. Consulte Permissions para obtener más detalles. - Para monitorear trabajos serverless, o para usar el monitoreo de SQL warehouse y consultas, agregue el principal de servicio al grupo de nivel de cuenta
databricks_pii_access. Databricks enmascara el texto de las consultas SQL para los principales fuera de este grupo. Consulte Query text access para obtener más detalles.
- Registre una aplicación de Microsoft Entra ID para el principal de servicio (documentación de Microsoft Entra):
- Inicie sesión en el centro de administración de Microsoft Entra al menos como Administrador de aplicaciones en la nube.
- Vaya a Entra ID > App registrations, luego haga clic en New registration.
- Ingrese un nombre y haga clic en Register.
- En la página Información general de la aplicación, anote el ID de aplicación (cliente) y el ID de directorio (inquilino).
- Genere un secreto de cliente para la aplicación (documentación de Microsoft Entra):
- En la página de la aplicación, haga clic en Certificados y secretos.
- Haga clic en la pestaña Client secrets, luego haga clic en New client secret.
- Ingrese una descripción y una duración, luego haga clic en Agregar.
- Copie el valor del secreto generado. Solo se muestra una vez.
- Haga que las credenciales de Databricks estén disponibles para el runner utilizando uno de los siguientes métodos:
- Almacenamiento de secretos en la nube (AWS Secrets Manager, AWS Parameter Store o Azure Key Vault): Almacene las credenciales como un blob JSON:
{"client_id": "<CLIENT_ID>", "client_secret": "<CLIENT_SECRET>", "tenant_id": "<TENANT_ID>"}
Make note of the secret path (AWS ARN or AKV URL). You enter this in the integration tile or set it as the DATABRICKS_SECRET_PATH environment variable on the runner container or pod. - Environment variables: Set
DATABRICKS_CLIENT_ID, DATABRICKS_CLIENT_SECRET, and DATABRICKS_AZURE_TENANT_ID directly on the runner container or pod. When using this method, leave the Secret Path field blank in the integration tile.
- Agregue la aplicación a Databricks como una entidad de servicio administrada de Microsoft Entra ID (documentación de Databricks):
- Como administrador del área de trabajo, inicie sesión en el área de trabajo de Databricks.
- Haga clic en su nombre de usuario en la barra superior y seleccione Settings.
- Haga clic en la pestaña Identity and access.
- Junto a Service principals, haga clic en Manage.
- Haga clic en Agregar entidad de servicio, luego haga clic en Agregar nuevo.
- Seleccione Administrado por Microsoft Entra ID, luego pegue el ID de aplicación (cliente) anotado anteriormente.
- Ingrese un nombre y haga clic en Agregar.
- Aprovisione el acceso al área de trabajo y los derechos para la entidad de servicio. Consulte Permissions para obtener todos los detalles.
- Otorgue al principal de servicio los privilegios de Workspace Admin. Esto permite a Datadog administrar las instalaciones y actualizaciones de scripts de inicio automáticamente. Alternativamente, asigne granular permissions para monitorear trabajos, clústeres y consultas.
- Haga clic en la pestaña Identity and access.
- Junto a Groups, haga clic en Manage.
- Seleccione el grupo admins.
- Haga clic en Add members y seleccione el principal de servicio agregado anteriormente.
- Haga clic en Agregar.
- Para acceder a los datos de costos de Databricks o monitorear trabajos serverless, otorgue al principal de servicio
CAN USE en el SQL Warehouse y acceso de lectura a system tables en Unity Catalog. Consulte Permissions para obtener más detalles. - Para monitorear trabajos serverless, o para usar el monitoreo de SQL warehouse y consultas, agregue el principal de servicio al grupo de nivel de cuenta
databricks_pii_access. Databricks enmascara el texto de las consultas SQL para los principales fuera de este grupo. Consulte Query text access para obtener más detalles.
Paso 3: Configure el Private Action Runner
Configure su Private Action Runner usando una de las siguientes opciones.
- Instale el Private Action Runner en su clúster de Kubernetes (documentación adicional, gráfico de Helm):
- Vaya a la página de configuración de Private Action Runner.
- Seleccione la opción Script, luego haga clic en Siguiente.
- Siga las instrucciones en Kubernetes.
- El Private Action Runner debería aparecer en la parte inferior como “instalado correctamente”.
- Actualice el
values.yaml existente (haciendo referencia a los valores del gráfico de Helm):- Establecer
image.repository en gcr.io/datadoghq/dd-data-observability-par. - Establecer
image.tag en 1.21.0-3.
- Configure las credenciales en el Private Action Runner usando uno de los siguientes métodos:
- Establezca las variables de entorno
DATABRICKS_CLIENT_ID y DATABRICKS_CLIENT_SECRET directamente en el runner. Si utiliza una entidad de servicio administrada de Microsoft Entra ID, establezca también DATABRICKS_AZURE_TENANT_ID. Deje en blanco la “Ruta del secreto” (Secret Path) en el mosaico de integración. - Utilice el almacenamiento de secretos en la nube. Asegúrese de que se asigne una identidad al pod (Azure Workload Identity, AWS IAM Role o GKE Workload Identity) con permisos para leer el secreto creado en el Paso 2, y proporcione la ruta al secreto ya sea a través de la variable de entorno
DATABRICKS_SECRET_PATH, o proporcionándola en el campo “Ruta del secreto” (Secret Path) en el mosaico de integración.
- Reinicie el despliegue para que estos cambios surtan efecto.
Instale el Private Action Runner usando Docker (documentación adicional):
Vaya a la página de configuración del Private Action Runner.
Seleccione la opción Script, luego haga clic en Siguiente.
Siga las instrucciones en Docker.
Importante: Reemplace gcr.io/datadoghq/private-action-runner:v1.21.0-large con gcr.io/datadoghq/dd-data-observability-par:1.21.0-3.
El Private Action Runner debería aparecer en la parte inferior como “instalado correctamente”.
Configure las credenciales en el Private Action Runner usando uno de los siguientes métodos:
- Establezca las variables de entorno
DATABRICKS_CLIENT_ID y DATABRICKS_CLIENT_SECRET directamente en el runner. Si utiliza una entidad de servicio administrada de Microsoft Entra ID, establezca también DATABRICKS_AZURE_TENANT_ID. Deje en blanco la “Ruta del secreto” (Secret Path) en el mosaico de integración. - Utilice el almacenamiento de secretos en la nube. Asegúrese de que se asigne una identidad a la instancia (Azure Managed Identity, AWS IAM Role o GCE cuenta de servicio) con permisos para leer el secreto creado en el Paso 2, y proporcione la ruta al secreto ya sea a través de la variable de entorno
DATABRICKS_SECRET_PATH, o proporcionándola en el campo “Secret Path” en el mosaico de integración.
Reinicie el contenedor de Docker para que los cambios surtan efecto.
Nota: Hay otros espejos disponibles si gcr.io no está accesible:
docker.io/datadog/dd-data-observability-parpublic.ecr.aws/datadog/dd-data-observability-pardatadoghq.azurecr.io/dd-data-observability-parasia-docker.pkg.dev/datadoghq/asia.gcr.io/dd-data-observability-par
- Adjunte una conexión al Private Action Runner:
- Vaya a la página Private Action Runners.
- Seleccione el runner instalado.
- Seleccione Finalizar configuración.
- Seleccione Script.
- Establezca Ruta al archivo en
/etc/data-observability/config/script.yaml. - Seleccione Siguiente, confirmar acceso.
- Agregue la cuenta de servicio creada en el Paso 1 con acceso de Resolver. Este paso es obligatorio: el ejecutor utiliza esta cuenta de servicio para autenticar las solicitudes de Datadog, y la integración no puede funcionar sin ella.
- Seleccione Crear y probar. Verifique que los resultados de la prueba no devuelvan un error.
- Configure la integración de Databricks:
- Vaya al mosaico Integración de Databricks.
- En Credenciales, seleccione Private Action Runner.
- En Conexión, seleccione la conexión creada en el paso anterior.
- En Cuenta de servicio, seleccione la cuenta de servicio creada en el Paso 1.
- En Ruta del secreto, ingrese la ruta del secreto del Paso 2. Deje este campo en blanco si configuró las credenciales mediante las variables de entorno
DATABRICKS_CLIENT_ID y DATABRICKS_CLIENT_SECRET, o si configuró la ruta mediante la variable de entorno DATABRICKS_SECRET_PATH en el ejecutor.
- Complete el resto de la configuración de la integración como se describe en Configure the Datadog-Databricks integration:
- Ingrese el Nombre del área de trabajo, la URL del área de trabajo y el ID del almacén SQL de tablas del sistema.
- Habilite los productos que le interesan.
Nota: Model Serving detrás de Private Link no es compatible en este momento.
- Si habilitó Jobs Monitoring, implemente el script de inicio del Datadog Agent para hacer un seguimiento de trabajos y clústeres en cómputo clásico. Siga las instrucciones en Install the Datadog Agent para configurar el script de inicio, luego reinicie cualquier clúster en ejecución para que los cambios surtan efecto.
- Haga clic en Save Databricks Workspace.
- Verifique que no haya errores al guardar.
Validación
Después de completar la configuración, la información de los trabajos y clústeres debería aparecer en Data Observability: Jobs Monitoring en breve.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales: