Créer et configurer le principal de service dans Databricks

1. En tant qu’administrateur d’espace de travail Databricks, allez à Settings en cliquant sur votre profil dans le coin supérieur droit de l’espace de travail.

2. Dans l’onglet Identity and access, cliquez sur Manage à côté de Service principals.

3. Cliquez sur Add service principal, puis cliquez sur Add new.

4. Entrez un nom, puis cliquez sur Ajouter.

   Pour Azure Databricks, sélectionnez le type de gestion "Databricks managed". Datadog ne prend PAS en charge les principaux de service "Microsoft Entra ID managed".

5. Cliquez sur le nom de votre nouveau principal de service. Sous l’onglet Secrets, cliquez sur Generate secret.

   1. Définissez Lifetime (days) sur la valeur maximale autorisée (730).

   2. Cliquez sur Generate.

   3. Prenez note de votre ID client et de votre secret client.

6. Dans l’onglet Permissions, cliquez sur Grant access. Recherchez le nouveau principal de service, accordez-lui la permission Manage, puis cliquez sur Save.

7. Retournez à l’onglet Identity and access et cliquez sur Manage à côté de Groups.

8. Cliquez sur le groupe admins, puis cliquez sur Add members pour ajouter le nouveau principal de service.

Ajoutez l’espace de travail Databricks à Datadog

1. Dans Datadog, ouvrez la tuile d’intégration Databricks.

2. Dans l’onglet Configure, cliquez sur Add Databricks Workspace.

3. Entrez un nom d’espace de travail, l’URL de votre espace de travail Databricks, ainsi que l’ID client et le secret que vous avez générés.

4. Pour obtenir une visibilité sur vos coûts Databricks dans l’observabilité des données : Surveillance des travaux ou Gestion des Coûts Cloud, fournissez l’ID d’un Entrepôt SQL Databricks que Datadog peut utiliser pour interroger vos tables système.

   • Le principal de service doit avoir accès à l’Entrepôt SQL. Dans la page de configuration de l’Entrepôt, allez à Permissions (en haut à droite) et accordez-lui la permission CAN USE.
   • Accordez au principal de service un accès en lecture aux tables système du Catalogue Unity en exécutant les commandes suivantes :

   GRANT USE CATALOG ON CATALOG system TO <service_principal>;
   GRANT SELECT ON CATALOG system TO <service_principal>;
   GRANT USE SCHEMA ON CATALOG system TO <service_principal>;
   

   L’utilisateur qui accorde ces droits doit avoir le privilège MANAGE sur CATALOG system.

   • L’Entrepôt SQL Databricks doit être Pro ou Serverless. Les Entrepôts Classiques ne sont PAS pris en charge. Un entrepôt 2XS est recommandé, avec l’Arrêt Automatique réglé sur 5-10 minutes pour réduire les coûts.

5. Dans la section Sélectionnez les produits pour configurer l’intégration, assurez-vous que l’observabilité des données : Surveillance des travaux est Enabled.

6. Dans la section Datadog Agent Setup, choisissez soit

   • Géré par Datadog (recommandé) : Datadog installe et gère l’Agent avec un script d’initialisation global dans l’espace de travail.
   • Manuellement : Suivez les instructions ci-dessous pour installer et gérer le script d’initialisation pour installer l’Agent globalement ou sur des clusters Databricks spécifiques.

Si votre espace de travail Databricks est déployé en utilisant Connectivité par Lien Privé, Datadog ne peut pas accéder directement aux API Databricks. Cela nécessite l’utilisation d’un Exécuteur d’Action Privé déployé dans votre environnement.

Voir Connectivité par Lien Privé (Aperçu) pour des instructions complètes de configuration.

1. Dans votre espace de travail Databricks, cliquez sur votre profil dans le coin supérieur droit et allez à Settings. Sélectionnez Developer dans la barre latérale gauche. À côté de Access tokens, cliquez sur Manage.

2. Cliquez sur Generate new token, entrez “Intégration Datadog” dans le champ Comment, définissez la valeur Lifetime (days) au maximum autorisé (730 jours) et créez un rappel pour mettre à jour le jeton avant son expiration. Ensuite, cliquez sur Generate. Prenez note de votre jeton.

   Important

   • Pour l’installation du script d’initialisation géré par Datadog (recommandé)](?tab=datadogmanagedglobalinitscriptrecommended#install-the-datadog-agent), assurez-vous que le Principal du jeton est un Administrateur de l’espace de travail.
   • Pour l’installation manuelle du script d’initialisation, assurez-vous que le Principal du jeton a un accès CAN VIEW 9 pour les travaux et clusters Databricks que vous souhaitez surveiller.

   Alternativement, suivez la documentation officielle de Databricks pour générer un jeton d’accès pour un principal de service. Le principal de service doit avoir le droit d’accès Accès à l’espace de travail activé et les permissions Administrateur de l’espace de travail ou CAN VIEW 9 comme décrit ci-dessus.

3. Dans Datadog, ouvrez la tuile d’intégration Databricks.

4. Dans l’onglet Configure, cliquez sur Add Databricks Workspace.

5. Entrez un nom d’espace de travail, l’URL de votre espace de travail Databricks et le jeton Databricks que vous avez généré.

6. Pour obtenir une visibilité sur vos coûts Databricks dans l’observabilité des données : Surveillance des travaux ou Gestion des Coûts Cloud, fournissez l’ID d’un Entrepôt SQL Databricks que Datadog peut utiliser pour interroger vos tables système.

   • Le principal du jeton doit avoir accès à l’Entrepôt SQL Databricks. Donnez-lui CAN USE permission depuis Permissions en haut à droite de la page de configuration de l’entrepôt.
   • Accordez au principal de service un accès en lecture aux tables système du Catalogue Unity en exécutant les commandes suivantes :

   GRANT USE CATALOG ON CATALOG system TO <token_principal>;
   GRANT SELECT ON CATALOG system TO <token_principal>;
   GRANT USE SCHEMA ON CATALOG system TO <token_principal>;
   

   L’utilisateur qui accorde ces droits doit avoir le privilège MANAGE sur CATALOG system.

   • L’Entrepôt SQL doit être Pro ou Serverless. Les Entrepôts Classiques ne sont PAS pris en charge. Un entrepôt de taille 2XS est recommandé, avec un arrêt automatique configuré pour 5 à 10 minutes afin de minimiser les coûts.

7. Dans la section Sélectionnez les produits pour configurer l’intégration, assurez-vous que le produit Data Observability : Surveillance des travaux est Activé.

8. Dans la section Datadog Agent Setup, choisissez soit

   • Géré par Datadog (recommandé) : Datadog installe et gère l’Agent avec un script d’initialisation global dans l’espace de travail.
   • Manuellement : Suivez les instructions ci-dessous pour installer et gérer le script d’initialisation afin d’installer l’Agent globalement ou sur des clusters Databricks spécifiques.

Datadog peut installer et gérer un script d’initialisation global dans l’espace de travail Databricks. L’Agent Datadog est installé sur tous les clusters de l’espace de travail, lorsqu’ils démarrent.

Lors de l’intégration d’un espace de travail avec Datadog

1. Dans la section Sélectionner les produits pour configurer l’intégration, assurez-vous que le produit Data Observability : Surveillance des travaux est Activé.

2. Dans la section Datadog Agent Setup, sélectionnez le Managed by Datadog bouton bascule.

3. Cliquez Select API Key pour soit sélectionner une clé API Datadog existante, soit créer une nouvelle clé API Datadog.

4. (Optionnel) Désactivez Enable Log Collection si vous ne souhaitez pas collecter les journaux du pilote et des travailleurs pour les corréler avec les travaux.

5. Cliquez Save Databricks Workspace.

Lors de l’ajout du script d’initialisation à un espace de travail Databricks déjà intégré avec Datadog

1. Dans l’onglet Configurer, cliquez sur l’espace de travail dans la liste des espaces de travail

2. Cliquez sur l’onglet Configured Products

3. Assurez-vous que le produit Data Observability : Surveillance des travaux est Activé.

4. Dans la section Datadog Agent Setup, sélectionnez le bouton bascule Managed by Datadog.

5. Cliquez Select API Key pour sélectionner une clé API Datadog existante ou créer une nouvelle clé API Datadog.

6. (Optionnel) Désactivez Enable Log Collection si vous ne souhaitez pas collecter les journaux du pilote et des travailleurs pour les corréler avec les travaux.

7. Cliquez sur Enregistrer l’espace de travail Databricks en bas de la fenêtre du navigateur.

En option, vous pouvez ajouter des balises à votre cluster Databricks et aux métriques de performance Spark en configurant la variable d’environnement suivante dans la section Advanced Configuration de votre cluster dans l’interface utilisateur Databricks ou en tant que variables d’environnement Spark avec l’API Databricks :

Cette approche est recommandée pour les clusters en mode d’accès Standard.

Créez le script d’initialisation

1. Dans Databricks, créez un fichier de script d’initialisation dans un volume du catalogue d’unité avec le contenu suivant. Assurez-vous de noter le chemin du volume (par exemple, /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh).

   #!/bin/bash
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   The script above downloads and runs the latest init script for Data Observability: Jobs Monitoring in Databricks. If you want to pin your script to a specific version, you can replace the filename in the URL with install-databricks-0.14.0.sh to use version 0.14.0, for example. The source code used to generate this script, and the changes between script versions, can be found on the Datadog Agent repository.

2. Accordez des permissions en lecture seule au script d’initialisation :

   1. Au niveau du volume, accordez la permission READ VOLUME à tous les utilisateurs du compte.
   2. Au niveau du catalogue, accordez la permission USE CATALOG à tous les utilisateurs du compte.

3. Ajoutez le script d’initialisation à la liste blanche : Pour les clusters en mode d’accès Standard, vous devez ajouter le chemin du script d’initialisation à la liste blanche du catalogue d’unité. Suivez les instructions dans la documentation de Databricks pour ajouter le chemin de votre script d’initialisation à la liste blanche.

Configurez la politique de calcul

1. Dans Compute, accédez à l’onglet Policies. Si vous avez déjà une politique de cluster appliquée à vos clusters, accédez à cette politique existante pour la modifier. C’est l’approche la plus simple car la politique s’applique automatiquement à tous les clusters qui l’utilisent. Sinon, cliquez sur Create Policy pour créer une nouvelle politique.

2. Pour ajouter le script d’initialisation à la politique de cluster, dans la section Definition, cliquez sur Add Definition. Dans la fenêtre modale qui s’ouvre, remplissez les champs :

   1. Dans le menu déroulant Field, sélectionnez init_scripts.
   2. Dans le menu déroulant Source, sélectionnez Volume.
   3. Sous Destination, entrez le chemin du volume vers votre script d’initialisation.
   4. Cliquez sur Add.

3. Configurez les variables d’environnement. Vous devez ajouter chacune des variables d’environnement suivantes à la politique de cluster que vous avez créée :

   Clé	Description
   DD_API_KEY	Votre clé API Datadog.
   DD_SITE	Votre site Datadog.
   DATABRICKS_WORKSPACE	Nom de votre espace de travail Databricks. Il doit correspondre au nom fourni dans l’étape d’intégration Datadog-Databricks. Entourez le nom de guillemets doubles s’il contient des espaces.

   1. Pour chacune des variables ci-dessus, dans la Definition section, cliquez sur Add Definition. Dans la fenêtre modale qui s’ouvre, remplissez les champs :
      1. Dans le menu déroulant Field, sélectionnez spark_env_vars.
      2. Dans le champ Key, entrez la clé de la variable d’environnement.
      3. Dans le champ Value, entrez la valeur de la variable d’environnement.
      4. Sous le menu déroulant Type, sélectionnez Fixed.
      5. Cochez la case Hidden pour réduire l’exposition des valeurs sensibles.
   2. Optionnellement, définissez d’autres paramètres de script d’initialisation et variables d’environnement Datadog, tels que DD_ENV et DD_SERVICE. Vous pouvez configurer le script en utilisant les paramètres suivants :

      Variable	Description	Par défaut
      DRIVER_LOGS_ENABLED	Collecter les journaux du pilote spark dans Datadog.	faux
      WORKER_LOGS_ENABLED	Collecter les journaux des travailleurs spark dans Datadog.	faux
      DD_TAGS	Ajouter des balises au cluster Databricks et aux métriques de performance Spark, en utilisant des paires clé:valeur séparées par des virgules ou des espaces. Suivez les conventions de balisage Datadog. Exemple : env:staging,team:data_engineering
      DD_ENV	Définissez la balise d’environnement env sur les métriques, les traces et les journaux de ce cluster.
      DD_LOGS_CONFIG_PROCESSING_RULES	Filtrez les journaux collectés avec des règles de traitement. Consultez Collection avancée de journaux pour plus de détails.

4. Cliquez Create si vous créez une nouvelle politique ou Save si vous mettez à jour une politique existante. Si vous mettez à jour une politique existante, tous les clusters utilisant cette politique appliquent automatiquement les modifications lors de leur prochain redémarrage. Si vous créez une nouvelle politique, suivez les étapes ci-dessous pour l’appliquer à vos clusters.

Appliquez la politique de cluster aux clusters

1. Dans Compute, sélectionnez le cluster que vous souhaitez mettre à jour ou cliquez sur Create Compute pour un nouveau cluster.
2. Dans le menu déroulant Policy en haut, sélectionnez la politique que vous avez créée.
3. Cliquez Confirm pour enregistrer les modifications. Le cluster doit être redémarré pour que la politique prenne effet.

1. Dans Databricks, cliquez sur votre nom d’affichage (adresse e-mail) dans le coin supérieur droit de la page.

2. Sélectionnez Settings et cliquez sur l’onglet Compute.

3. Dans la section All purpose clusters, à côté de Global init scripts, cliquez sur Manage.

4. Cliquez sur Add. Nommez votre script. Ensuite, dans le champ Script, copiez et collez le script suivant, en n’oubliant pas de remplacer les espaces réservés par vos valeurs de paramètres.

   #!/bin/bash
   
   # Required parameters
   export DD_API_KEY=<YOUR API KEY>
   export DD_SITE=<YOUR DATADOG SITE>
   export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   Le script ci-dessus définit les paramètres requis, télécharge et exécute le dernier init script for Data Observability: Jobs Monitoring in Databricks. Si vous souhaitez épingler votre script à une version spécifique, vous pouvez remplacer le nom de fichier dans l’URL par install-databricks-0.14.0.sh pour utiliser la version 0.14.0, par exemple. Le code source utilisé pour générer ce script, ainsi que les modifications entre les versions du script, peuvent être trouvés dans le dépôt de l’Agent Datadog.

5. Pour activer le script pour tous les nouveaux clusters et ceux redémarrés, activez Enabled.

6. Cliquez sur Add.

Définissez les paramètres requis du script d’initialisation

Fournissez les valeurs pour les paramètres du script d’initialisation au début du script d’initialisation global.

export DD_API_KEY=<YOUR API KEY>
export DD_SITE=<YOUR DATADOG SITE>
export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"

En option, vous pouvez également définir d’autres paramètres de script d’initialisation et des variables d’environnement Datadog ici, telles que DD_ENV et DD_SERVICE. Le script peut être configuré à l’aide des paramètres suivants :

1. Dans Databricks, créez un fichier de script d’initialisation dans un volume Unity Catalog avec le contenu suivant. Assurez-vous de noter le chemin du volume (par exemple, /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh).

   #!/bin/bash
   
   # Download and run the latest init script
   curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
   bash djm-install-script || true
   

   Le script ci-dessus télécharge et exécute le dernier init script for Data Observability: Jobs Monitoring in Databricks. Si vous souhaitez épingler votre script à une version spécifique, vous pouvez remplacer le nom de fichier dans l’URL (par exemple, install-databricks-0.14.0.sh pour utiliser la version 0.14.0). Vous pouvez trouver le code source utilisé pour générer ce script, ainsi que les changements entre les versions du script, sur le Datadog Agent repository.

2. Ajoutez le script d’initialisation à la liste blanche (nécessaire pour les clusters en mode d’accès Standard) : Si votre cluster utilise le mode d’accès Standard, vous devez ajouter le chemin du script d’initialisation à la liste blanche de Unity Catalog. Suivez les instructions dans la Databricks documentation pour ajouter le chemin de votre script d’initialisation à la liste blanche.

3. Sur la page de configuration du cluster, cliquez sur le Advanced options toggle.

4. En bas de la page, allez à l’onglet Init Scripts.

   • Sous le menu déroulant Destination, sélectionnez Volume.
   • Sous Init script path, entrez le chemin du volume vers votre script d’initialisation.
   • Cliquez sur Add.

Définissez les paramètres requis du script d’initialisation

1. Dans Databricks, sur la page de configuration du cluster, cliquez sur le Advanced options toggle.

2. En bas de la page, allez à l’onglet Spark.

   Dans la zone de texte Environment variables, fournissez les valeurs pour les paramètres du script d’initialisation.

   DD_API_KEY=<YOUR API KEY>
   DD_SITE=<YOUR DATADOG SITE>
   DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"
   

   En option, vous pouvez également définir d’autres paramètres de script d’initialisation et des variables d’environnement Datadog ici, telles que DD_ENV et DD_SERVICE. Le script peut être configuré à l’aide des paramètres suivants :

3. Cliquez sur Confirm.