Une surveillance au niveau de l’organisation (ou du dossier) est recommandée pour assurer une couverture complète de tous les projets, y compris les projets futurs qui pourraient être créés dans l’organisation ou le dossier.

Remarque : votre compte utilisateur Google Cloud Identity doit disposer du rôle Admin assigné à la portée souhaitée (par exemple, Organization Admin) pour effectuer la configuration dans Google Cloud.

1. Créer un compte de service Google Cloud dans le projet par défaut

1. Ouvrez votre console Google Cloud.
2. Accédez à IAM & Admin > Service Accounts.
3. Cliquez sur Create service account en haut de la page.
4. Saisissez un nom unique pour le compte de service.
5. Cliquez sur Done pour finaliser la création du compte de service.

2. Ajouter le compte de service au niveau de l'organisation ou d'un dossier

1. Dans la console Google Cloud, accédez à la page IAM.
2. Sélectionnez un dossier ou une organisation.
3. Pour attribuer un rôle à un service principal qui ne possède pas encore de rôle pour la ressource, cliquez sur Grant Access, puis saisissez l’adresse e-mail du compte de service créé précédemment.
4. Saisissez l’adresse e-mail du compte de service.
5. Attribuez les rôles suivants :

• Compute Viewer : fournit un accès en lecture seule pour obtenir et lister les ressources Compute Engine
• Monitoring Viewer : fournit un accès en lecture seule aux données de monitoring disponibles dans votre environnement Google Cloud
• Cloud Asset Viewer : fournit un accès en lecture seule aux métadonnées des ressources cloud
• Browser : fournit un accès en lecture seule à la hiérarchie d’un projet
• Service Usage Consumer (optionnel, pour les environnements multi-projets) : fournit l’attribution des coûts et quotas d’API par projet après activation par l’assistance Datadog

6. Cliquez sur Save.

Remarque : le rôle Browser est requis uniquement dans le projet par défaut du compte de service. Les autres projets nécessitent uniquement les autres rôles listés.

3. Ajouter le principal Datadog à votre compte de service

Remarque : si vous avez précédemment configuré l’accès à l’aide d’un principal Datadog partagé, vous pouvez révoquer cette autorisation une fois les étapes suivantes terminées.

1. Dans Datadog, accédez à Integrations > Google Cloud Platform.
2. Cliquez sur Add Google Cloud Account. Si aucun projet n’est encore configuré, vous serez automatiquement redirigé vers cette page.
3. Copiez votre service principal Datadog et conservez-le pour la prochaine section.

Remarque : gardez cette fenêtre ouverte pour la section 4.

4. Dans la console Google Cloud, dans le menu Service Accounts, recherchez le compte de service que vous avez créé à l’étape 1. 
5. Allez dans l’onglet Permissions et cliquez sur Grant Access.

6. Collez votre service principal Datadog dans la zone New Principals.
7. Attribuez le rôle Service Account Token Creator.
8. Cliquez sur Save.

4. Finaliser la configuration de l'intégration dans Datadog

1. Dans la console Google Cloud, accédez à l’onglet Details du Service Account. Sur cette page, trouvez l’adresse email associée à ce compte de service Google. Elle suit le format <SA_NAME>@<PROJECT_ID>.iam.gserviceaccount.com.
2. Copiez cette adresse e-mail.
3. Revenez sur le carré de configuration de l’intégration dans Datadog (là où vous avez copié le principal Datadog lors de la section précédente).
4. Collez l’adresse email copiée dans le champ Add Service Account Email.
5. Cliquez sur Verify and Save Account.

Les métriques apparaissent dans Datadog environ 15 minutes après la configuration.

Bonnes pratiques pour la surveillance de plusieurs projets

Activer l’attribution des coûts et quotas d’API par projet

Par défaut, Google Cloud attribue les coûts liés aux appels d’API de monitoring ainsi que l’utilisation des quotas d’API au projet contenant le compte de service utilisé pour cette intégration. Dans les environnements Google Cloud comportant plusieurs projets, il est recommandé d’activer l’attribution des coûts et des quotas par projet. Lorsque cette option est activée, les coûts et l’utilisation des quotas sont attribués au projet interrogé, plutôt qu’au projet contenant le compte de service. Cela permet d’obtenir une meilleure visibilité sur les coûts de monitoring générés par chaque projet, tout en contribuant à éviter d’atteindre les limites de quotas d’API.

Pour activer cette fonctionnalité :

1. Assurez-vous que le compte de service Datadog dispose du rôle Service Usage Consumer à la portée souhaitée (dossier ou organisation).
2. Cliquez sur le bouton Enable Per Project Quota dans l’onglet Projects de la page d’intégration Google Cloud.

Transférez les logs de vos services Google Cloud vers Datadog en utilisant Google Cloud Dataflow et le modèle Datadog. Cette méthode permet la compression et le regroupement des événements avant leur envoi vers Datadog.

Vous pouvez utiliser le module terraform-gcp-datadog-integration pour gérer cette infrastructure via Terraform, ou suivre les étapes ci-dessous pour :

1. Créer un sujet Pub/Sub et un abonnement pull pour recevoir les logs depuis un récepteur de logs configuré
2. Créer un compte de service personnalisé pour Dataflow afin d’appliquer le principe du moindre privilège à vos workers Dataflow
3. Créer un récepteur de logs pour publier les logs sur la rubrique Pub/Sub
4. Créer un job Dataflow à l’aide du modèle Datadog pour diffuser les logs depuis l’abonnement Pub/Sub vers Datadog

Vous gardez un contrôle total sur les logs envoyés à Datadog grâce aux filtres que vous définissez dans le récepteur de logs, y compris pour les logs GCE et GKE. Consultez la page Langage de requête Logging de Google pour écrire vos filtres. Pour un aperçu complet de l’architecture mise en place, consultez Stream logs from Google Cloud to Datadog (en anglais) dans le Cloud Architecture Center.

Remarque : vous devez activer l’API Dataflow pour utiliser Google Cloud Dataflow. Consultez la rubrique Activer des API dans la documentation Google Cloud pour plus d’informations.

Pour collecter les logs d’applications exécutées sur GCE ou GKE, vous pouvez également utiliser l’Agent Datadog.

1. Créer un sujet et un abonnement Cloud Pub/Sub

1. Accédez à la console Cloud Pub/Sub et créez un nouveau sujet. Sélectionnez l’option Add a default subscription pour simplifier la configuration.

   Remarque : vous pouvez également configurer manuellement un abonnement Cloud Pub/Sub avec le type de livraison Pull. Si vous créez manuellement votre abonnement Pub/Sub, laissez la case Enable dead lettering non cochée. Pour plus de détails, consultez la section Fonctionnalités Pub/Sub non compatibles.

2. Donnez un nom clair à ce sujet, comme export-logs-to-datadog, et cliquez sur Create.

3. Créez un autre sujet et un autre abonnement par défaut pour gérer tous les messages de log rejetés par lʼAPI Datadog. Le nom de ce sujet est utilisé dans le modèle Dataflow Datadog, où il fait partie de la configuration du chemin pour le paramètre de modèle outputDeadletterTopic. Une fois que vous avez inspecté et corrigé tous les problèmes des messages d’échec, renvoyez-les au sujet export-logs-to-datadog d’origine en exécutant une tâche Modèle Pub/Sub vers Pub/Sub.

4. Datadog recommande de créer un secret dans Secret Manager avec la valeur de votre clé d’API Datadog valide, afin de l’utiliser plus tard dans le modèle Dataflow Datadog.

Avertissement : les Cloud Pub/Sub sont inclus dans les quotas et limites de Google Cloud. Si votre nombre de logs dépasse ces limites, Datadog vous conseille de les répartir sur plusieurs sujets. Consultez la rubrique Surveiller la redirection de logs Pub/Sub pour découvrir comment configurer des notifications de monitor si vous vous approchez de ces limites.

2. Créer un compte de service de worker Dataflow personnalisé

Par défaut, les workers de pipeline Dataflow utilisent le compte de service Compute Engine par défaut de votre projet, qui accorde des autorisations pour toutes les ressources du projet. Si vous transmettez des logs d’un environnement Production, il est conseillé de privilégier la création d’un compte de service de worker personnalisé n’incluant que les rôles et les autorisations nécessaires, et d’attribuer ce compte de service à vos workers de pipeline Dataflow.

1. Accédez à la page Service Accounts de la console Google Cloud et sélectionnez votre projet.
2. Cliquez sur CREATE SERVICE ACCOUNT et attribuez un nom descriptif au compte de service. Cliquez sur CREATE AND CONTINUE.
3. Ajoutez les rôles dans le tableau des autorisations correspondant et cliquez sur DONE.

Autorisations requises

Administrateur Dataflow

roles/dataflow.admin
Permet au compte de service d’effectuer des tâches administratives Dataflow.

Nœud de calcul Dataflow

roles/dataflow.worker
Permet au compte de service d’effectuer des opérations de job Dataflow.

Lecteur Pub/Sub

roles/pubsub.viewer
Permet au compte de service de consulter les messages de l’abonnement Pub/Sub avec vos logs Google Cloud.

Abonné Pub/Sub

roles/pubsub.subscriber
Permet au compte de service de consommer les messages de l’abonnement Pub/Sub avec vos logs Google Cloud.

Éditeur Pub/Sub

roles/pubsub.publisher
Permet au compte de service de publier les messages ayant échoué dans un abonnement distinct, ce qui permet d’analyser ou de renvoyer les logs.

Accesseur de secrets Secret Manager

roles/secretmanager.secretAccessor
Permet au compte de service d’accéder à la clé d’API Datadog dans Secret Manager.

Administrateur des objets Storage

roles/storage.objectAdmin
permet au compte de service de lire et d’écrire sur le compartiment Cloud Storage indiqué pour les fichiers en staging.

Remarque : si vous ne créez par de compte de service pour les workers de pipeline Dataflow, assurez-vous que le compte de service Compute Engine par défaut possède les autorisations requises ci-dessus.

3. Exporter des logs depuis le sujet Pub/Sub Google Cloud

1. Accédez à la page Log Explorer dans la console Google Cloud.

2. Depuis lʼonglet Log Router, sélectionnez Create Sink.

3. Nommez le récepteur.

4. Choisissez Cloud Pub/Sub comme destination et sélectionnez le sujet Cloud Pub/Sub créé à cette fin. Remarque : le sujet Cloud Pub/Sub peut se situer dans un autre projet.

5. Choisissez les logs que vous souhaitez inclure dans le récepteur avec un filtre d’inclusion ou d’exclusion facultatif. Vous pouvez filtrer les logs avec une requête de recherche, ou utiliser l’exemple de fonction. Par exemple, si vous souhaitez inclure seulement 10 % des logs avec ERROR comme niveau de severity, créez un filtre d’inclusion avec severity="ERROR" AND sample(insertId, 0.1).

6. Cliquez sur Create Sink.

Remarque : il est possible de créer plusieurs exportations depuis Google Cloud Logging vers le même sujet Cloud Pub/Sub en utilisant plusieurs récepteurs.

4. Créer et exécuter la tâche Dataflow

1. Accédez à la page de création d’une tâche à partir d’un modèle dans la console Google Cloud.

2. Donnez un nom à la tâche et sélectionnez un endpoint régional Dataflow.

3. Sélectionnez Pub/Sub to Datadog dans la liste déroulante Dataflow template, et la section Required parameters apparaît. a. Sélectionnez l’abonnement en entrée dans la liste déroulante Pub/Sub input subscription. b. Saisissez les informations suivantes dans le champ Datadog logs API URL :

   https://

   Remarque : assurez-vous que le sélecteur de site Datadog à droite de la page est défini sur votre site Datadog avant de copier l’URL ci-dessus.

   c. Sélectionnez le sujet créé pour recevoir les échecs de messages dans la liste déroulante Output deadletter Pub/Sub topic. d. Indiquez un chemin d’accès pour les fichiers temporaires dans votre compartiment de stockage dans le champ Temporary location.

4. Sous Optional Parameters, cochez Include full Pub/Sub message in the payload.

5. Si vous avez créé un secret dans Secret Manager avec la valeur de votre clé d’API Datadog comme indiqué dans étape 1), entrez le nom de la ressource du secret dans le champ Google Cloud Secret Manager ID.

Consultez la rubrique Paramètres de modèle dans le modèle Dataflow pour en savoir plus sur l’utilisation des autres options disponibles :

• apiKeySource=KMS avec apiKeyKMSEncryptionKey défini sur l’ID de votre clé Cloud KMS et apiKey défini sur la clé d’API chiffrée
• Non conseillé : apiKeySource=PLAINTEXT avec apiKey défini sur la clé dʼAPI en texte brut

6. Si vous avez créé un compte service de worker personnalisé, sélectionnez-le dans le menu déroulant Service account email.

7. Cliquez sur RUN JOB.

Remarque : si vous possédez un VPC partagé, consultez la page Spécifier un réseau et un sous-réseau de la documentation Dataflow pour obtenir des instructions sur la spécification des paramètres Network et Subnetwork.

Validation

Les nouveaux événements de log envoyés au sujet Cloud Pub/Sub apparaissent dans le Log Explorer de Datadog.

Remarque : vous pouvez utiliser le simulateur de coût de Google Cloud pour calculer les coûts potentiels.

Surveiller la redirection des logs Cloud Pub/Sub

Lʼintégration Google Cloud Pub/Sub fournit des métriques utiles pour surveiller l’état de la redirection des logs :

• gcp.pubsub.subscription.num_undelivered_messages pour le nombre de messages en attente de livraison
• gcp.pubsub.subscription.oldest_unacked_message_age pour l’âge du plus ancien message non acquitté dans un abonnement

Utilisez les métriques ci-dessus avec un [monitor de métrique][72] pour recevoir des alertes pour les messages dans vos abonnements d’entrée et de lettres mortes.

Surveiller le pipeline Dataflow

Utilisez lʼintégration Google Cloud Dataflow de Datadog pour surveiller tous les aspects de vos pipelines Dataflow. Vous pouvez voir toutes vos métriques Dataflow principales sur le dashboard prêt à l’emploi, doté de données contextuelles telles que des informations sur les instances GCE qui exécutent vos workloads Dataflow, et votre débit Pub/Sub.

Vous pouvez également utiliser un monitor recommandé préconfiguré pour configurer des notifications pour les augmentations du temps de backlog dans votre pipeline. Pour en savoir plus, lisez la section Monitor your Dataflow pipelines with Datadog (en anglais) dans le blog de Datadog.

La collecte des logs Google Cloud à l’aide d’un abonnement Push Pub/Sub est en cours de dépréciation.

La documentation ci-dessus relative à l’abonnement Push n’est maintenue que pour le dépannage ou la modification d’anciennes configurations.

Utilisez un abonnement Pull avec le modèle Dataflow de Datadog, comme décrit dans la méthode Dataflow, pour transférer vos logs Google Cloud vers Datadog.