Bien démarrer avec Google Cloud
Présentation
Utilisez ce guide pour commencer à surveiller votre environnement Google Cloud. Cette approche simplifie la configuration pour les environnements Google Cloud avec plusieurs projets, vous permettant de maximiser votre couverture de surveillance.
Comment les données Google Cloud atteignent Datadog
The Google Cloud integration provides two independent collection paths. Each is configured separately. Set up the ones you need.
Metrics: Datadog pulls metrics from the Google Cloud Monitoring API after the integration is configured. The integration ingests metrics from the Google Cloud metric catalog. Start with Metric collection.
Logs: Cloud Logging sends logs through Cloud Pub/Sub and Cloud Dataflow to Datadog Log Management. Log collection runs as a separate pipeline from metrics. Start with the Google Cloud log forwarding guide. For details on the log forwarding architecture, see Stream cloud logs to Datadog in the Google Cloud Architecture Center.
Configuration
Prérequis
- Créez un compte Datadog
- Configurez un compte de service dans l’un de vos projets Google Cloud
- Examinez ces prérequis Google Cloud :
● Si votre organisation restreint les identités par domaine, vous devez ajouter l’identité client de Datadog C0147pk0i comme valeur autorisée dans votre politique.
● L’intégration Google Cloud nécessite que les API ci-dessous soient activées pour chacun des projets que vous souhaitez surveiller :
Assurez-vous que les projets surveillés ne sont pas configurés comme
projets de périmètre qui extraient des métriques de plusieurs autres projets.
- Cloud Monitoring API
- Permet à Datadog d’interroger vos données de métriques Google Cloud.
- Compute Engine API
- Permet à Datadog de découvrir les données des instances de calcul.
- Cloud Asset API
- Permet à Datadog de demander des ressources Google Cloud et de lier les étiquettes pertinentes aux métriques en tant que tags.
- Cloud Resource Manager API
- Permet à Datadog d’ajouter les ressources et les tags corrects aux métriques.
- IAM API
- Permet à Datadog de s’authentifier auprès de Google Cloud.
- Cloud Billing API
- Permet aux développeurs de gérer la facturation de leurs projets Google Cloud Platform par programmation. Consultez la section Cloud Cost Management (CCM) pour plus d’informations.
Collecte de métriques
Datadog supports two collection approaches for metrics and resources:
- Automatic project discovery (recommended): Assign IAM roles at the organization or folder level. Datadog automatically discovers and monitors all current and future projects in scope. Requires the corresponding Admin role at the chosen scope.
- Manual per-project setup: Assign IAM roles to specific projects. Use this approach when org- or folder-level admin access is not available, or to limit Datadog’s monitoring scope.
Si votre organisation Google Cloud utilise
VPC Service Controls, vous devez explicitement autoriser les comptes de service Datadog à accéder aux ressources protégées. Si ces comptes de service ne sont pas autorisés au sein de votre périmètre de service, la collecte des métriques, des ressources et des métadonnées peut échouer. Contactez le
support Datadog pour obtenir les identifiants de compte de service pour votre site ou votre région.
La surveillance au niveau de l’organisation est recommandée pour une couverture complète de tous les projets, y compris les futurs projets qui pourraient être créés dans une organisation.
Remarque : Votre compte utilisateur Google Cloud Identity doit disposer du rôle Admin attribué au périmètre souhaitée pour terminer la configuration dans Google Cloud (par exemple, Organization Admin).
- Ouvrez votre console Google Cloud.
- Accédez à IAM & Admin > Service Accounts.
- Cliquez sur Create service account en haut.
- Donnez un nom unique au compte de service.
- Cliquez sur Done pour terminer la création du compte de service.
- Dans la console Google Cloud, accédez à la page IAM.
- Sélectionnez un dossier ou une organisation.
- Pour accorder un rôle à un principal qui ne possède pas déjà d’autres rôles sur la ressource, cliquez sur Grant Access, puis saisissez l’adresse e-mail du compte de service que vous avez créé précédemment.
- Saisissez l’adresse e-mail du compte de service.
- Attribuez les rôles suivants :
- Cliquez sur Save.
Remarque : Le rôle Browser n’est requis que dans le projet par défaut du compte de service. Les autres projets ne nécessitent que les autres rôles listés.
Remarque : Si vous avez précédemment configuré l’accès à l’aide d’un principal Datadog partagé, vous pouvez révoquer l’autorisation pour ce principal une fois ces étapes terminées.
- Dans Datadog, accédez à Integrations > Google Cloud Platform.
- Cliquez sur Add Google Cloud Account.
Si aucun projet n’est encore configuré, vous serez automatiquement redirigé vers cette page.
- Copiez votre principal Datadog et conservez-le pour la section suivante.
Remarque : Laissez cette fenêtre ouverte pour la section 4.
- Dans la console Google Cloud, sous le menu Service Accounts, recherchez le compte de service que vous avez créé dans la section 1.
- Accédez à l’onglet Permissions et cliquez sur Grant Access.
- Collez votre principal Datadog dans la zone de texte New principals.
- Attribuez le rôle de Service Account Token Creator.
- Cliquez sur Save.
- Dans votre console Google Cloud, accédez à l’onglet Service Account > Details. Sur cette page, recherchez l’adresse e-mail associée à ce compte de service Google. Elle suit le format
<SA_NAME>@<PROJECT_ID>.iam.gserviceaccount.com. - Copiez cette adresse e-mail.
- Retournez sur la tuile de configuration de l’intégration dans Datadog (où vous avez copié votre principal Datadog dans la section précédente).
- Collez l’adresse e-mail que vous avez copiée dans Add Service Account Email.
- Cliquez sur Verify and Save Account.
Les métriques apparaissent dans Datadog environ 15 minutes après la configuration.
Prérequis
Pour utiliser la méthode de démarrage rapide, votre rôle utilisateur Datadog doit être en mesure de créer des clés d’API et d’application. Si vous utilisez un rôle géré par Datadog, vous devez disposer du Datadog Admin role. Si vous utilisez un rôle personnalisé, votre rôle doit disposer au moins des autorisations api_keys_write et user_app_keys.
Choisissez la configuration de démarrage rapide si…
- Vous configurez l’intégration Google Cloud pour la première fois.
- Vous préférez un workflow basé sur l’interface utilisateur et souhaitez minimiser le temps nécessaire pour créer un compte de service avec les autorisations de surveillance requises.
- Vous souhaitez automatiser les étapes de configuration dans des scripts ou des pipelines CI/CD.
Instructions
- Sur la page d’intégration Google Cloud, sélectionnez
Add GCP Account.
2. Cliquez sur
Quick Start.
3. Cliquez sur
Copy dans la section du script de configuration.
**Remarque** : Datadog recommande d'exécuter ce script localement via la [CLI gcloud][201], car cela peut être plus rapide. Cela nécessite que vos identifiants Google Cloud soient disponibles localement et que la CLI gcloud soit installée sur votre machine.
4. Cliquez sur
Open Google Cloud Shell, ou accédez à [Google Cloud Shell][204].
5. Collez le script dans l'invite de commande et exécutez-le.
6. Sélectionnez les dossiers et projets à surveiller. Vous ne pouvez voir que les projets et dossiers pour lesquels vous disposez de l'accès et des autorisations requis.
7. Sous
Provide Service Account Details :
1. Donnez un nom au compte de service.
2. Sélectionnez le projet qui contiendra le compte de service.
8. Configurez
Metric Collection (facultatif).
1. Choisissez si vous souhaitez désactiver l'option de mise en sourdine des monitors pour les arrêts d'instances GCE et les événements de mise à l'échelle automatique attendus.
2. Choisissez si vous souhaitez appliquer des tags aux métriques associées au compte de service créé.
3. Choisissez si vous souhaitez désactiver la collecte de métriques pour des services Google Cloud spécifiques afin de mieux contrôler les coûts de Google Cloud Monitoring.
4. Choisissez si vous souhaitez appliquer des filtres de métriques granulaires pour tous les services Google Cloud activés pour la collecte de métriques.
5. Choisissez si vous souhaitez filtrer les métriques par tags pour les types de ressources GCP `Cloud Run Revision`, `VM Instance` ou `Cloud Function` afin de mieux contrôler les coûts Datadog.
**Remarque** : le filtrage `VM Instance` n'a pas d'impact sur les métriques `gcp.logging.*` associées et n'entraîne aucune incidence sur la facturation pour ces métriques.
9. Configurez
Resource Collection (attributs et informations de configuration des ressources dans votre environnement Google Cloud, facultatif).
10. Un résumé des modifications à effectuer s'affiche. Si vous confirmez, le script :
- Active les API requises
- Attribue les autorisations nécessaires pour surveiller chaque projet et dossier sélectionné
- Termine la configuration de l'intégration dans Datadog
- Vous gérez l’infrastructure sous forme de code et souhaitez conserver l’intégration Google Cloud de Datadog sous contrôle de version.
- Vous devez configurer plusieurs dossiers ou projets de manière cohérente avec des blocs de fournisseur réutilisables.
- Vous souhaitez un processus de déploiement reproductible et auditable qui s’intègre dans votre environnement géré par Terraform.
Instructions
- Sur la page d’intégration Google Cloud, sélectionnez
Add GCP Account.
2. Sélectionnez
Terraform.
3. Sous
Provide GCP Resources, ajoutez les ID de projet et les ID de dossier à surveiller.
4. Sélectionnez les dossiers et projets à surveiller.
5. Sous
Provide Service Account Details :
1. Donnez un nom au compte de service.
2. Sélectionnez le projet qui contiendra le compte de service.
6. Configurez
Metric Collection (facultatif).
1. Choisissez si vous souhaitez désactiver l'option de mise en sourdine des monitors pour les arrêts d'instances GCE et les événements de mise à l'échelle automatique attendus.
2. Choisissez si vous souhaitez appliquer des tags aux métriques associées au compte de service créé.
3. Choisissez si vous souhaitez désactiver la collecte de métriques pour des services Google Cloud spécifiques afin de mieux contrôler les coûts de Google Cloud Monitoring.
4. Choisissez si vous souhaitez appliquer des filtres de métriques granulaires pour tous les services Google Cloud activés pour la collecte de métriques.
5. Choisissez si vous souhaitez filtrer les métriques par tags pour les types de ressources GCP `Cloud Run Revision`, `VM Instance` ou `Cloud Function` afin de mieux contrôler les coûts Datadog.
7. Configurez
Resource Collection (attributs et informations de configuration des ressources dans votre environnement Google Cloud).
8. Copiez le
Terraform Code fourni.
9. Collez le code dans un fichier `.tf` et exécutez la commande
Initialize and apply the Terraform. En cas de succès, la commande :
- Active les API requises
- Attribue les autorisations nécessaires pour surveiller chaque projet et dossier sélectionné
- Termine la configuration de l'intégration dans Datadog
Choisissez la configuration manuelle si…
- Vous devez configurer l’accès manuellement pour un petit nombre de projets ou de dossiers.
- Vous souhaitez un contrôle étape par étape plus précis sur l’attribution des autorisations et des identifiants dans l’interface utilisateur GCP.
Instructions
- Sur la page d’intégration Google Cloud, sélectionnez
Add GCP Account.
2. Cliquez sur
Manual.
3. Copiez la valeur
Datadog Principal, puis cliquez sur
Open the Google Console.
4. Créez un compte de service :
1. Donnez un nom descriptif au compte de service, puis cliquez sur
Create and continue.
2. Sous
Permissions, recherchez et ajoutez le rôle
Service Account Token Creator depuis le menu déroulant, puis cliquez sur
Continue.
3. Sous
Principals with access, collez la valeur
Datadog Principal dans le champ
Service account users role, puis cliquez sur
Done.
5. Cliquez sur le lien du compte de service dans la colonne
Email.
6. Copiez la valeur
Email.
7. Dans Datadog, collez l'adresse e-mail du compte de service dans la section
Add Service Account Email.
8. Configurez
Metric Collection (facultatif).
1. Choisissez si vous souhaitez désactiver l'option de mise en sourdine des monitors pour les arrêts d'instances GCE et les événements de mise à l'échelle automatique attendus.
2. Choisissez si vous souhaitez appliquer des tags aux métriques associées au compte de service créé.
3. Choisissez si vous souhaitez désactiver la collecte de métriques pour des services Google Cloud spécifiques afin de mieux contrôler les coûts de Google Cloud Monitoring.
4. Choisissez si vous souhaitez appliquer des filtres de métriques granulaires pour tous les services Google Cloud activés pour la collecte de métriques.
5. Choisissez si vous souhaitez filtrer les métriques par tags pour les types de ressources GCP `Cloud Run Revision`, `VM Instance` ou `Cloud Function` afin de mieux contrôler les coûts Datadog.
9. Configurez
Resource Collection (attributs et informations de configuration des ressources dans votre environnement Google Cloud, facultatif).
10. Cliquez sur
Verify and Save Account.
Validation
Pour afficher vos métriques, utilisez le menu de gauche pour accéder à Metrics > Summary et recherchez gcp :
Intégrations Google Cloud
L’intégration Google Cloud collecte toutes les métriques Google Cloud disponibles à partir de vos projets via Google Cloud Monitoring API. Les intégrations sont installées automatiquement lorsque Datadog reconnaît des données ingérées depuis votre compte Google Cloud, comme BigQuery.
Pour approfondir la surveillance de nombreux services populaires, consultez les blogs liés ci-dessous.
- Cloud Armor
- Google Cloud Armor est un service de sécurité réseau qui protège contre les attaques DDoS et les attaques applicatives.
- BigQuery
- BigQuery est un entrepôt de données serverless et multi-cloud qui peut vous fournir des informations précieuses à partir de vos données métier.
- Cloud Run
- Cloud Run est une plateforme entièrement gérée qui vous permet d’exécuter votre code directement sur une infrastructure évolutive dans Google Cloud.
- Cloud SQL
- Cloud SQL est un service de base de données relationnelle entièrement géré qui fonctionne avec MySQL, PostgreSQL et SQL Server.
- Compute Engine
- Compute Engine est un service de calcul et d’hébergement qui vous offre la possibilité de créer et d’exécuter des machines virtuelles dans Google Cloud.
- Dataflow
- Dataflow est un service d’analyse de flux entièrement géré qui utilise la mise à l’échelle automatique et le traitement de données en temps réel.
- Eventarc
- Eventarc est un service entièrement géré vous permettant de créer des architectures basées sur les événements.
- Google Kubernetes Engine (GKE)
- GKE est un service Kubernetes entièrement géré.
- Private Service Connect
- Private Service Connect vous permet d’accéder aux services Google gérés de manière privée depuis votre réseau VPC.
- Security Command Center
- Security Command Center assure la gestion de la posture et la détection des menaces pour le code, les identités et les données.
- Vertex AI
- Vertex AI est une plateforme de développement d’IA générative entièrement gérée.
Limiter les filtres de collecte de métriques
Vous pouvez choisir les services et les ressources dont vous souhaitez collecter les métriques. Cela peut aider à contrôler les coûts en réduisant le nombre d’appels API effectués en votre nom.
Sous l’onglet Metric Collection de la page d’intégration Google Cloud de Datadog, désélectionnez les espaces de noms de métriques à exclure.
Pour appliquer un filtrage granulaire des métriques pour les services activés, cliquez sur le service en question et appliquez vos filtres dans le champ Add filters for gcp.<service>.
Exemples de filtres :
subscription.* topic.*- Limiter la collecte aux métriques correspondant soit à
gcp.<service>.subscription.*, soit à gcp.<service>.topic.* !*_cost !*_count- Limiter la collecte aux métriques qui ne correspondent ni à
gcp.<service>.*_cost ni à gcp.<service>.*_count snapshot.* !*_by_region- Limiter la collecte aux métriques correspondant à
gcp.<service>.snapshot.*, mais ne correspondant pas à gcp.<service>.*_by_region
Sous l’onglet Metric Collection de la page d’intégration Google Cloud de Datadog, désélectionnez les régions à exclure de la collecte des métriques.
Si une valeur de région ou d’emplacement n’apparaît pas dans les cases à cocher, ajoutez-la dans le champ Additional Locations. Le filtre effectue une correspondance exacte avec la valeur de libellé rapportée par Google Cloud, saisissez donc les valeurs exactement telles qu’elles apparaissent sur vos ressources (par exemple, us-central).
Vous pouvez également désactiver toutes les métriques globales non associées à une région.
- Attribuez un tag (telle que
datadog:true) aux hosts ou aux instances Cloud Run que vous souhaitez surveiller avec Datadog. - Sous l’onglet Metric Collection de la page d’intégration Google Cloud de Datadog, saisissez les tags dans la zone de texte Limit Metric Collection Filters. Seuls les hosts qui correspondent à l’un des tags définis sont importés dans Datadog. Vous pouvez utiliser des caractères génériques (
? pour un seul caractère, * pour plusieurs caractères) pour faire correspondre de nombreux hosts, ou ! pour exclure certains hosts. Cet exemple inclut toutes les instances de taille c1*, mais exclut les hosts de type staging :
datadog:monitored,env:production,!env:staging,instance-type:c1.*
Consultez la documentation de Google sur la création et la gestion des libellés pour plus de détails.
Dans l’exemple ci-dessous, seuls les hosts Google Cloud avec le libellé datadog:true sont surveillés par Datadog :
Activer l’attribution des coûts et des quotas d’API par projet
Par défaut, Google Cloud attribue le coût de surveillance des appels d’API, ainsi que l’utilisation des quotas d’API, au projet contenant le compte de service pour cette intégration. En guise de bonne pratique pour les environnements Google Cloud comportant plusieurs projets, activez l’attribution des coûts par projet pour la surveillance des appels d’API et l’utilisation des quotas d’API. Une fois cette option activée, les coûts et l’utilisation des quotas sont attribués au projet interrogé, plutôt qu’au projet contenant le compte de service. Cela permet de visualiser les coûts de surveillance encourus par chaque projet et aide également à éviter d’atteindre les limites de débit de l’API.
Pour activer cette fonctionnalité :
- Assurez-vous que le compte de service Datadog dispose du rôle Service Usage Consumer avec le périmètre souhaité (dossier ou organisation).
- Cliquez sur le bouton Enable Per Project Quota dans l’onglet Projects de la page d’intégration Google Cloud.
Collecte de logs
Le transfert des logs depuis votre environnement Google Cloud permet une surveillance en temps quasi réel des ressources et des activités se déroulant dans votre organisation ou votre dossier. Vous pouvez configurer des monitors de logs pour être averti des problèmes, utiliser Cloud SIEM pour détecter les menaces, ou tirer parti de Watchdog pour identifier des problèmes inconnus ou des comportements anormaux.
Utilisez le modèle Datadog Dataflow pour traiter par lots et compresser vos événements de log avant de les transférer vers Datadog via Google Cloud Dataflow. Il s’agit du moyen le plus efficace en termes de réseau pour transférer vos logs. Pour spécifier quels logs sont transférés, configurez le collecteur de logs Google Cloud avec des requêtes d’inclusion ou d’exclusion en utilisant le langage de requête de journalisation de Google Cloud. Consultez la page de configuration du transfert de logs Google Cloud pour connaître les options de configuration du transfert de logs (y compris Terraform) et les instructions.
L'
API Dataflow doit être activée pour utiliser Google Cloud Dataflow. Consultez
l'activation des API dans la documentation Google Cloud pour plus d'informations.
Tirer parti du Datadog Agent
Une fois l’intégration Google Cloud configurée, Datadog commence automatiquement à collecter les métriques Google Cloud. Cependant, vous pouvez utiliser le Datadog Agent pour obtenir des informations plus approfondies sur votre infrastructure.
Le Datadog Agent fournit les métriques les plus granulaires et à faible latence de votre infrastructure, offrant des informations en temps réel sur le processeur, la mémoire, l’utilisation du disque et plus encore pour vos hosts Google Cloud.
L’Agent peut être installé sur n’importe quel host, y compris GKE.
L’Agent prend également en charge un large éventail d’intégrations, vous permettant d’étendre la visibilité sur des services et bases de données spécifiques exécutés sur vos hosts.
Les traces collectées via l’Agent permettent une surveillance complète des performances des applications (Application Performance Monitoring, ou APM), vous aidant à comprendre les performances des services de bout en bout.
Les logs collectés via l’Agent offrent une visibilité sur vos ressources Google Cloud et sur les activités se déroulant dans votre environnement Google Cloud.
Pour obtenir la liste complète des avantages de l’installation de l’Agent sur vos instances cloud, consultez Pourquoi devrais-je installer le Datadog Agent sur mes instances cloud ?
Collecte des changements de ressources
La collecte des changements de ressources vous permet de surveiller les changements d’infrastructure dans votre environnement Google Cloud. Lorsque Cloud Asset Inventory de Google détecte des changements dans vos ressources cloud, un événement est transmis à Datadog Event Management via un sujet et un abonnement Cloud Pub/Sub. Utilisez ces événements pour être informé de manière proactive des changements risqués dans votre infrastructure et pour faciliter le dépannage.
Pour des instructions de configuration détaillées, consultez la section sur la collecte des changements de ressources de la documentation de l’intégration Google Cloud.
Private Service Connect
Private Service Connect est uniquement disponible pour les sites Datadog US5 et EU.
Utilisez l’intégration Google Cloud Private Service Connect pour visualiser les connexions, les données transférées et les paquets abandonnés via Private Service Connect. Cela vous donne une visibilité sur les métriques importantes de vos connexions Private Service Connect, aussi bien pour les producteurs que pour les consommateurs.
Private Service Connect (PSC) est un produit réseau de Google Cloud qui vous permet d’accéder directement à des services Google Cloud, à des services de partenaires tiers et à des applications appartenant à l’entreprise depuis votre Virtual Private Cloud (VPC).
Consultez Accéder à Datadog de manière privée et surveiller votre utilisation de Google Cloud Private Service Connect sur le blog Datadog pour plus d’informations.
Google Cloud Run
Utilisez l’intégration Google Cloud Run pour obtenir des informations détaillées sur vos conteneurs Cloud Run, telles que des métriques et des logs d’audit.
Cloud Cost Management (CCM)
Google Cloud Cost Management de Datadog fournit aux équipes d’ingénierie et de finance des informations pour comprendre comment les changements d’infrastructure affectent les coûts, répartir les dépenses dans votre organisation et identifier les améliorations potentielles.
Cloud SIEM
Cloud SIEM fournit une analyse en temps réel des logs opérationnels et de sécurité, tout en utilisant des intégrations et des règles prêtes à l’emploi pour détecter et enquêter sur les menaces.
Pour utiliser cette fonctionnalité, consultez Prise en main de Cloud SIEM.
Pour afficher les résultats de sécurité de Google Cloud Security Command Center dans Cloud SIEM, activez l’option Enable collection of security findings sous l’onglet Security Findings et suivez les instructions de configuration sur le guide Google Cloud Security Command Center.
Cloud Security
Datadog Cloud Security offre une détection des menaces en temps réel et des audits de configuration continus sur l’ensemble de votre infrastructure cloud.
Consultez le guide de configuration de Cloud Security pour commencer.
Après avoir configuré Cloud Security, activez l’option Enable Resource Collection sous l’onglet Resource Collection pour commencer à collecter des données de configuration pour le Resource Catalog et Cloud Security. Ensuite, suivez ces instructions pour activer les erreurs de configuration et les risques liés aux identités (CIEM) sur Google Cloud.
Surveillance BigQuery étendue
La surveillance étendue de BigQuery offre une visibilité granulaire sur vos environnements BigQuery. Consultez la documentation sur BigQuery Data Observability pour plus d’informations.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
