Présentation

Utilisez la destination Google Cloud Storage pour envoyer vos logs vers un bucket Google Cloud Storage. Si vous souhaitez envoyer des logs vers Google Cloud Storage pour l’archivage et la réhydratation, vous devez configurer Log Archives. Si vous ne souhaitez pas réhydrater les logs dans Datadog, passez à Configurer la destination pour votre pipeline.

L’Observability Pipelines Worker utilise les méthodes d’authentification Google standard. Consultez Authentication methods at Google pour plus d’informations sur le choix de la méthode d’authentification adaptée à votre cas d’utilisation.

Configurer Log Archives

Cette étape n’est requise que si vous souhaitez envoyer des logs vers Google Cloud Storage pour l’archivage et la réhydratation, et que vous n’avez pas encore configuré de Datadog Log Archives pour Observability Pipelines. Si vous avez déjà configuré Datadog Log Archives ou si vous ne souhaitez pas réhydrater vos logs dans Datadog, passez à Configurer la destination pour votre pipeline.

Si vous avez déjà configuré Datadog Log Archives pour Observability Pipelines, passez à Configurer la destination pour votre pipeline.

Vous devez avoir installé l’intégration Google Cloud Platform de Datadog pour configurer Datadog Log Archives.

Créer un bucket de stockage

1. Accédez à Google Cloud Storage.
2. Sur la page Buckets, cliquez sur Create pour créer un bucket pour vos archives.
3. Saisissez un nom pour le bucket et choisissez l’emplacement de stockage de vos données.
4. Sélectionnez Fine-grained dans la section Choose how to control access to objects.
5. N’ajoutez pas de politique de rétention car les données les plus récentes doivent être réécrites dans certains cas rares (généralement un cas de délai d’attente).
6. Cliquez sur Create.

Créez un compte de service pour permettre aux Workers d’écrire dans le bucket

1. Créez un compte de service Google Cloud Storage.
   • Accordez au compte de service les autorisations sur votre bucket avec les autorisations Storage Admin et Storage Object Admin.
   • Si vous souhaitez vous authentifier avec un fichier d’identifiants, téléchargez le fichier de clé du compte de service et placez-le sous DD_OP_DATA_DIR/config. Vous référencez ce fichier lorsque vous configurez la destination Google Cloud Storage plus tard.
2. Suivez ces instructions pour créer une clé de compte de service. Choisissez json pour le type de clé.

Connectez le bucket de stockage à Datadog Log Archives

1. Accédez à Datadog Log Forwarding.
2. Cliquez sur New archive.
3. Saisissez un nom descriptif pour l’archive.
4. Ajoutez une requête qui filtre tous les logs passant par les log pipelines afin qu’aucun de ces logs ne soit envoyé dans cette archive. Par exemple, ajoutez la requête observability_pipelines_read_only_archive, en supposant qu’aucun log passant par le pipeline ne possède ce tag.
5. Sélectionnez Google Cloud Storage.
6. Sélectionnez le compte de service dans lequel se trouve votre bucket de stockage.
7. Sélectionnez le projet.
8. Saisissez le nom du bucket de stockage que vous avez créé précédemment.
9. Saisissez éventuellement un chemin.
10. Optionnellement, définissez des autorisations, ajoutez des tags et définissez la taille d’analyse maximale pour la réhydratation. Consultez Paramètres avancés pour plus d’informations.
11. Cliquez sur Enregistrer.

Consultez la documentation Log Archives 1 pour plus d’informations.

Configurez la destination de votre pipeline

Configurez la destination Google Cloud Storage lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’UI, en utilisant l’API ou avec Terraform. Les étapes de cette section sont configurées dans l’UI.

Après avoir sélectionné la destination Google Cloud Storage dans le pipeline UI :

1. Saisissez le nom de votre bucket Google Cloud Storage. Si vous avez configuré Datadog Log Archives, il s’agit du bucket que vous avez créé précédemment.
2. Si vous disposez d’un fichier JSON d’identifiants, saisissez le chemin d’accès à ce fichier. Si vous avez configuré Datadog Log Archives, il s’agit des identifiants que vous avez téléchargés précédemment. Le fichier d’identifiants doit être placé sous DD_OP_DATA_DIR/config. Alternativement, vous pouvez utiliser la variable d’environnement GOOGLE_APPLICATION_CREDENTIALS pour fournir le chemin d’accès aux identifiants.
   • Si vous utilisez workload identity sur Google Kubernetes Engine (GKE), le GOOGLE_APPLICATION_CREDENTIALS est fourni automatiquement.
   • Le Worker utilise les méthodes d’authentification Google standard.
3. Sélectionnez la classe de stockage pour les objets créés.
4. Sélectionnez le niveau d’accès des objets créés.

Paramètres facultatifs

Prefix to apply to all key objects

Saisissez un préfixe que vous souhaitez appliquer à tous les objets clés.

• Les préfixes sont utiles pour partitionner les objets. Par exemple, vous pouvez utiliser un préfixe comme clé d’objet pour stocker des objets dans un répertoire particulier. Si vous utilisez un préfixe à cette fin, il doit se terminer par / pour agir comme un chemin de répertoire ; une barre oblique finale / n’est pas ajoutée automatiquement.
• Consultez la syntaxe de modèle si vous souhaitez acheminer les logs vers différentes clés d’objet en fonction de champs spécifiques dans vos logs.
  • Remarque : Datadog recommande de commencer vos préfixes par le nom du répertoire et sans barre oblique initiale (/). Par exemple, app-logs/ ou service-logs/.

Métadonnées

1. Cliquez sur Add Header pour ajouter des métadonnées.
2. Saisissez des valeurs pour le nom et la valeur de l’en-tête.

Mise en tampon

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valeurs par défaut du secret

These are the defaults used for secret identifiers and environment variables.

Métriques de santé

Pour les métriques de composant et les métriques de tampon de destination émises par toutes les destinations, consultez la documentation sur les métriques d’utilisation des pipelines. Pour filtrer ou regrouper par métriques de destination Google Cloud Storage, utilisez le tag component_type:datadog_archives_gcs.

Comment fonctionne la destination

Regroupement d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Destinations event batching pour plus d’informations.