Présentation

Utilisez la destination Archives Datadog pour envoyer des logs vers Amazon S3 pour l’archivage au format réhydratable par Datadog. Vous pouvez ensuite interroger ces logs avec la Archive Search. Utilisez le mode Search & Rehydration d’Archive Search lorsque vous devez réindexer les résultats pour un accès complet à la plateforme.

Remarque : Utilisez la destination Amazon S3 pour envoyer vos logs vers Amazon S3 au format JSON ou Parquet.

Vous pouvez également acheminer les logs vers Snowflake en utilisant la destination Archives Datadog.

Prérequis

Pour utiliser la destination Archives Datadog, vous devez installer l’intégration AWS de Datadog afin de pouvoir configurer les Archives de logs Datadog.

Configurer Log Archives

Si vous avez déjà configuré Datadog Log Archives, passez à Configurez la destination de votre pipeline.

Create an Amazon S3 bucket

1. Navigate to Amazon S3 buckets.
2. Click Create bucket.
3. Enter a descriptive name for your bucket.
4. Do not make your bucket publicly readable.
5. Optionally, add tags.
6. Click Create bucket.

Configurez une politique IAM qui autorise les Workers à écrire dans le bucket S3

1. Accédez à la console IAM.
2. Sélectionnez Policies dans le menu de gauche.
3. Cliquez sur Create policy.
4. Cliquez sur JSON dans la section Specify permissions.
5. Copiez la politique ci-dessous et collez-la dans l’Policy editor. Remplacez <MY_BUCKET_NAME_1> et <MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1> par les informations du bucket S3 que vous avez créé dans la section précédente.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "DatadogUploadAndRehydrateLogArchives",
               "Effect": "Allow",
               "Action": ["s3:PutObject", "s3:GetObject"],
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1>/*"
           },
           {
               "Sid": "DatadogRehydrateLogArchivesListBucket",
               "Effect": "Allow",
               "Action": "s3:ListBucket",
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>"
           }
       ]
   }
   

6. Cliquez sur Next.
7. Saisissez un nom de politique descriptif.
8. Ajoutez éventuellement des tags.
9. Cliquez sur Create policy.

Connectez le bucket S3 à Datadog Log Archives

1. Accédez à Datadog Log Forwarding.
2. Cliquez sur New archive.
3. Saisissez un nom descriptif pour l’archive.
4. Ajoutez une requête qui filtre tous les logs passant par les log pipelines afin qu’aucun de ces logs ne soit envoyé dans cette archive. Par exemple, ajoutez la requête observability_pipelines_read_only_archive, en supposant qu’aucun log passant par le pipeline ne possède ce tag.
5. Sélectionnez AWS S3.
6. Sélectionnez le compte AWS dans lequel se trouve votre bucket.
7. Saisissez le nom du bucket S3.
8. Saisissez éventuellement un chemin.
9. Cochez la déclaration de confirmation.
10. Ajoutez éventuellement des tags et définissez la taille d’analyse maximale pour la réhydratation. Consultez Advanced settings pour plus d’informations.
11. Cliquez sur Enregistrer.

Consultez la documentation Log Archives 1 pour plus d’informations.

Configurez la destination de votre pipeline

Configurez la destination Datadog Archives lorsque vous configurez un Log Archives pipeline 4. Vous pouvez configurer un pipeline dans l’UI, en utilisant l’API ou avec Terraform. Les étapes de cette section sont configurées dans l’interface utilisateur.

Après avoir sélectionné la destination Datadog Archives dans l’interface utilisateur du pipeline :

1. Saisissez le nom de votre bucket S3. Si vous avez configuré Datadog Log Archives, il s’agit du nom du bucket que vous avez créé précédemment.
2. Saisissez la région AWS dans laquelle se trouve le bucket S3.
3. Saisissez le préfixe de clé.
   • Les préfixes sont utiles pour partitionner les objets. Par exemple, vous pouvez utiliser un préfixe comme clé d’objet pour stocker des objets dans un répertoire particulier. Si vous utilisez un préfixe à cette fin, il doit se terminer par / pour agir comme un chemin de répertoire ; une barre oblique finale / n’est pas ajoutée automatiquement.
   • Consultez la syntaxe de modèle si vous souhaitez acheminer les logs vers différentes clés d’objet en fonction de champs spécifiques dans vos logs.
   • Remarque : Datadog recommande de commencer vos préfixes par le nom du répertoire et sans barre oblique initiale (/). Par exemple, app-logs/ ou service-logs/.
4. Sélectionnez la classe de stockage pour votre bucket S3 dans le menu déroulant Storage Class. Si vous prévoyez d’archiver et de réhydrater vos logs :
   • Remarque : La réhydratation ne prend en charge que les classes de stockage suivantes :
     • Standard
     • Intelligent-Tiering, uniquement si les niveaux d’accès aux archives asynchrones facultatifs sont tous deux désactivés.
     • Standard-IA
     • One Zone-IA
   • Si vous souhaitez réhydrater à partir d’archives dans une autre classe de stockage, vous devez d’abord les déplacer vers l’une des classes de stockage prises en charge ci-dessus.
   • Consultez la section Exemple de configuration de destination et d’archive de logs de cette page pour savoir comment configurer votre archive de logs en fonction de votre configuration de destination Amazon S3.

Paramètres facultatifs

Compression

1. Dans le menu déroulant Compression - Algorithm, sélectionnez l’algorithme de compression pour vos logs archivés (gzip ou zstd).
   • Remarque : Si aucun algorithme de compression n’est spécifié, gzip avec un niveau de compression de 6 est utilisé.
2. Dans le champ Compression - Level, vous devez saisir un niveau de compression. Datadog recommande 6 pour gzip et 3 pour zstd.

Chiffrement côté serveur

Sélectionnez un type de chiffrement pour votre bucket S3 dans le menu déroulant Server-Side Encryption (AWS KMS ou AES256). Si vous avez sélectionné AWS KMS, saisissez l’ID de clé AWS KMS.

Authentification AWS

Sélectionnez une option d’authentification AWS. Si vous utilisez uniquement l’utilisateur ou le rôle que vous avez créé précédemment pour l’authentification, ne sélectionnez pas Assume role. Sélectionnez Assume role uniquement si l’utilisateur ou le rôle que vous avez créé précédemment doit assumer un rôle différent pour accéder à la ressource AWS. Les autorisations du rôle assumé doivent être explicitement définies.
Si vous sélectionnez Assume role :

1. Saisissez l’ARN du rôle IAM que vous souhaitez assumer.
   • Remarque : L’utilisateur ou le rôle que vous avez créé précédemment doit avoir l’autorisation d’assumer ce rôle afin que le Worker puisse s’authentifier auprès d’AWS.
2. (Facultatif) Saisissez le nom de session du rôle assumé et l’ID externe.

Mise en tampon

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Exemple de configuration de destination et d’archive de logs

Si vous saisissez les valeurs suivantes pour votre Datadog Archives destination :

• Bucket S3 : test-op-bucket
• Préfixe à appliquer à toutes les clés d’objet : op-logs
• Classe de stockage pour les objets créés : Standard

Alors voici les valeurs que vous saisissez pour configurer le bucket S3 pour Datadog Log Archives :

• Bucket S3 : test-op-bucket
• Chemin : op-logs
• Classe de stockage : Standard

Valeurs par défaut du secret

These are the defaults used for secret identifiers and environment variables.

Acheminer les logs vers Snowflake en utilisant la Datadog Archives destination

Vous pouvez acheminer les logs d’Observability Pipelines vers Snowflake en utilisant la Datadog Archives destination en configurant Snowpipe dans Snowflake pour ingérer automatiquement ces logs. Snowpipe surveille en continu votre bucket S3 pour détecter les nouveaux fichiers et les ingère automatiquement dans vos tables Snowflake, garantissant ainsi une disponibilité des données en temps quasi réel pour l’analyse ou un traitement ultérieur. Lorsque les logs sont collectés par Observability Pipelines, ils sont écrits dans un bucket S3. Pour configurer cela :

1. Configurez Log Archives.
2. Set up a pipeline pour utiliser Datadog Archives comme destination de logs. Utilisez la configuration détaillée dans Configurez la destination de votre pipeline.
3. Configurez Snowpipe dans Snowflake. Consultez Automating Snowpipe for Amazon S3 pour obtenir des instructions.

Comment fonctionne la destination

Authentification AWS

The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

Autorisations

L’Observability Pipelines Worker nécessite ces autorisations de politique pour envoyer des logs vers Amazon S3 :

• s3:ListBucket
• s3:PutObject
• s3:GetObject

Regroupement d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Regroupement d’événements par destination pour plus d’informations.