Présentation

Utilisez la destination Azure Storage pour envoyer des logs vers un conteneur Azure Storage. Si vous souhaitez envoyer des logs vers un conteneur Azure Storage pour l’archivage et la réhydratation, vous devez configurer Log Archives. Si vous ne souhaitez pas réhydrater les logs dans Datadog, passez à Configurez la destination de votre pipeline.

Configurer Log Archives

Cette étape n’est requise que si vous souhaitez envoyer des logs vers Azure Storage dans un format réhydratable par Datadog pour l’archivage et la réhydratation, et que vous n’avez pas encore configuré de Log Archive Datadog pour Observability Pipelines. Si vous avez déjà configuré une Log Archive Datadog ou si vous ne souhaitez pas réhydrater les logs dans Datadog, passez à Configurez la destination de votre pipeline.

Vous devez avoir installé Azure integration de Datadog pour configurer Log Archives.

Créer un compte de stockage

Créez un compte de stockage Azure si vous n’en avez pas déjà un.

1. Accédez à Storage accounts.
2. Cliquez sur Create.
3. Sélectionnez le nom de l’abonnement et le nom de la ressource que vous souhaitez utiliser.
4. Saisissez un nom pour votre compte de stockage.
5. Sélectionnez une région dans le menu déroulant.
6. Sélectionnez le type de compte Standard ou Premium.
7. Cliquez sur Next.
8. Dans la section Blob storage, sélectionnez Hot ou Cool.
9. Cliquez sur Review + create.

Créez un conteneur de stockage

1. Dans votre compte de stockage, cliquez sur Containers sous Data storage dans le menu de navigation de gauche.
2. Cliquez sur + Container en haut pour créer un conteneur.
3. Saisissez un nom pour le nouveau conteneur. Ce nom est utilisé ultérieurement lors de la configuration de la destination Azure Storage pour Observability Pipelines.

Remarque : Ne définissez pas de stratégie d’immuabilité, car les données les plus récentes pourraient devoir être réécrites dans de rares cas (généralement en cas de délai d’attente).

Connectez le conteneur Azure aux Log Archives Datadog

1. Accédez à Log Forwarding dans Datadog.
2. Cliquez sur New archive.
3. Saisissez un nom descriptif pour l’archive.
4. Ajoutez une requête qui filtre tous les logs passant par les log pipelines afin qu’aucun de ces logs ne soit envoyé dans cette archive. Par exemple, ajoutez la requête observability_pipelines_read_only_archive, en supposant qu’aucun log passant par le pipeline ne possède ce tag.
5. Sélectionnez Azure Storage.
6. Sélectionnez le tenant et le client Azure dans lesquels se trouve votre compte de stockage.
7. Saisissez le nom du compte de stockage.
8. Saisissez le nom du conteneur que vous avez créé précédemment.
9. Saisissez éventuellement un chemin.
10. Optionnellement, définissez des autorisations, ajoutez des tags et définissez la taille d’analyse maximale pour la réhydratation. Consultez Advanced settings pour plus d’informations.
11. Cliquez sur Enregistrer.

Consultez la documentation Log Archives 1 pour plus d’informations.

Configurez la destination de votre pipeline

Configurez la destination Azure Storage lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’UI, en utilisant l’API ou avec Terraform. Les étapes de cette section sont configurées dans l’interface utilisateur.

Après avoir sélectionné la destination Azure Storage dans le pipeline UI :

1. Saisissez l’identifiant de votre chaîne de connexion Azure. Si vous le laissez vide, la valeur par défaut est utilisée.
2. Saisissez le nom du conteneur Azure que vous avez créé précédemment.

Paramètres facultatifs

Prefix to apply to all key objects

Saisissez un préfixe que vous souhaitez appliquer à tous les objets clés.

• Les préfixes sont utiles pour partitionner les objets. Par exemple, vous pouvez utiliser un préfixe comme clé d’objet pour stocker des objets dans un répertoire particulier. Si vous utilisez un préfixe à cette fin, il doit se terminer par / pour agir comme un chemin de répertoire ; une barre oblique finale / n’est pas ajoutée automatiquement.
• Consultez la syntaxe de modèle si vous souhaitez acheminer les logs vers différentes clés d’objet en fonction de champs spécifiques dans vos logs.
  • Remarque : Datadog recommande de commencer vos préfixes par le nom du répertoire et sans barre oblique initiale (/). Par exemple, app-logs/ ou service-logs/.

Compression

1. Dans le menu déroulant Compression - Algorithm, sélectionnez l’algorithme de compression pour vos logs archivés (gzip ou zstd).
   • Remarque : Si aucun algorithme de compression n’est spécifié, gzip avec un niveau de compression de 6 est utilisé.
2. Dans le champ Compression - Level, vous devez saisir un niveau de compression. Datadog recommande 6 pour gzip et 3 pour zstd.

Mise en tampon

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valeurs par défaut du secret

These are the defaults used for secret identifiers and environment variables.

Métriques de santé

Pour les métriques de composant et les métriques de tampon de destination émises par toutes les destinations, consultez la documentation Métriques d’utilisation des pipelines. Pour filtrer ou regrouper par métriques de destination Azure Storage, utilisez le tag component_type:datadog_archives_azure_blob.

Comment fonctionne la destination

Regroupement d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Regroupement d’événements par destination pour plus d’informations.