Files d'attente de lettres mortes (DLQ)

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Data Streams Monitoring (DSM) offre une visibilité sur vos files d’attente de lettres mortes (DLQs) non vides, vous permettant de surveiller et d’inspecter les échecs de traitement des messages. DSM vous permet également de remédier à ces échecs de traitement des messages directement dans Datadog.

La surveillance des files d'attente de lettres mortes est disponible pour les files d'attente Amazon SQS.

Surveiller les DLQ

Configuration

Utilisation

Créer un monitor pour une file d’attente de lettres mortes

Pour savoir si votre file d’attente redirige des messages vers sa DLQ, vous pouvez créer un metric monitors qui alerte sur la métrique data_streams.sqs.dead_letter_queue.messages.

Pour créer un monitor pour la DLQ d’une file d’attente :

  1. Dans Datadog, accédez à Data Streams Monitoring.
  2. Sélectionnez l’onglet Explore (par défaut).
  3. Cliquez sur une file d’attente prise en charge pour ouvrir son panneau latéral.
  4. Sélectionnez l’onglet Dead Letter Queue.
  5. Cliquez sur Create Monitor pour ouvrir une page de configuration de monitor. Les entrées par défaut sont suffisantes pour créer un monitor qui vous alerte lorsque votre DLQ n’est pas vide, mais vous pouvez également effectuer des configurations supplémentaires sur cette page si vous le souhaitez.
  6. Cliquez sur Create en bas de la page.

Détecter les problèmes de traitement des messages

Data Streams Monitoring vous aide à détecter où les messages n’ont pas pu être traités et quels services en aval pourraient être affectés :

  • Le DSM Service Map met en évidence les files d’attente contenant des messages dans leurs DLQs, vous aidant à identifier visuellement où les échecs se produisent.

  • La page DSM Issues répertorie toutes les files d’attente qui rencontrent des problèmes de traitement des messages 

Remédier aux problèmes de DLQ

Vous pouvez inspecter et résoudre les DLQ non vides directement dans Datadog en utilisant Datadog Actions.

Configuration

Dans Datadog, créez une connexion. Vous avez besoin d’une entité IAM pour effectuer les actions. Cette entité IAM peut être un utilisateur IAM (avec une clé d’accès secrète) ou un rôle IAM (assumé en utilisant sts:AssumeRole) et doit disposer des autorisations suivantes :

  • sqs:ReceiveMessage (pour peek)
  • sqs:StartMessageMoveTask (pour redrive)
  • sqs:PurgeQueue (pour purge)

Ces autorisations peuvent être appliquées globalement à toutes les files d’attente SQS, ou restreintes à des files d’attente spécifiques.

Utilisation

Une fois la connexion configurée, vous pouvez cliquer sur une file d’attente prise en charge pour ouvrir son panneau latéral, où vous pouvez utiliser les actions suivantes :

  • Peek pour inspecter le contenu des messages ayant échoué et identifier la cause première
  • Redrive pour remettre les messages en file d’attente pour une autre tentative de traitement
  • Purge pour effacer les messages qui n’ont plus besoin d’être traités

Dépannage

Si vous ne parvenez pas à voir les informations de la file d’attente de lettres mortes :

  • Confirmez que vous avez installé la Datadog-AWS integration
  • Confirmez que votre rôle AWS utilise l’AWS-managed AmazonSQSReadOnlyAccess policy
  • Confirmez que votre rôle dispose des autorisations sqs:ListQueues et sqs:GetQueueAttributes

Lectures complémentaires

Documentation, liens et articles supplémentaires utiles:

Surveillance des pipelines de données : notions de base – suivi de l'état et des performances dans la pile de donnéesBLOG more more