Nouvelles annonces sur les technologies sans serveur et réseau ainsi que sur le RUM (Real-User Monitoring) dévoilées à la conférence Dash ! Nouvelles annonces dévoilées à la conférence Dash !

Réintégration à partir des archives

Présentation

La fonction Log Rehydration* vous permet d’enregistrer des événements de log depuis les archives optimisées pour le stockage des clients dans le Log Explorer de Datadog, un produit spécialement conçu pour les recherches. Vous pouvez ainsi utiliser Datadog pour analyser ou rechercher des événements de log trop vieux ou exclus de l’indexation.

Vues historiques

Grâce aux vues historiques, les équipes réintègrent des événements de log archivés en définissant une période et un filtre de requête afin de répondre efficacement à des cas d’utilisation spécifiques et inattendus. Pour créer une vue historique, accédez à la page Configuration de votre compte Datadog et sélectionnez l’ onglet « Rehydrate From Archives », puis cliquez sur le bouton « New Historical View ».

Ajouter des vues historiques

  1. Sélectionnez l’archive depuis laquelle vous souhaitez réintégrer les événements de log. Seules les archives configurées pour utiliser la délégation de rôle peuvent être réintégrées.

  2. Choisissez la période pour laquelle vous souhaitez réintégrer des événements de log.

  3. Saisissez la requête. La syntaxe de la requête est identique à la syntaxe des recherches avec le Log Explorer. Elle se limite cependant aux attributs du log, aux attributs réservés et à la recherche de texte libre dans le message.

  4. Nommez votre vue historique. Les noms doivent commencer par une lettre minuscule et ne peuvent contenir que des lettres minuscules, des nombres et le caractère - (tiret).

  5. (Facultatif) Ajoutez une description pour informer votre équipe de l’objectif de la vue historique.

Réintégration à l’aide d’une requête

Créez des vues historiques avec des requêtes spécifiques (par exemple, sur un ou plusieurs services, endpoints d’URL ou ID clients) pour réduire la durée et les coûts de réintégration de vos logs. Cette méthode est particulièrement utile lorsque vous cherchez à réintégrer des logs sur un large intervalle. Vous pouvez réintégrer jusqu’à 300 millions d’événements de logs par vue historique créée.

Afficher le contenu d’une vue historique

Depuis la page de la vue historique

Lorsque vous sélectionnez « Rehydrate from Archive », la vue historique est considérée comme « pending » jusqu’à ce que son contenu puisse être interrogé.

Une fois le contenu réintégré, la vue historique est considérée comme active, et le lien dans la colonne de la requête redirige vers la vue historique, dans le Log Explorer.

Depuis le Log Explorer

Les équipes peuvent aussi accéder à la vue historique directement dans le Log Explorer, à partir du sélecteur d’index. Lorsque vous sélectionnez une vue historique, une fenêtre contextuelle s’ouvre pour définir l’intervalle pertinent pour la vue historique sélectionnée.

Supprimer des vues historiques

Les vues historiques continuent à être stockées dans Datadog jusqu’à ce que vous choisissiez de les supprimer. Vous pouvez indiquer qu’une vue historique doit être supprimée en sélectionnant l’icône de suppression à droite de la vue, puis en confirmant votre choix.

Après 24 heures, la vue historique est définitivement supprimée. L’équipe dispose donc d’un délai de 24 heures pour annuler la suppression.

Configurer la réintégration d’archive

Définir une archive Datadog

Une archive externe doit être configurée afin de pouvoir réintégrer ses données. Suivez ce guide pour archiver vos logs dans les emplacements disponibles.

Permissions

Datadog doit avoir un accès en lecture à vos archives afin de réintégrer leur contenu. Cette autorisation peut être modifiée à tout moment.

Afin de réintégrer des événements de log depuis vos archives, Datadog utilise le rôle IAM du compte AWS que vous avez configuré pour votre intégration AWS. Si vous n’avez pas encore créé ce rôle, suivez ces étapes pour y remédier. Pour autoriser ce rôle à réintégrer des événements de log depuis vos archives, ajoutez la déclaration d’autorisation suivante à ses stratégies IAM. Veillez à modifier les noms de compartiment et, si nécessaire, spécifiez les chemins contenant vos archives de log.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DatadogUploadAndRehydrateLogArchives",
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject"],
      "Resource": [
        "arn:aws:s3:::<NOM_DU_BUCKET_1_/_CHEMIN_FACULTATIF_DU_BUCKET_1>/*",
        "arn:aws:s3:::<NOM_DU_BUCKET_2_/_CHEMIN_FACULTATIF_DU_BUCKET_2>/*"
      ]
    },
    {
      "Sid": "DatadogRehydrateLogArchivesListBucket",
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": [
        "arn:aws:s3:::<NOM_DU_BUCKET_1>",
        "arn:aws:s3:::<NOM_DU_BUCKET_2>"
      ]
    }
  ]
}

Ajout de la délégation de rôle aux archives S3

Datadog prend uniquement en charge la réintégration des archives qui ont été configurées pour utiliser la délégation de rôle afin d’autoriser l’accès. Après avoir modifié votre rôle IAM Datadog afin d’inclure la stratégie IAM ci-dessus, vérifiez que chaque archive de votre page de configuration des archives possède la bonne combinaison de compte AWS et de rôle.

Afin de réintégrer des événements de log depuis vos archives, Datadog utilise un compte de service avec le rôle Storage Object Viewer. Pour accorder ce rôle à votre compte de service Datadog, accédez à la page GCP IAM Admin, modifiez les autorisations du compte de service, ajoutez un autre rôle, puis sélectionnez Storage > Storage Object Viewer.

*Log Rehydration est une marque déposée de Datadog, Inc.