Réintégration à partir des archives
Archive Search est le moyen recommandé pour accéder aux logs archivés.Elle diffuse les résultats en temps réel directement depuis votre archive sans réindexation, et ne facture que les données analysées. Lorsque vous avez besoin d'un accès complet à la plateforme ou d'une rétention plus longue, utilisez le mode
Search & Rehydration d'Archive Search.
Présentation
La fonction Log Rehydration* vous permet de capturer des événements de log depuis les archives optimisées pour le stockage dont le client est propriétaire dans le Log Explorer de Datadog optimisé pour la recherche. Vous pouvez alors utiliser Datadog pour analyser ou rechercher des événements de log qui sont soit trop vieux soit exclus de l’indexage.
Vues historiques
Avec les vues historiques, les équipes réhydratent les événements de log archivés par plage temporelle et filtre de requête pour répondre efficacement à des cas d’utilisation spécifiques et imprévus. En créant des vues historiques avec des requêtes spécifiques (par exemple, sur un ou plusieurs services, endpoints d’URL ou identifiants client), vous pouvez réduire le temps et le coût liés à la réhydratation de vos logs. Ceci est particulièrement utile lors de la réhydratation sur des plages temporelles plus larges.
Fonctionnalités clés :
- Réhydratez jusqu’à 1 milliard d’événements de log par vue historique
- Les filtres d’exclusion d’index ne s’appliquent pas aux vues historiques, il n’est donc pas nécessaire de modifier les filtres d’exclusion lorsque vous réhydratez à partir des archives
- Si vous téléchargez des vues historiques au format CSV, les données sont limitées aux 90 derniers jours
Prérequis
Avant de pouvoir réhydrater des logs à partir des archives, vous devez effectuer les étapes de configuration suivantes :
Configuration des archives
Vous devez disposer d’une archive externe configurée pour y réhydrater des données. Pour archiver vos logs dans les destinations disponibles (Amazon S3, Azure Storage ou Google Cloud Storage), consultez Log Archives.
Autorisations et authentification
Datadog nécessite l’autorisation de lire vos archives pour réhydrater le contenu. Les archives doivent être configurées avec une authentification appropriée :
- S3 : Vous devez utiliser la délégation de rôle (rôles IAM).
- Azure Storage : Vous devez utiliser Microsoft Entra ID avec le rôle Storage Blob Data Contributor.
- Google Cloud Storage : Vous devez utiliser un compte de service avec le rôle Lecteur des objets de stockage.
Seules les archives disposant d’une authentification appropriée sont disponibles pour la réhydratation. Pour des instructions de configuration détaillées, consultez les autorisations spécifiques au cloud.
Réhydratation des logs avec des vues historiques
- Accédez à la page Réhydratation.
- Cliquez sur New Historical View.
- Sélectionnez la période pour la réhydratation.
- Choisissez l’archive à partir de laquelle vous souhaitez réhydrater les événements de log. Seules les archives configurées pour utiliser la délégation de rôle sont disponibles pour la réhydratation.
- (Facultatif) Estimez la taille de l’analyse et obtenez la quantité totale de données compressées contenues dans votre archive pour la période sélectionnée.
- Nommez votre vue historique. Les noms doivent commencer par une lettre minuscule et ne peuvent contenir que des lettres minuscules, des chiffres et le caractère
-. - Définissez la requête d’indexation à l’aide de la syntaxe de recherche du Log Explorer. Assurez-vous que vos logs sont archivés avec leurs tags si vous utilisez des tags (tels que
env:prod ou version:x.y.z) dans la requête de réhydratation. - Définissez la limite de logs (nombre maximal de logs à réhydrater). Lorsque la limite de réhydratation est atteinte, le rechargement des logs s’arrête, mais vous avez toujours accès aux logs réhydratés.
- Définissez la période de rétention des logs réhydratés. Cela définit la durée pendant laquelle les logs réhydratés restent consultables. Les rétentions disponibles sont basées sur votre contrat, la valeur par défaut est de 15 jours.
- (Facultatif) Configurez les notifications de fin via integrations avec la syntaxe @handle.
Pour plus d’informations sur la taille de scan de réhydratation, consultez Comprendre les tailles de scan de réhydratation.
Gestion des vues historiques
Affichage du contenu d’une vue historique
Depuis la page de vue historique :
Après avoir sélectionné « Rehydrate from Archive », la vue historique est marquée comme « PENDING » jusqu’à ce que son contenu soit prêt à être interrogé.
Une fois le contenu réhydraté, la vue historique est marquée comme « ACTIVE » et le lien dans la colonne de requête mène à la Log Explorer.
Depuis le Log Explorer :
Dans le Log Explorer, ouvrez la facette Index dans le sélecteur d’index. Sélectionnez les index historiques à inclure dans votre recherche.
Annulation des vues historiques en cours
Annulez les réhydratations en cours depuis la page Rehydration pour arrêter les jobs avec des plages temporelles incorrectes ou des fautes de frappe dans la requête d’indexation.
Les logs qui ont déjà été indexés restent interrogeables jusqu’à la fin de la période de rétention sélectionnée pour la vue historique. Tous les logs scannés et indexés seront toujours facturés.
Suppression des vues historiques
Les vues historiques restent dans Datadog jusqu’à ce qu’elles dépassent la période de rétention sélectionnée, à moins que vous ne choisissiez de les supprimer plus tôt. Pour supprimer manuellement une vue historique, sélectionnez l’icône de suppression à l’extrême droite de la vue et confirmez l’action.
La vue historique est définitivement supprimée un jour après le lancement de la suppression. D’ici là, l’équipe peut annuler la suppression.
Affichage des vues historiques supprimées
Affichez les vues historiques supprimées jusqu’à 1 an dans le passé à l’aide du menu déroulant View :
Configuration avancée
Notifications de réhydratation
Les événements sont déclenchés automatiquement lorsqu’une réhydratation commence et se termine. Ces événements sont disponibles dans votre Events Explorer.
Vous pouvez utiliser les variables de modèle intégrées pour personnaliser la notification déclenchée à la fin de la réhydratation :
| Variable | Description |
|---|
{{archive}} | Name of the archives used for the rehydration. |
{{from}} | Start of the time range selected for the rehydration. |
{{to}} | End of the time range selected for the rehydration. |
{{scan_size}} | Total size of the files processed during the rehydration. |
{{number_of_indexed_logs}} | Total number of rehydrated logs. |
{{explorer_url}} | Lien direct vers les logs réhydratés. |
Limite par défaut pour les vues historiques
Les administrateurs disposant de l’autorisation Logs Write Archives peuvent configurer des contrôles par défaut pour garantir une utilisation efficace de Log Rehydration* au sein des équipes. Cliquez sur Settings pour configurer :
Default Rehydration volume limit : Définissez le nombre par défaut de logs (en millions) pouvant être réhydratés par vue historique. Si la limite est atteinte, la réhydratation s’arrête automatiquement, mais les logs déjà réhydratés restent accessibles. Les administrateurs peuvent également autoriser le dépassement de cette limite lors de la création d’une vue.
Rehydration retention periods : Choisissez les périodes de rétention disponibles lors de la création de réhydratations. Seules les durées sélectionnées (par exemple, 3, 7, 15, 30, 45, 60, 90 ou 180 jours) apparaissent dans le menu déroulant lors de la sélection de la durée pendant laquelle les logs doivent rester consultables dans Datadog.
Permissions spécifiques au cloud
Datadog nécessite la permission de lire vos archives pour en réhydrater le contenu. Cette permission peut être modifiée à tout moment.
Pour réhydrater des événements de log à partir de vos archives, Datadog utilise le rôle IAM de votre compte AWS que vous avez configuré pour votre intégration AWS. Si vous n’avez pas encore créé ce rôle, suivez ces étapes pour le faire. Si ce rôle possède la stratégie issue de Définir les permissions d’archive, ignorez l’instruction suivante. Sinon, ajoutez l’instruction de permission suivante aux politiques IAM du rôle. Veillez à modifier les noms des buckets et, si vous le souhaitez, à spécifier les chemins contenant vos archives de logs.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "DatadogRehydrateLogArchives",
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": [
"arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*",
"arn:aws:s3:::<MY_BUCKET_NAME_2_/_MY_OPTIONAL_BUCKET_PATH_2>/*"
]
},
{
"Sid": "DatadogRehydrateLogArchivesListBucket",
"Effect": "Allow",
"Action": "s3:ListBucket",
"Resource": [
"arn:aws:s3:::<MY_BUCKET_NAME_1>",
"arn:aws:s3:::<MY_BUCKET_NAME_2>"
]
}
]
}
Ajout de la délégation de rôle aux archives S3
Datadog prend en charge la réhydratation uniquement à partir d’archives utilisant la délégation de rôle pour accorder l’accès. Après avoir modifié votre rôle IAM Datadog pour inclure la stratégie IAM précédente, assurez-vous que chaque archive sur votre page de configuration d’archive dispose de la bonne combinaison Compte AWS + Rôle.
Pour réhydrater les logs depuis vos archives, Datadog utilise un compte de service avec le rôle Lecteur des objets du stockage. Vous pouvez accorder ce rôle à votre compte de service Datadog depuis la page d’administration IAM de Google Cloud en modifiant les autorisations du compte de service, en ajoutant un autre rôle, puis en sélectionnant Storage > Storage Object Viewer.
Le rôle Storage Object Viewer est la configuration recommandée par Datadog. Si votre organisation exige un rôle personnalisé à privilèges limités, les autorisations individuelles suivantes sont requises pour la réhydratation :
storage.objects.getstorage.objects.list
Comprendre les tailles d’analyse de réhydratation
La requête est appliquée après que les fichiers correspondant à la période ont été téléchargés depuis votre archive. Par conséquent, la taille de l’analyse de réhydratation est basée sur le volume total de logs récupérés depuis l’archive, et non sur le nombre de logs correspondant à la requête. Le stockage d’archive est basé sur le temps, donc les requêtes limitées à des filtres spécifiques (tels que service:A) récupèrent néanmoins tous les logs dans la fenêtre temporelle sélectionnée. Cela inclut les logs d’autres services (tels que service:A et service:B).
Réduire la plage de dates est le moyen le plus efficace de limiter la taille de l’analyse et de minimiser les coûts de transfert de données cloud, car les filtres de requête sont appliqués après le téléchargement des données
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
*Log Rehydration est une marque de commerce de Datadog, Inc.