Aperçu

La recherche d’archives vous permet d’interroger les journaux directement à partir des archives de stockage d’objets à long terme, sans les réhydrater au préalable. Utilisez la recherche d’archives pour un accès immédiat aux journaux archivés, pour des enquêtes, des audits ou des dépannages au-delà de votre période de conservation d’indexation.

La recherche d’archives diffère de la réhydratation en diffusant les résultats en temps réel pendant que les données sont analysées, plutôt qu’en s’exécutant comme un travail de lot en arrière-plan. C’est plus rentable, ne facturant que pour l’analyse elle-même avec les 100 000 premiers journaux conservés temporairement sans coût, et plus rapide.

Lorsque vous lancez une recherche

• Les journaux s’affichent sur une page de résultats dédiée.
• Jusqu’à 100 000 journaux sont conservés pendant 24 heures.
• Vous pouvez optionnellement Réhydrater les résultats avant ou après la recherche pour les conserver plus longtemps et les rendre disponibles dans tout Datadog.

Cette fonctionnalité prend en charge les journaux archivés via

• Datadog Log Management archives
• Observability Pipelines archives

Cas d’utilisation typiques

La recherche d’archives est idéale lorsque vous devez interroger des journaux stockés dans une archive externe. Les cas d’utilisation courants incluent :

• Investigations d’incidents : Récupérez les journaux liés à un transaction_id, user_id ou session_id qui tombent en dehors de votre conservation d’indexation.
  Exemple : Interrogez les journaux d’il y a trois semaines en utilisant un user_id spécifique, même si votre conservation indexée n’est que de 15 jours.

• Analyse de sécurité : Examinez les journaux archivés pour enquêter sur les tentatives de connexion ou d’autres activités par IP ou utilisateur.
  Exemple : Récupérez toutes les tentatives de connexion d’une adresse IP spécifique au cours des 12 derniers mois.

• Conformité et support d’audit : Accédez aux journaux clients ou de facturation archivés pour des audits sans réindexer de manière permanente de grands volumes de données.
  Exemple : Interrogez les journaux liés aux factures (customer_id:12345, service:billing) des 18 derniers mois pour un audit fiscal.

Prérequis

Avant d’utiliser la recherche d’archives :

1. Configurez une archive externe (Amazon S3, Azure Storage ou Google Cloud Storage). Voir Log Archives.
2. Assurez-vous que Datadog a la permission de lire depuis l’archive, voir Permissions spécifiques au cloud.
   • Amazon S3 : Délégation de rôle IAM
   • Azure Storage : Azure AD avec le rôle Contributeur de données de blob de stockage
   • **Google Cloud Storage :**Compte de service avec le rôle Visualiseur d’objets de stockage

Permissions

Exécuter une Archive Search nécessite la logs_write_historical_views permission. C’est une permission globale, mais les utilisateurs ne peuvent rechercher des journaux dans les archives que pour lesquelles ils disposent également de la Logs Read Archive permission.

Les résultats de la recherche d’archives sont visibles par tous les utilisateurs de votre organisation qui ont accès à la fonctionnalité de recherche d’archives. Cependant, les requêtes de restriction, telles que les filtres de sécurité des journaux et les restrictions de données configurées dans Datadog, sont toujours appliquées sur la page de résultats et s’appliquent à tous les utilisateurs. Cela signifie que chaque utilisateur ne peut voir que les journaux qu’il est autorisé à consulter en fonction des permissions et des filtres à l’échelle de l’organisation.

Pour plus d’informations sur les contrôles d’accès et la sécurité des journaux, consultez Comment configurer RBAC pour les journaux.

Lancement d’une recherche

1. Allez à Logs > Archive Search > New Search.
2. Sélectionnez une archive et une plage horaire.
3. Entrez une requête, comme user_id:abc123.
4. (Optionnel) Renommez la recherche.
5. Sous Mode, choisissez le type de recherche que vous souhaitez effectuer.
   • Choisissez Search pour récupérer les résultats en temps réel, avec jusqu’à 100 000 journaux conservés pendant 24 heures.
   • Choisissez Search & Rehydration pour réhydrater les résultats pour un accès complet à la plateforme et une conservation personnalisée.
6. Cliquez sur Search.

Les journaux s’affichent sur la page des résultats en temps réel. Une barre de progression indique l’état de l’analyse, et vous pouvez annuler la recherche à tout moment.

Aperçu de la requête

Lorsque vous effectuez une recherche, Datadog télécharge un petit échantillon (jusqu’à 1 000 journaux) de l’archive et de la plage horaire sélectionnées. Utilisez cet aperçu pour vérifier la syntaxe de la requête, inspecter la structure des journaux et ajuster les filtres.

Remarque : L’échantillon d’aperçu peut ne pas inclure les journaux qui correspondent à votre requête. C’est uniquement pour validation et exploration.

Voir et conserver les résultats

Par défaut, vous êtes facturé uniquement pour l’analyse. Les 100 000 premiers journaux sont stockés temporairement (24 heures) sans frais et accessibles directement depuis la page des résultats de recherche d’archive, où vous pouvez cliquer sur n’importe quel journal pour voir ses détails complets et son contexte. Après 24 heures, les résultats expirent automatiquement.

Pour conserver plus de données ou accéder aux journaux dans d’autres produits Datadog, choisissez l’une des options suivantes :

• Réhydratez avant le lancement : Conservez plus de 100 000 journaux, définissez une période de conservation personnalisée (par exemple, 7, 15 ou 30 jours) et accédez immédiatement aux résultats sur la plateforme.
• Réhydratez après l’achèvement : Pendant la fenêtre de 24 heures, vous pouvez réhydrater les résultats pour prolonger la conservation et les rendre disponibles dans Log Explorer, Dashboards et Notebooks.

Analysez les résultats

Après avoir lancé une recherche, les journaux s’affichent sur la page Archive Search Results. Depuis cette page, vous pouvez utiliser des filtres pour affiner les résultats et ouvrir des détails spécifiques des journaux pour enquêter sur les problèmes.

Limitations

Bien que la recherche d’archives donne accès aux journaux archivés, elle a des capacités analytiques limitées par rapport aux journaux indexés :

• Pas d’agrégations ni d’analyses : Vous ne pouvez pas exécuter d’agrégations, créer des visualisations ou effectuer des analyses avancées directement sur les résultats de la recherche d’archives.
• Page des résultats uniquement : Les résultats de la recherche d’archives ne sont disponibles que sur la page des résultats dédiée et ne peuvent pas être interrogés depuis d’autres parties de la plateforme Datadog (comme Dashboards, Notebooks ou Log Explorer).

Pour activer des analyses complètes et une visibilité sur l’ensemble de la plateforme, vous devez réhydrater les résultats de recherche (soit avant de lancer la recherche, soit après l’achèvement dans la fenêtre de 24 heures). Lorsque réhydratés, vos journaux deviennent disponibles dans tous les produits Datadog avec des capacités complètes d’agrégation, de visualisation et d’analytique.

Gérer les recherches

Depuis le Archive Search list view, vous pouvez :

• Annuler une recherche en cours : préserve les journaux déjà récupérés.
• Dupliquer une recherche : ouvre le formulaire de création de recherche d’archive avec les mêmes paramètres pour des relances efficaces.

Performance de recherche et optimisation

La recherche d’archive analyse les fichiers journaux archivés dans votre plage horaire sélectionnée. Le volume de scan fait référence à la taille totale des fichiers lus lors d’une requête. De grands volumes de scan peuvent augmenter à la fois le temps de recherche et les coûts de sortie dans le cloud.

Pour optimiser la performance et réduire les coûts :

• Réduisez la plage horaire : Limitez votre recherche à la plus petite fenêtre possible.
• Définir les limites de scan : Les administrateurs avec Logs Write Archives des permissions peuvent définir une taille de scan maximale par archive dans le Settings.
• Utiliser les attributs de partition (Aperçu) : La manière la plus efficace d’accélérer les recherches sur des données à faible cardinalité comme service, env ou status. Datadog ignore les partitions entières qui ne correspondent pas à votre requête.
• Utiliser les attributs de recherche (Aperçu) : La manière la plus efficace d’accélérer les recherches sur des données à haute cardinalité comme trace_id ou user_id.
• Utiliser la compression zstd : Les archives utilisent par défaut la compression zstd, ce qui réduit le volume de scan et les coûts de sortie dans le cloud par rapport à gzip. Si votre archive utilise gzip, consultez Archives de journaux pour passer à zstd.

Remarque : Seuls les journaux archivés après la configuration des attributs de partition ou de recherche bénéficient des recherches accélérées. Les journaux archivés avant cette configuration ne sont pas affectés.

Accélérez les recherches avec les attributs de partition

Vous pouvez configurer les attributs de partition sur vos archives pour regrouper les journaux par valeurs de champs à faible cardinalité au moment de l’écriture. Utilisez des attributs comme service, source, env ou status.

Les journaux qui partagent les mêmes valeurs de partition sont co-localisés dans le stockage. Lorsque vous effectuez une recherche, Datadog évalue votre requête par rapport aux métadonnées de partition et ignore les partitions qui ne correspondent pas, réduisant ainsi le volume total de données analysées.

Pour configurer cela, consultez la documentation sur les Archives de journaux.

Accélérez les recherches avec Lookup Attributes

Vous pouvez configurer les Lookup Attributes sur vos archives pour ignorer les blocs de données non pertinents dans votre bucket de stockage. Par exemple, si vous configurez trace_id ou user_id, vous réduisez considérablement le volume de données analysées et diminuez les frais de transfert sortant de votre fournisseur de cloud.

Pour configurer cela, consultez la documentation sur les Archives de journaux.

Attributs de partition vs. Attributs de recherche

Pour des performances de recherche maximales, combinez les deux : les attributs de partition restreignent le champ de recherche aux segments de données pertinents, tandis que les Lookup attributes vous permettent de trouver instantanément des journaux spécifiques au sein de ces segments.

Limite par défaut pour la Réhydratation des résultats

Les administrateurs ayant la Logs Write Archives permission peuvent configurer des contrôles par défaut pour garantir une utilisation efficace de Archive Search au sein des équipes. Cliquez Settings pour configurer :

• Default Rehydration volume limit : Définissez le nombre par défaut de journaux (en millions) pouvant être réhydratés par recherche d’archive en mode Search & Rehydration. Si la limite est atteinte, la recherche d’archive s’arrête automatiquement, mais les journaux déjà réhydratés restent accessibles. Les administrateurs peuvent également autoriser que cette limite soit modifiée lors de la création d’une recherche d’archive.

• Rehydration retention periods : Choisissez quelles périodes de conservation sont disponibles lors de la réhydratation des résultats. Seules les durées sélectionnées (par exemple, 3, 7, 15, 30, 45, 60, 90 ou 180 jours) apparaissent dans le menu déroulant lors de la sélection de la durée pendant laquelle les journaux doivent rester recherchables dans Datadog.

Autorisations spécifiques au cloud

Datadog nécessite l’autorisation de lire vos archives pour rechercher du contenu à partir de celles-ci. Cette autorisation peut être modifiée à tout moment.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DatadogUploadAndRehydrateLogArchives",
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject"],
      "Resource": [
        "arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*",
        "arn:aws:s3:::<MY_BUCKET_NAME_2_/_MY_OPTIONAL_BUCKET_PATH_2>/*"
      ]
    },
    {
      "Sid": "DatadogRehydrateLogArchivesListBucket",
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": [
        "arn:aws:s3:::<MY_BUCKET_NAME_1>",
        "arn:aws:s3:::<MY_BUCKET_NAME_2>"
      ]
    }
  ]
}

Lectures complémentaires

Documentation, liens et articles supplémentaires utiles:

Explorez les journaux dans DatadogDOCUMENTATION Configurez les archives de journauxDOCUMENTATION Gérez la conservation et l'indexation des journauxDOCUMENTATION