Les tables de référence vous permettent de combiner des métadonnées personnalisées avec des informations déjà présentes dans Datadog. Vous pouvez définir de nouvelles entités telles que des détails clients, des noms de services et des informations, ou des adresses IP en téléchargeant un fichier CSV contenant un tableau d’informations. Les entités sont représentées par une clé primaire dans une table de référence et les métadonnées associées.
Vous pouvez par exemple :
Enrichissez les journaux et les données de sécurité pour des enquêtes plus rapides : Corrélez les journaux, les traces et les événements de sécurité avec un contexte commercial à jour—tel que les noms de clients, les propriétaires de comptes, les renseignements sur les menaces ou les descriptions de codes d’erreur—pour accélérer le dépannage et l’analyse.
Segmentez les utilisateurs et les ressources pour des analyses ciblées et une gestion des coûts: regroupez les utilisateurs, les clients ou les ressources cloud en segments significatifs (comme les niveaux d’utilisateurs, les équipes ou les unités commerciales) pour des analyses de produits plus approfondies et une attribution précise des coûts en utilisant des outils comme Tag Pipelines.
Améliorez les données pour des requêtes et des rapports avancés: effectuez une jointure de données externes issues des Reference Tables dans Sheets, DDSQL Editor ou Notebooks pour réaliser des requêtes complexes, des agrégations et créer des rapports personnalisés sans expertise technique.
Créer une table de référence
Datadog prend en charge les sources de données suivantes : y compris les intégrations et le téléchargement manuel de fichiers CSV :
Cliquez sur New Reference Table +, puis téléchargez un fichier CSV, nommez les colonnes appropriées et définissez la clé primaire pour les lookups.
Remarque : La méthode de téléchargement manuel de fichiers CSV prend en charge des fichiers allant jusqu’à 4 Mo.
Amazon S3
Les Reference Tables peuvent automatiquement récupérer un fichier CSV à partir d’un bucket Amazon S3 pour maintenir vos données à jour. L’intégration recherche des modifications dans le fichier CSV dans S3, et lorsque le fichier est mis à jour, il remplace la table de référence par les nouvelles données. Cela permet également la mise à jour via l’API S3 une fois que la Reference Table initiale est configurée. Remarque : Les tables de référence ne sont pas remplacées si le contenu du fichier CSV reste inchangé.
Pour mettre à jour les tables de référence depuis S3, Datadog utilise le rôle IAM dans votre compte AWS que vous avez configuré pour l’intégration AWS. Si vous n’avez pas encore créé ce rôle, suivez ces étapes pour le faire. Pour permettre à ce rôle de mettre à jour vos tables de référence, ajoutez la déclaration de permission suivante à ses politiques IAM. Assurez-vous de modifier les noms de bucket pour correspondre à votre environnement.
Remarque : Si vous utilisez le chiffrement côté serveur, vous pouvez télécharger des tables de référence chiffrées avec des clés gérées par Amazon S3 (SSE-S3) ou des clés du service de gestion des clés AWS (SSE-KMS).
{"Statement":[{"Sid":"EnrichmentTablesS3","Effect":"Allow","Action":["s3:GetObject",// Grant KMS decrypt permissions if uploading KMS-encrypted object
// "kms:Decrypt",
"s3:ListBucket"],"Resource":["arn:aws:s3:::<MY_BUCKET_NAME_1/*>","arn:aws:s3:::<MY_BUCKET_NAME_2>"]}],"Version":"2012-10-17"}
Définir la table
Cliquez sur New Reference Table +, puis ajoutez un nom, sélectionnez Amazon S3, remplissez tous les champs, cliquez sur importer et définissez la clé primaire pour les lookups.
Remarque : La méthode de téléchargement depuis un bucket S3 prend en charge des fichiers allant jusqu’à 200 Mo.
Dans le portail Azure, sélectionnez le compte de stockage qui contient vos fichiers de table de référence.
Dans votre compte de stockage, accédez à Contrôle d’accès (IAM) et sélectionnez Ajouter > Ajouter une attribution de rôle.
Saisissez et sélectionnez le rôle Lecteur de données de blob de stockage. Le rôle Lecteur de données de blob de stockage permet à Datadog de lire et de lister les conteneurs de stockage et les blobs.
Dans l’onglet Membres, cliquez sur + Select members. Sélectionnez l’enregistrement d’application que vous avez créé à l’étape 1.
Après avoir examiné et attribué le rôle, vous pouvez importer dans les tables de référence depuis Azure. Il peut falloir quelques minutes pour que votre configuration Azure se mette à jour dans Datadog.
Remarque : Le téléchargement depuis le stockage d’objets cloud prend en charge des fichiers allant jusqu’à 200 Mo.
Stockage Google Cloud
Stockage Google Cloud
Les Reference Tables ne sont pas disponibles pour votre site Datadog sélectionné ()
Si vous n’avez pas configuré d’intégration Google Cloud avec Datadog ou si vous utilisez des fichiers d’ID de projet Google hérités (les projets hérités sont indiqués dans votre tuile d’intégration GCP), suivez les instructions pour configurer l’intégration Google Cloud Platform. Cela implique de créer un compte de service Google Cloud.
Depuis la console Google Cloud, accédez à la page Stockage Cloud.
Trouvez le bucket auquel vous souhaitez accorder l’accès et cliquez dessus.
Cliquez sur l’onglet Permissions. Sous “View By Principals”, cliquez sur le bouton Grant Access.
Dans la fenêtre qui apparaît, sous le champ “Nouveaux principaux”, entrez l’adresse e-mail du compte de service que vous avez créé et ajouté au panneau GCP à l’étape 1. Sous “Attribuer des rôles”, sélectionnez le rôle Visionneuse d’objets de stockage. Cliquez sur Enregistrer.
Après avoir examiné et attribué le rôle, vous pouvez importer dans Reference Tables depuis Google Cloud. Il peut falloir quelques minutes pour que votre configuration se mette à jour dans Datadog.
Remarque : Le téléchargement depuis le stockage d’objets cloud prend en charge des fichiers allant jusqu’à 200 Mo.
Terraform
Utilisez la ressource datadog_reference_table pour gérer les tables de référence en tant qu’infrastructure en tant que code. Configurez la ressource avec le schéma de votre table, les clés primaires et les détails d’accès au Stockage Cloud.
Remarque : Terraform prend en charge les mêmes limites de taille de fichier que les téléchargements de stockage cloud. Voir Reference Table limits pour plus de détails.
Créez des tables de référence de manière programmatique en utilisant l’API Datadog.
Pour les sources de stockage cloud (S3, Azure, GCS), fournissez access_details dans file_metadata pointant vers un fichier CSV dans le stockage cloud.
Pour les fichiers locaux, appelez POST /api/latest/reference-tables/uploads pour obtenir un ID de téléchargement et téléchargez vos données CSV. Ensuite, appelez le point de terminaison Créer une Table de Référence avec le upload_id dans file_metadata.
Remarque : L’API prend en charge les mêmes limites de taille de fichier que les téléchargements de stockage cloud. Voir Limites des Tables de Référence pour plus de détails.
Cette Reference Table peut être utilisée pour ajouter des attributs supplémentaires aux journaux avec le Lookup Processor.
Règles de validation
Les noms de tableau de référence et les en-têtes de colonne sont validés selon les conventions de nommage suivantes et mis à jour ou normalisés automatiquement, si nécessaire.
Règle
Normalisation
Les noms et en-têtes ne peuvent pas être dupliqués.
Les noms dupliqués sont énumérés. Par exemple, si fileid est utilisé deux fois comme nom, la première instance devient fileid1 et la seconde instance devient fileid2. Si un nom ou un en-tête est énuméré et dépasse 56 caractères, il est rejeté et doit être renommé.
Les noms et en-têtes ne peuvent pas contenir de lettres majuscules.
Les noms avec des lettres majuscules sont convertis en minuscules. Cette conversion peut entraîner des noms dupliqués, qui sont ensuite énumérés. Par exemple, Fileid et FileID deviennent tous deux fileid et sont énumérés en fileid1 et fileid2 respectivement.
Les noms et en-têtes ne peuvent pas contenir d’espaces.
Les espaces autres que les espaces de début et de fin sont remplacés par des caractères de soulignement _. Les espaces de début et de fin sont supprimés. Par exemple, customer names est remplacé par customer_names.
Les noms et en-têtes doivent commencer par une lettre minuscule.
Les caractères majuscules sont convertis en minuscules. Les caractères non alphabétiques en tête sont supprimés. Par exemple, 23Two_three devient two_three.
Les noms et en-têtes ne supportent que les lettres minuscules, les chiffres et le caractère _.
Les caractères non pris en charge sont remplacés par le caractère souligné _, sauf si cela enfreint l’une des règles ci-dessus. Dans ce cas, les caractères non pris en charge sont normalisés selon la règle respective.
Les noms et en-têtes doivent comporter 56 caractères ou moins.
Aucune normalisation n’est effectuée. Les noms et en-têtes qui contiennent plus de 56 caractères sont rejetés et doivent être renommés.
Modifier une table de référence
Pour modifier une table de référence existante avec de nouvelles données, sélectionnez une table et cliquez sur Mettre à jour la configuration dans le coin supérieur droit.
Le CSV sélectionné est inséré dans la table, ce qui signifie que :
Toutes les lignes existantes avec la même clé primaire sont mises à jour
Toutes les nouvelles lignes sont ajoutées
Toutes les anciennes lignes qui ne figurent pas dans le nouveau fichier sont supprimées
Une fois la table enregistrée, les lignes insérées sont traitées de manière asynchrone et mises à jour dans l’aperçu. Cela peut prendre jusqu’à 10 minutes pour que la mise à jour soit terminée.
Exporter une table de référence
Pour exporter une table de référence, sélectionnez une table et cliquez sur Interroger dans l’éditeur DDSQL. À partir de là, vous pouvez utiliser l’éditeur DDSQL pour exporter vers CSV, Dashboard, et plus encore.
Supprimer une table de référence
Pour supprimer une table de référence, sélectionnez une table, cliquez sur l’icône d’engrenage dans le coin supérieur droit, puis cliquez sur Supprimer la table.
La table et toutes les lignes associées sont supprimées.
S’il y a un processeur de recherche utilisant une table de référence pour l’enrichissement des journaux, alors l’enrichissement s’arrête. Cela peut prendre jusqu’à 10 minutes pour que l’enrichissement s’arrête.
Surveiller l’activité de la table de référence
Vous pouvez surveiller l’activité de la table de référence avec Audit Trail ou Change Events. Pour voir l’audit et les événements de changement pour une table de référence spécifique, sélectionnez la table et cliquez sur l’icône des paramètres à côté de Mettre à jour la configuration. Vous avez besoin des autorisations de gestion d’organisation pour voir l’audit.
Journal d’audit
Utilisez le journal d’audit des tables de référence pour suivre les actions déclenchées par les utilisateurs. Les événements du journal d’audit sont envoyés lorsqu’un utilisateur télécharge ou importe initialement un fichier CSV, ou lorsqu’un utilisateur crée, modifie ou supprime une table de référence.
Le reference_table_file Type d’actif affiche les événements d’importation/téléchargement et le reference_table Type d’actif affiche les événements de la table de référence. Le journal d’audit fournit une visibilité sur le contenu d’une table de référence.
Événements de changement
Utilisez les événements de changement pour les tables de référence pour suivre les actions automatisées ou déclenchées par les utilisateurs. Ils sont envoyés lorsqu’un fichier cloud est importé par un utilisateur ou lors d’un rafraîchissement automatique. (Le téléchargement d’un fichier local ne génère pas d’événement de changement.) Bien que les événements puissent suivre les actions déclenchées par les utilisateurs, ils sont principalement utilisés pour suivre les importations déclenchées lorsque une table de référence tire automatiquement un nouveau fichier CSV.
Les événements contiennent des informations sur le statut de succès, le chemin et le nom de la table de l’importation. Si une erreur se produit, des informations sur le type d’erreur sont fournies.
Alerte
Pour être alerté des erreurs rencontrées lors des importations, utilisez les Moniteurs d’Événements pour les événements de changement de table de référence. Les événements de changement de table de référence sont envoyés depuis la source reference_tables.
Vous pouvez créer des moniteurs depuis l’onglet Moniteurs, ou cliquer sur l’icône des Paramètres à côté de Nouvelle Table de Référence + pour générer un moniteur pré-rempli.
Limites de la Table de Référence
Une table de référence peut avoir jusqu’à 50 colonnes
La taille d’un fichier de table de référence téléchargé via l’interface utilisateur peut atteindre 4 Mo
La taille d’un fichier de table de référence téléchargé via un fichier de bucket cloud peut atteindre 200 Mo
La taille d’un fichier de table de référence téléchargé via une intégration peut atteindre 200 Mo
Vous pouvez avoir jusqu’à 100 tables de référence par organisation
Contactez le support si vous avez un cas d’utilisation qui dépasse ces limites.
Fréquence de mise à jour automatique
Les tables de référence peuvent être mises à jour automatiquement, en fonction de la source de données :
Stockage de fichiers cloud (Amazon S3, Azure Storage, Google Cloud Storage) : Toutes les 5 minutes
Intégrations : Chaque heure
Téléchargements manuels de CSV : Les mises à jour automatiques ne sont pas prises en charge
Permissions
Accès basé sur les rôles
Pour voir les tables de référence, les utilisateurs nécessitent la permission reference_tables_read. Pour créer ou modifier des tables de référence, les utilisateurs ont besoin de la permission reference_tables_write.
Pour plus d’informations sur les permissions, consultez la documentation RBAC.
Contrôles d’accès granulaires
Restreindre l’accès à des tables individuelles en spécifiant une liste d’équipes, de rôles ou d’utilisateurs autorisés à les consulter ou à les modifier.
Cliquez sur une table pour ouvrir sa page de détails.
Cliquez sur l’icône d’engrenage dans le coin supérieur droit.
Sélectionnez Permissions dans le menu.
Cliquez sur Restreindre l’accès.
Utilisez le menu déroulant pour sélectionner une ou plusieurs équipes, rôles ou utilisateurs.
Cliquez sur Ajouter.
Sélectionnez soit Éditeur soit Lecteur.
Cliquez sur Enregistrer pour appliquer les modifications.
Lectures complémentaires
Documentation, liens et articles supplémentaires utiles:
