Ce produit n'est pas pris en charge par le
site Datadog que vous avez sélectionné. (
).
Présentation
Datadog Experiments est une plateforme composable pour l’expérimentation de bout en bout. Une expérience dans Datadog se compose de deux éléments :
- Une affectation randomisée de sujets (généralement des utilisateurs) à deux variantes ou plus, soit à partir d’un Datadog Feature Flag, soit à partir du système de randomisation de votre choix
- Un ensemble de métriques à comparer entre les variantes, calculées soit dans Datadog, soit avec des analyses natives d’entrepôt de données.
Pour commencer, sélectionnez un lien dans le tableau ci-dessous. Sinon, poursuivez votre lecture pour en savoir plus sur Datadog Experiments.
Randomisation
Chaque expérience nécessite un moyen d’assigner des sujets à une variante de contrôle ou de traitement. Datadog prend en charge deux approches.
Datadog Feature Flags
Datadog Feature Flags est le moyen par défaut de randomiser les expériences. Créez un Feature Flag, implémentez-le avec le SDK Feature Flags et transmettez un identifiant de sujet stable en tant que targetingKey afin que le même utilisateur reçoive toujours la même variante. Datadog utilise le hachage déterministe pour maintenir la cohérence des assignations entre les sessions et les appareils.
Lorsque vous planifiez et lancez une expérience, liez-la à un Datadog Feature Flag pour définir les fractionnements de trafic, les règles de ciblage et le comportement de déploiement. Vous pouvez également créer une expérience directement depuis la page de détails d’un Datadog Feature Flag. Pour randomiser par une unité autre que l’utilisateur — par exemple, une organisation — consultez Types de sujets.
Apportez votre propre randomisation
Si vous randomisez les sujets en dehors de Datadog — par exemple, avec un système interne — utilisez les Modèles SQL d’exposition pour indiquer à Datadog qui a été exposé à chaque expérience et quand. Les modèles SQL d’exposition interrogent les enregistrements d’exposition depuis votre entrepôt connecté et les mappent aux champs Datadog tels que la clé de sujet, l’horodatage, l’ID d’expérience et l’ID de variante.
Datadog déduplique automatiquement les données d’exposition : si un utilisateur apparaît dans plusieurs variantes pour la même expérience, cet utilisateur est exclu de l’analyse. Lorsque les expositions proviennent de votre entrepôt au lieu de Datadog Feature Flags, les métriques basées sur les événements du SDK Datadog ne sont pas prises en charge ; vous avez besoin de métriques natives de l’entrepôt.
Métriques
Les métriques d’expérience définissent ce que vous mesurez pour décider si un changement a réussi. Créez au moins une métrique principale avant de lancer une expérience, et ajoutez des métriques secondaires comme garde-fous contre les effets involontaires sur les performances, l’engagement ou les revenus.
Mode natif d’entrepôt
En mode natif d’entrepôt, Datadog exécute l’analyse d’expérience directement dans Snowflake, BigQuery, Redshift ou Databricks. Après avoir connecté votre entrepôt, créez un Modèle SQL de métrique qui mappe les tableaux de l’entrepôt vers Datadog, puis définissez des métriques à partir de ce modèle. Mappez chaque modèle à un ou plusieurs types de sujets et spécifiez une colonne d’horodatage afin que Datadog puisse joindre les événements de métrique aux expositions de l’expérience.
Le mode entrepôt est requis lorsque vous utilisez des modèles SQL d’exposition pour la randomisation. Il convient également aux équipes dont la source de vérité pour les métriques métier se trouve déjà dans l’entrepôt.
Product Analytics et RUM
Pour les expériences côté client, construisez des métriques à partir des événements collectés par les SDK Real User Monitoring (RUM) et Product Analytics. Définissez des métriques à partir d’actions, de vues, de sessions et d’autres types d’événements, puis choisissez une méthode d’agrégation telle que le nombre d’événements, le nombre d’utilisateurs uniques ou la somme d’une propriété.
Cette approche fonctionne lorsque la randomisation est effectuée via les Datadog Feature Flags et que vous souhaitez mesurer le comportement des utilisateurs, la conversion dans un entonnoir ou les performances des applications sans interroger d’entrepôt. Les métriques de Product Analytics et RUM sont disponibles en temps quasi réel au lancement des expériences.
Statistiques
Datadog applique une analyse statistique pour comparer les variantes et estimer le lift. Lors de la configuration d’une expérience, choisissez une méthode d’analyse (fréquentiste séquentielle, fréquentiste à échantillon fixe ou bayésienne) et effectuez éventuellement un calcul de taille d’échantillon pour estimer la durée nécessaire de l’expérience. Une fois les résultats obtenus, utilisez Global Lift pour comprendre comment le lift d’une expérience ciblée se traduit par un impact sur le total des métriques de votre entreprise, et Cumulative Impact pour agréger les effets ajustés au bruit sur de nombreuses expériences portant sur la même métrique.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
