Créez des métriques d'expérimentation

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Présentation

Créez les métriques que vous souhaitez mesurer dans vos expériences. Vous pouvez utiliser des données issues de Real User Monitoring (RUM), de Product Analytics ou de votre propre entrepôt pour créer des métriques Datadog Experiments.

Si votre organisation utilise des rôles personnalisés, vous devez disposer des autorisations Product Analytics appropriées pour créer des métriques d'expérimentation.

Créer une métrique

Sélectionnez votre source de données :

    Prérequis

    Pour créer une métrique à partir de données Product Analytics ou RUM, vous devez avoir installé le SDK côté client de Datadog dans votre application et capturer activement des données. Si vous n’avez pas encore configuré votre SDK, sélectionnez votre type d’application pour commencer :

    Product Analytics utilise les mêmes SDK et la même configuration que Real User Monitoring (RUM). Une fois votre SDK configuré à l’aide de la documentation de configuration RUM, créez votre métrique dans l’interface utilisateur de Product Analytics.

    Créer une métrique à l’aide de données Product Analytics ou RUM

    Pour créer une métrique pour votre expérimentation :

    1. Accédez à la page Métriques dans Datadog Product Analytics.
    2. Sélectionnez l’onglet Metrics et cliquez sur Create Metric dans le coin supérieur droit.
    3. Ajoutez un Metric name et, éventuellement, un Description.
    4. Sous la section Metric definition, cliquez sur Select an event pour ouvrir le sélecteur d’événements. Le graphique sur la droite se met à jour en temps réel à mesure que vous configurez votre métrique.
      1. Recherchez un événement spécifique ou utilisez le filtre By Type pour parcourir par type d’événement.
    5. Sélectionnez une méthode d’agrégation dans la liste déroulante. La valeur par défaut est Count of events.
    6. Cliquez sur Add Filter pour filtrer votre métrique par propriétés supplémentaires.
    7. (Facultatif) Sous la section Additional settings :
      1. Activez Mark as certified pour indiquer que cette métrique est approuvée pour la prise de décisions importantes. Cela nécessite l’autorisation Product Analytics Certified Metrics Write.
      2. Ajustez Experiment settings et Units selon vos besoins. Les valeurs par défaut conviennent à la plupart des cas d’utilisation.
    8. Cliquez sur Save.
    La page Create Metric avec le Metric name défini sur « Example metric », l'événement « click on ADD TO CART » sélectionné, la méthode d'agrégation définie sur Nombre d'événements, la section Paramètres supplémentaires, un aperçu du graphique à barres sur la droite et le bouton Save mis en surbrillance.

    Ajouter des filtres

    Vous pouvez filtrer votre métrique en sélectionnant un filtre Event properties, tel que Service, Pays ou Type d’appareil. Utilisez le filtre By Data Type pour restreindre la liste des propriétés disponibles par type (par exemple, Chaîne ou Booléen).

    Si vous ne voyez pas la propriété dont vous avez besoin, saisissez le nom de la propriété dans le champ Custom property (par exemple, @context.tracking) et cliquez sur Add.

    Le panneau Filtrer par ouvert dans la section Définition de la métrique, affichant Toutes les propriétés sélectionnées, les propriétés d'événement telles que ID d'application, Service, Nom du navigateur et Pays au centre, un filtre Par type de données avec des options Numérique, Chaîne et Booléen sur la gauche, et une section Propriété personnalisée en bas avec un champ de texte affichant l'espace réservé « e.g. @context.tracking » et un bouton Ajouter.

    Prérequis

    Pour créer une métrique à partir des données de votre entrepôt, vous devez connecter votre entrepôt à Datadog. Datadog prend en charge BigQuery, Databricks, Redshift et Snowflake.

    Une fois votre entrepôt connecté, créez un modèle SQL pour mapper vos données vers Datadog, puis utilisez le modèle pour créer une métrique.

    Créer un modèle SQL

    Rédigez votre requête SQL pour définir et prévisualiser vos données, puis configurez votre modèle pour mapper les données vers Datadog.

    Rédigez votre SQL

    Commencez par rédiger une requête pour récupérer vos données:

    1. Accédez à la page Métriques dans Datadog Product Analytics.
    2. Sélectionnez l’onglet Metric SQL Models et cliquez sur Create SQL Model.
    3. Dans la section Write SQL, saisissez une requête SQL qui renvoie les données qui vous intéressent. L’éditeur SQL prend en charge SELECT * FROM et des instructions SQL plus avancées.
    4. Cliquez sur Run pour prévisualiser vos données.
    La section Write SQL de la page Create Metric SQL Model montrant une requête SELECT pour user_id, revenue_timestamp et amount à partir d'un tableau de commandes de revenus, avec un aperçu de requête réussi ci-dessous affichant les colonnes USER_ID, REVENUE_TIMESTAMP et AMOUNT.

    Pour les grands tableaux, utilisez des variables de modèle SQL pour appliquer les filtres de date de Datadog à votre requête et réduire la quantité de données que votre entrepôt analyse à chaque exécution.

    Mappez vos données d’entrepôt à Datadog

    Après avoir prévisualisé vos données, mappez-les à Datadog. Dans la section Structure your model :

    1. Ajoutez un Metric SQL Model Name (par exemple, Revenue Orders).
    2. (Facultatif) Activez Mark as certified pour indiquer que ce modèle SQL est approuvé pour une prise de décision importante. Cela nécessite l’autorisation Product Analytics Certified Metrics Write.
    3. Mappez les colonnes de votre tableau d’entrepôt vers les éléments suivants :
      • Timestamp column
        • La colonne qui répertorie l’horodatage associé à l’événement de métrique.
        • L’analyse inclut uniquement les lignes créées après l’inscription du sujet à l’expérimentation.
      • Subject Type
        • L’attribut que Datadog utilise pour attribuer aléatoirement des groupes d’expérimentation.
        • Vous pouvez définir le type de sujet et sa colonne d’entrepôt par défaut sur la page Types de sujets. Par exemple, vous pouvez utiliser user_id pour un utilisateur individuel ou org_id pour un compte d’organisation.
      • Measures (facultatif)
        • Les colonnes numériques de votre tableau d’entrepôt que Datadog peut agréger en métriques (par exemple, une colonne revenue ou amount).
        • Chaque modèle SQL inclut automatiquement une mesure each record. Utilisez cette mesure pour compter le nombre de lignes pertinentes dans le tableau pour un sujet d’expérimentation spécifique.
    4. Cliquez sur Create Metric SQL Model pour enregistrer votre modèle SQL.
    Le panneau Structurez votre modèle avec le champ Nom du modèle SQL de métrique défini sur « Revenue Orders » et mis en surbrillance, un bouton bascule Marquer comme certifié, la colonne Horodatage définie sur REVENUE_TIMESTAMP, le Type de sujet défini sur Utilisateur (@usr.id) avec USER_ID sélectionné dans le sélecteur de colonne, un menu déroulant Mesures affichant « Revenue Orders (chaque enregistrement) » et le bouton Créer un modèle SQL de métrique mis en surbrillance.

    Créez une métrique à l’aide de votre modèle SQL

    Une fois votre modèle SQL créé, utilisez-le pour créer une métrique :

    1. Accédez à la page Métriques dans Datadog Product Analytics.
    2. Sélectionnez l’onglet Metrics et cliquez sur Create Metric dans le coin supérieur droit.
    3. Ajoutez un Metric name et, éventuellement, un Description.
    4. Sous la section Metric definition, cliquez sur Select an event pour ouvrir le sélecteur d’événements. Le graphique sur la droite se met à jour en temps réel à mesure que vous configurez votre métrique.
      1. Sélectionnez le modèle SQL pertinent. Vos modèles SQL apparaissent sous leur source de données (par exemple, Revenue Orders sous Snowflake).
    5. Sélectionnez une méthode d’agrégation dans la liste déroulante.
    6. (Facultatif) Sous la section Additional settings :
      1. Activez Mark as certified pour indiquer que cette métrique est approuvée pour une prise de décision importante. Cela nécessite l’autorisation Product Analytics Certified Metrics Write.
      2. Ajustez Experiment settings et Units selon vos besoins. Les valeurs par défaut conviennent à la plupart des cas d’utilisation.
    7. Cliquez sur Save.
    Le sélecteur d'événements Créer une métrique affichant Tous les événements sélectionnés, avec des types d'événements incluant Snowflake, Actions, Vues, Sessions, Erreurs et Tâches longues sur la gauche, et le modèle SQL Revenue Orders mis en surbrillance sous Snowflake sur la droite, affichant Mesures : montant et Dimensions filtrables : N/A.

    Méthodes d’agrégation

    Les méthodes d’agrégation déterminent la manière dont Datadog résume les données pour chaque sujet d’expérience. Un sujet d’expérience est l’unité que Datadog randomise pour l’expérience. Il s’agit généralement d’un utilisateur, mais cela peut aussi être une organisation, un cookie ou un appareil, selon la façon dont vous configurez votre expérience.

    Datadog Experiments prend en charge les méthodes d’agrégation suivantes :

    • Count of events (par défaut)
    • Count of unique users (utile pour les métriques de conversion)
    • Sum of une propriété d’événement (utile pour les métriques de revenus)
    • Distinct values of une propriété d’événement (utile pour les métriques de pages uniques vues)
    • Percentile d’une propriété d’événement (utile pour les métriques de latence)
    • Average of une propriété d’événement (utile pour les métriques de satisfaction)
    La liste déroulante des méthodes d'agrégation affiche « Count of unique users » (selected) et « Count of events » en haut, suivie d'une section « SELECT A MEASURE » proposant les options « Sum of », « Distinct values of », « Percentile » et « Average of », avec une description indiquant « The number of users who performed the event » sur la droite.

    Datadog calcule des métriques pour chaque sujet d’expérience. Par exemple, une métrique Count of events sur une expérience randomisée par utilisateur calcule le nombre total d’événements pour tous les utilisateurs de la variante (groupe d’expérience) divisé par le nombre d’utilisateurs dans cette variante.

    Métriques de ratio

    Cliquez sur Create Ratio pour diviser votre métrique par une valeur autre que le nombre par défaut de sujets de l’expérience. Le dénominateur peut utiliser l’une des méthodes d’agrégation. Par exemple, divisez les achats par les pages vues des produits pour mesurer la conversion à une étape spécifique de l’entonnoir, plutôt que sur tous les utilisateurs inscrits.

    Datadog prend en compte les corrélations entre le numérateur et le dénominateur en utilisant la méthode delta.

    La section de définition de la métrique montrant l'événement « click on ADD TO CART » avec l'agrégation Count of events et une option Add Filter, le bouton Create Ratio mis en surbrillance ci-dessous, ainsi que la section Additional settings avec le bouton bascule Mark as certified, Experiment settings et Units.

    Options avancées

    Datadog Experiments prend en charge les options avancées suivantes. Celles-ci peuvent être modifiées sous Additional settings > Experiment settings lors de la création d’une métrique.

    Filtres de période
    Par défaut, Datadog inclut tous les événements entre la première exposition d’un utilisateur et la fin de l’expérience. Utilisez ce paramètre pour mesurer une valeur limitée dans le temps, telle que « sessions within 7 days ». Si vous ajoutez un filtre de période, la métrique inclut uniquement les événements de la fenêtre temporelle spécifiée, à partir du moment où l’utilisateur est inscrit pour la première fois à l’expérience.
    Direction souhaitée de la métrique
    Datadog met en évidence les résultats statistiquement significatifs. Utilisez ce paramètre pour spécifier si vous souhaitez que cette métrique augmente ou diminue.
    Gestion des singularités
    Les données réelles incluent souvent des singularités extrêmes qui peuvent avoir un impact sur les résultats de l’expérience. Utilisez ce paramètre pour définir un seuil auquel Datadog tronque les données. Par exemple, définissez une limite supérieure de 99 % pour tronquer tous les résultats au 99e percentile de la métrique.

    Pour aller plus loin

    Documentation, liens et articles supplémentaires utiles:

    Prenez des décisions de conception basées sur les données avec Product AnalyticsBLOG more more Comment nous avons conçu Datadog ExperimentsBLOG more more