Crear métricas de experimento

Esta traducción no está actualizada. Para consultar la última versión en inglés, haz clic aquí
Este producto no es compatible con el sitio Datadog seleccionado. ().

Descripción general

Cree las métricas que desea medir en sus experimentos. Puede utilizar datos de Real User Monitoring (RUM), Product Analytics o su propio almacén de datos para crear métricas de Datadog Experiments.

Si su organización utiliza roles personalizados, debe tener los permisos de Product Analytics adecuados para crear métricas de experimento.

Crear una métrica

Seleccione su fuente de datos:

    Requisitos previos

    Para crear una métrica a partir de datos de Product Analytics o RUM, debe tener instalado el SDK del lado del cliente de Datadog en su aplicación y estar capturando datos activamente. Si aún no ha configurado su SDK, seleccione su tipo de aplicación para comenzar:

    Product Analytics utiliza los mismos SDKs y configuración que Real User Monitoring (RUM). Después de configurar su SDK utilizando la documentación de configuración de RUM, cree su métrica en la interfaz de usuario de Product Analytics.

    Crear una métrica utilizando datos de Product Analytics o RUM

    Para crear una métrica para su experimento:

    1. Navegue a la página de métricas en Datadog Product Analytics.
    2. Seleccione la pestaña Metrics y haga clic en Create Metric en la esquina superior derecha.
    3. Agregue un Metric name y, opcionalmente, un Description.
    4. En la sección Metric definition, haga clic en Select an event para abrir el selector de eventos. El gráfico de la derecha se actualiza en tiempo real a medida que configura su métrica.
      1. Busque un evento específico o use el filtro By Type para explorar por tipo de evento.
    5. Seleccione un método de agregación en el menú desplegable. El valor predeterminado es Count of events.
    6. Haga clic en Add Filter para filtrar su métrica por propiedades adicionales.
    7. (Opcional) En la sección Additional settings:
      1. Active Mark as certified para indicar que esta métrica está aprobada para la toma de decisiones importantes. Esto requiere el permiso de escritura de Métricas Certificadas de Product Analytics.
      2. Ajuste Experiment settings y Units según sea necesario. Los valores predeterminados funcionan para la mayoría de los casos de uso.
    8. Haga clic en Save.
    La página Crear métrica con el nombre de la métrica establecido en 'Example metric', el evento 'click on ADD TO CART' seleccionado, el menú desplegable del método de agregación establecido en Recuento de eventos, la sección Configuración adicional, una vista previa de gráfico de barras a la derecha y el botón Guardar resaltado.

    Agregar filtros

    Puede filtrar su métrica seleccionando un filtro Event properties, como servicio, país o tipo de dispositivo. Utilice el filtro By Data Type para limitar la lista de propiedades disponibles por tipo (por ejemplo, String o Boolean).

    Si no ve la propiedad que necesita, escriba el nombre de la propiedad en el campo Custom property (por ejemplo, @context.tracking) y haga clic en Add.

    El panel Filter by se abre dentro de la sección Metric definition, mostrando All Properties seleccionadas, Event properties como Application Id, Service, Browser Name y Country en el centro, un filtro By Data Type con opciones Numerical, String y Boolean a la izquierda, y una sección Custom property en la parte inferior con un campo de texto que muestra el marcador de posición 'e.g. @context.tracking' y un botón Add.

    Requisitos previos

    Para crear una métrica a partir de los datos de su almacén, debe conectar su almacén a Datadog. Datadog es compatible con BigQuery, Databricks, Redshift y Snowflake.

    Después de conectar su almacén, cree un modelo SQL para asignar sus datos a Datadog, luego use el modelo para crear una métrica.

    Crear un modelo SQL

    Escriba su consulta SQL para definir y obtener una vista previa de sus datos, luego configure su modelo para asignar los datos a Datadog.

    Escriba su SQL

    Comience escribiendo una consulta para recuperar sus datos:

    1. Navegue a la página de métricas en Datadog Product Analytics.
    2. Seleccione la pestaña Metric SQL Models y haga clic en Create SQL Model.
    3. En la sección Write SQL, ingrese una consulta SQL que devuelva los datos de su interés. El editor de SQL admite SELECT * FROM y sentencias SQL más avanzadas.
    4. Haga clic en Run para obtener una vista previa de sus datos.
    La sección Write SQL de la página Create Metric SQL Model que muestra una consulta SELECT para user_id, revenue_timestamp y amount de una tabla de pedidos de ingresos, con una vista previa de consulta exitosa debajo que muestra las columnas USER_ID, REVENUE_TIMESTAMP y AMOUNT.

    Para tablas grandes, utilice variables de plantilla SQL para aplicar los filtros de fecha de Datadog en su consulta y reducir la cantidad de datos que su almacén escanea en cada ejecución.

    Asigne sus datos de almacén a Datadog

    Después de obtener una vista previa de sus datos, asígnelos a Datadog. En la sección Structure your model:

    1. Agregue un Metric SQL Model Name (por ejemplo, Revenue Orders).
    2. (Opcional) Active Mark as certified para indicar que este modelo SQL está aprobado para la toma de decisiones importantes. Esto requiere el permiso de escritura de Métricas Certificadas de Product Analytics.
    3. Asigne las columnas de su tabla de almacén de datos a lo siguiente:
      • Timestamp column
        • La columna que enumera la marca de tiempo asociada con el evento de métrica.
        • El análisis solo incluye filas creadas después de que el sujeto se inscribe en el experimento.
      • Subject Type
        • El atributo que Datadog utiliza para asignar grupos de experimento de forma aleatoria.
        • Puede definir el tipo de sujeto y su columna de almacén predeterminada en la página Subject Types. Por ejemplo, puede usar user_id para un usuario individual o org_id para una cuenta de organización.
      • Measures (opcional)
        • Las columnas numéricas de su tabla de almacén de datos que Datadog puede agregar en métricas (por ejemplo, una columna revenue o amount).
        • Cada modelo SQL incluye automáticamente una medida each record. Use esta medida para contar el número de filas relevantes en la tabla para un sujeto de experimento específico.
    4. Haga clic en Create Metric SQL Model para guardar su modelo SQL.
    El panel Structure your model con el campo Metric SQL Model Name configurado en 'Revenue Orders' y resaltado, un interruptor Mark as certified, la columna Timestamp configurada en REVENUE_TIMESTAMP, Subject Type configurado en User (@usr.id) con USER_ID seleccionado en el selector de columnas, un menú desplegable Measures que muestra 'Revenue Orders (each record)', y el botón Create Metric SQL Model resaltado.

    Cree una métrica usando su modelo SQL

    Después de crear su modelo SQL, úselo para crear una métrica:

    1. Navegue a la página de métricas en Datadog Product Analytics.
    2. Seleccione la pestaña Metrics y haga clic en Create Metric en la esquina superior derecha.
    3. Agregue un Metric name y, opcionalmente, un Description.
    4. En la sección Metric definition, haga clic en Select an event para abrir el selector de eventos. El gráfico de la derecha se actualiza en tiempo real a medida que configura su métrica.
      1. Seleccione el modelo SQL relevante. Sus modelos SQL aparecen bajo su fuente de datos (por ejemplo, Revenue Orders bajo Snowflake).
    5. Seleccione un método de agregación en el menú desplegable.
    6. (Opcional) En la sección Additional settings:
      1. Active Mark as certified para indicar que esta métrica está aprobada para la toma de decisiones importantes. Esto requiere el permiso de escritura de Métricas Certificadas de Product Analytics.
      2. Ajuste Experiment settings y Units según sea necesario. Los valores predeterminados funcionan para la mayoría de los casos de uso.
    7. Haga clic en Save.
    El selector de eventos Crear métrica muestra Todos los eventos seleccionados, con tipos de eventos que incluyen Snowflake, Acciones, Vistas, Sesiones, Errores y Tareas largas a la izquierda, y el modelo SQL Revenue Orders resaltado bajo Snowflake a la derecha, mostrando Medidas: cantidad y Dimensiones filtrables: N/A.

    Métodos de agregación

    Los métodos de agregación determinan cómo Datadog resume los datos para cada sujeto del experimento. Un sujeto de experimento es la unidad que Datadog aleatoriza para el experimento. Por lo general, es un usuario, pero también puede ser una organización, una cookie o un dispositivo, dependiendo de cómo configure su experimento.

    Datadog Experiments admite los siguientes métodos de agregación:

    • Count of events (predeterminado)
    • Count of unique users (útil para métricas de conversión)
    • Sum of una propiedad de evento (útil para métricas de ingresos)
    • Distinct values of una propiedad de evento (útil para métricas de páginas únicas vistas)
    • Percentile de una propiedad de evento (útil para métricas de latencia)
    • Average of una propiedad de evento (útil para métricas de satisfacción)
    El menú desplegable del método de agregación muestra Count of unique users (seleccionado) y Count of events en la parte superior, seguido de una sección SELECT A MEASURE con las opciones Sum of, Distinct values of, Percentile y Average of, con una descripción que dice 'El número de usuarios que realizaron el evento' a la derecha.

    Datadog calcula métricas para cada sujeto del experimento. Por ejemplo, una Count of events métrica en un experimento aleatorizado por usuario calcula el número total de eventos para todos los usuarios en la variante (grupo de experimento) dividido por el número de usuarios en esa variante.

    Métricas de razón

    Haga clic en Create Ratio para dividir la métrica por un valor distinto al número predeterminado de sujetos del experimento. El denominador puede utilizar cualquiera de los métodos de agregación. Por ejemplo, divida las compras por las visitas a la página del producto para medir la conversión en un paso específico del embudo, en lugar de hacerlo entre todos los usuarios inscritos.

    Datadog tiene en cuenta las correlaciones entre el numerador y el denominador utilizando el delta method.

    La sección de definición de métricas que muestra el evento 'click on ADD TO CART' con la agregación Count of events y una opción Add Filter, el botón Create Ratio resaltado abajo, y la sección Additional settings con el interruptor Mark as certified, Experiment settings y Units.

    Opciones avanzadas

    Datadog Experiments admite las siguientes opciones avanzadas. Estas se pueden modificar en Additional settings > Experiment settings al crear una métrica.

    Filtros de marco temporal
    De forma predeterminada, Datadog incluye todos los eventos entre la primera exposición de un usuario y el final del experimento. Utilice esta configuración para medir un valor limitado en el tiempo, como "sesiones dentro de 7 días". Si agrega un filtro de marco temporal, la métrica solo incluye eventos de la ventana de tiempo especificada, comenzando en el momento en que el experimento inscribe al usuario por primera vez.
    Dirección deseada de la métrica
    Datadog resalta los resultados estadísticamente significativos. Utilice esta configuración para especificar si desea que esta métrica aumente o disminuya.
    Manejo de valores anómalos
    Los datos del mundo real a menudo incluyen valores anómalos extremos que pueden afectar los resultados del experimento. Utilice esta configuración para establecer un umbral en el que Datadog trunca los datos. Por ejemplo, establezca un límite superior del 99% para truncar todos los resultados en el percentil 99 de la métrica.

    Lecturas adicionales

    Documentación, enlaces y artículos útiles adicionales:

    Tome decisiones de diseño basadas en datos con Product AnalyticsBLOG more more Cómo creamos Datadog ExperimentsBLOG more more