Lectura de los resultados del experimento
Este producto no es compatible con el
sitio Datadog seleccionado. (
).
Descripción general
Después de lanzar un experimento, la página de resultados del experimento es el lugar central para analizarlo. Desde esta página, usted puede:
- Mida las métricas: Revise los cuadros de mando que comparan el rendimiento del control y el tratamiento en sus métricas de decisión.
- Analice los resultados más a fondo: Desglose el aumento de la métrica por segmentos de usuario o grafique el aumento a lo largo del tiempo para comprender cómo funcionó su cambio en los diferentes grupos.
- Inspeccione las repeticiones de sesión: Abra las repeticiones de sesiones de usuarios individuales para ver cómo experimentó cada usuario cada variante.
- Documente los aprendizajes: Registre las conclusiones y los puntos clave para su equipo.
Las siguientes secciones explican el cuadro de mando de métricas y cómo explorar los resultados.
Diagnóstico de experimentos
Datadog ejecuta diagnósticos de experimentos con el análisis de experimentos para verificar los datos de exposición, los datos de métricas, la aleatorización y el estado del análisis. Revise las advertencias de diagnóstico antes de interpretar los resultados, especialmente cuando falte una métrica, sea inesperadamente cero o esté marcada con una advertencia.
Cuadro de mando de métricas
La página de resultados del experimento muestra un cuadro de mando para cada métrica de decisión. Cada fila resume cómo se comparó una métrica entre las variantes de tratamiento y control.
Qué muestra el cuadro de mando
Para cada métrica, el cuadro de mando muestra:
- Valores de control y tratamiento: El valor promedio de la métrica por sujeto en cada variante.
- Elevación relativa: El cambio porcentual en ese promedio entre el tratamiento y el control.
- Intervalo de confianza: Un rango de valores de elevación consistentes con los datos observados, que se muestra como una barra centrada en la estimación de la elevación relativa.
La amplitud y la interpretación del intervalo de confianza dependen del método de análisis configurado para el experimento.
Datadog analiza los experimentos a nivel de sujeto: la unidad que configuró al establecer el experimento, generalmente un usuario. Datadog calcula un valor métrico para cada sujeto inscrito (por ejemplo, ingresos por usuario o si el usuario completó un registro). Estos valores por sujeto forman una distribución para cada variante. Luego, el motor estadístico de Datadog compara estas distribuciones entre el control y el tratamiento.
El lift relativo mide cuánto cambió el tratamiento el valor métrico promedio por sujeto en comparación con el control:
Relative lift = (Treatment − Control) / Control
Un lift relativo del 10% significa que el valor promedio por sujeto del grupo de tratamiento es un 10% mayor que el promedio del grupo de control. Un lift negativo significa que el tratamiento tuvo un desempeño peor en promedio.
Intervalos de confianza
El intervalo de confianza es un rango de valores de lift que son consistentes con los datos observados. El lift real podría caer fuera de este rango, pero los valores dentro del intervalo son más consistentes con lo que midió el experimento.
- Si el intervalo completo está por encima de cero, el resultado es estadísticamente significativo en la dirección positiva. Es poco probable que ocurra una mejora al menos tan grande si no hay un efecto real.
- Si el intervalo completo está por debajo de cero, el resultado es estadísticamente significativo en la dirección negativa. Es probable que el tratamiento haya reducido la métrica.
- Si el intervalo cruza el cero, el resultado no es estadísticamente significativo. El resultado es consistente con un efecto real de cero.
Utilice el ancho del intervalo como indicador de precisión: un intervalo más estrecho significa una estimación más precisa del lift; un intervalo más amplio significa mayor incertidumbre, a menudo porque la muestra es más pequeña o la métrica es ruidosa.
Si la corrección de pruebas múltiples está habilitada, los intervalos de confianza son más amplios porque Datadog controla la tasa de error familiar en todas las comparaciones de métricas y variantes de tratamiento del experimento.
Lift global
Los experimentos generalmente inscriben solo a un subconjunto de usuarios elegibles. Cambie a la Global lift pestaña en el cuadro de mando de métricas para estimar cómo afectaría a los totales generales de sus métricas el implementar el tratamiento a todos los usuarios elegibles. Consulte Lift global para conocer la metodología completa.
Para cada métrica, la Global lift pestaña muestra:
- Valores de control y tratamiento: El valor promedio de la métrica por sujeto en cada variante; los mismos valores que se muestran en la pestaña principal del cuadro de mando.
- Cobertura: La proporción estimada del total de su métrica global asociada con la población elegible del experimento (excluyendo el efecto del experimento).
- Lift global: El cambio estimado en los totales generales de sus métricas si el tratamiento se lanzara a todos los usuarios elegibles. Datadog calcula el lift global como el producto de la cobertura y el lift local (relativo) del experimento.
Exploración de resultados
Desde el cuadro de mando de métricas, pase el cursor sobre el nombre de una métrica para visualizar las opciones de exploración. Las opciones disponibles dependen de la fuente de su métrica.
Gráfico
Haga clic en Chart en cualquier métrica para abrir una visualización interactiva de cómo se desempeñó una métrica durante el experimento. Dentro del gráfico, usted puede:
- Dividir por propiedades de segmentación: Compare el lift entre cohortes como el tipo de dispositivo o el nivel de usuario. Las propiedades reflejan los atributos del sujeto en el momento inicial de la exposición.
- Evolución del lift a lo largo del tiempo: Vea cómo evolucionan las tendencias del lift durante el experimento, graficadas por fecha de calendario o por días desde la primera exposición de cada sujeto al experimento.
- Agregar filtros: limite el gráfico a un subconjunto específico de sujetos.
- Cambie tipos de lift: Alterne entre lift relativo y lift absoluto (Tratamiento − Control).
El siguiente ejemplo muestra un desglose a nivel de segmento por país. Utilice esta vista para comprender cuándo ciertos grupos reaccionaron de manera diferente a la nueva experiencia.
Copiar SQL
Para métricas nativas de almacén, haga clic en Copy SQL para copiar una versión simplificada de la lógica de canalización que Datadog utilizó para calcular el resultado. Pegue la consulta en su almacén para auditar el resultado o realizar un análisis de seguimiento.
Reproducciones
Para métricas basadas en datos de RUM o Product Analytics, haga clic en Replays para ver las reproducciones de sesión de los usuarios inscritos en el experimento. Revise cómo los sujetos de cada variante experimentaron el producto.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales:
