Este producto no es compatible con el
sitio Datadog seleccionado. (
).
Descripción general
Datadog Experiments es una plataforma componible para la experimentación de extremo a extremo. Un experimento en Datadog consta de dos componentes:
- Una asignación aleatoria de sujetos (normalmente usuarios) a dos o más variaciones, ya sea desde un Datadog Feature Flag o desde su sistema de aleatorización preferido
- Un conjunto de métricas para comparar entre variantes, calculadas dentro de Datadog o con análisis nativos de almacén de datos.
Para comenzar, seleccione un enlace de la tabla a continuación. De lo contrario, siga leyendo para obtener más información sobre Datadog Experiments.
Aleatorización
Cada experimento necesita una forma de asignar sujetos a una variante de control o de tratamiento. Datadog admite dos enfoques.
Datadog Feature Flags
Datadog Feature Flags es la forma predeterminada de aleatorizar experimentos. Cree un Feature Flag, impleméntelo con el Feature Flags SDK y pase un identificador de sujeto estable como targetingKey para que el mismo usuario siempre reciba la misma variante. Datadog utiliza hashing determinista para mantener las asignaciones consistentes entre sesiones y dispositivos.
Cuando planifique y lance un experimento, vincúlelo a un Feature Flag para definir divisiones de tráfico, reglas de segmentación y comportamiento de despliegue. También puede crear un experimento directamente desde la página de detalles de un Feature Flag. Para aleatorizar por una unidad distinta al usuario (por ejemplo, una organización), consulte Tipos de sujeto.
Traiga su propia aleatorización
Si aleatoriza sujetos fuera de Datadog (por ejemplo, con un sistema interno), utilice Exposure SQL Models para indicar a Datadog quién estuvo expuesto a cada experimento y cuándo. Los Exposure SQL Models consultan registros de exposición de su almacén conectado y los asignan a campos de Datadog como clave de sujeto, marca de tiempo, ID de experimento e ID de variante.
Datadog deduplica los datos de exposición automáticamente: si un usuario aparece en múltiples variantes para el mismo experimento, ese usuario se excluye del análisis. Cuando las exposiciones provienen de su almacén en lugar de Datadog Feature Flags, las métricas creadas a partir de eventos del SDK de Datadog no son compatibles; necesita métricas nativas de almacén.
Métricas
Las métricas de experimento definen lo que usted mide para decidir si un cambio tuvo éxito. Cree al menos una métrica principal antes de lanzar un experimento y agregue métricas secundarias como salvaguardas para efectos no deseados en el rendimiento, la participación o los ingresos.
Modo nativo de almacén
En el modo nativo de almacén, Datadog ejecuta el análisis de experimentos directamente en Snowflake, BigQuery, Redshift o Databricks. Después de conectar su almacén, cree un Metric SQL Model que asigne tablas de almacén a Datadog, luego defina métricas a partir de ese modelo. Asigne cada modelo a uno o más tipos de sujeto y especifique una columna de marca de tiempo para que Datadog pueda unir eventos de métricas con exposiciones de experimentos.
El modo de almacén es necesario cuando utiliza Exposure SQL Models para la aleatorización. También es adecuado para equipos cuya fuente de información para las métricas de negocio ya reside en el almacén.
Product Analytics y RUM
Para experimentos del lado del cliente, cree métricas a partir de eventos recopilados por los SDK de Real User Monitoring (RUM) y Product Analytics. Defina métricas a partir de acciones, visualizaciones, sesiones y otros tipos de eventos, luego elija un método de agregación como recuento de eventos, recuento de usuarios únicos o suma de una propiedad.
Esta ruta funciona cuando la aleatorización se ejecuta a través de Datadog Feature Flags y desea medir el comportamiento de los usuarios, la conversión del embudo o el rendimiento de la aplicación sin consultar un almacén. Las métricas de Product Analytics y RUM están disponibles casi en tiempo real a medida que se lanzan los experimentos.
Estadísticas
Datadog aplica análisis estadístico para comparar variantes y estimar el incremento. Cuando configure un experimento, elija un método de análisis (frecuentista secuencial, frecuentista de muestra fija o bayesiano) y, opcionalmente, ejecute un cálculo de tamaño de muestra para estimar cuánto tiempo debe ejecutarse el experimento. Una vez obtenidos los resultados, utilice Global Lift para comprender cómo se traduce un incremento de experimento dirigido en un impacto en el total de métricas de toda su empresa, y Cumulative Impact para agregar efectos ajustados por ruido en muchos experimentos sobre la misma métrica.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales:
