Define las métricas que quieres medir durante tu experimentación. Las métricas se pueden construir utilizando datos de Product Analytics y Real User Monitoring (RUM).
Para crear una métrica, debes tener instalado el SDK de cliente de Datadog en tu aplicación y capturar datos activamente.
Creación de tu primera métrica
Para crear una métrica para tu experimento:
- Ve a la página Métricas en Datadog Product Analytics.
- Haz clic en + Create Metric (+ Crear métrica), en la esquina superior derecha.
- Haz clic en Select an Event (Seleccionar un evento) para ver una lista de todas las acciones y vistas recopiladas del SDK de Datadog.
- Añade un nombre para la métrica y, opcionalmente, una descripción. A continuación, haz clic en Save (Guardar).
Especifica la agregación de métrica
Agregación de métricas por defecto
Una vez seleccionado tu evento de interés, puedes especificar un método de agregación. Las métricas son por defecto es un conteo de sujetos únicos (a menudo usuarios) que han tenido al menos un evento. Sin embargo, también puede optar por contar el número total de eventos, o sumar una propiedad de ese evento:
Normalización de métricas por defecto
Todas las métricas se normalizan por el número de sujetos inscritos. Por ejemplo, una métrica de conteo de usuarios únicos se calcula como:
Número de usuarios con el evento especificado
-----------------------------------------------
Número de usuarios inscritos en esta variante
Del mismo modo, una métrica Suma de se calcula como:
Suma de la propiedad sobre los usuarios inscritos en esta variante
--------------------------------------------------------
Número de usuarios inscritos en esta variante
Normalización de métricas personalizadas
También puedes optar por normalizar las métricas mediante un denominador diferente. Para ello, haz clic en una métrica
y luego en Create ratio (Crear ratio). Esto te permite normalizar tu métrica por otro evento, contando el número de sujetos con ese evento, el número total de eventos o la suma de una propiedad de evento.
Por ejemplo, una empresa de comercio electrónico que desee medir el Valor medio de los pedidos puede crear una métrica de ratio con la suma de los ingresos por compras como numerador y el recuento de eventos de compra como denominador.
El motor estadístico de Datadog tiene en cuenta las correlaciones entre el numerador y el denominador mediante el método delta.
Añadir filtros
También puedes añadir filtros a tus métricas, de forma similar a otros dashboards de Product Analytics. Por ejemplo, es posible que quieras filtrar vistas de páginas en función de la URL de referencia o los parámetros UTM. Del mismo modo, es posible que quieras filtrar acciones a una página específica o al valor de un atributo personalizado. A medida que añadas filtros, podrás comprobar los valores de las métricas en tiempo real utilizando el gráfico de la derecha.
Opciones avanzadas
Datadog admite varias opciones avanzadas específicas para la experimentación:
Timeframe filters- Por defecto, Datadog incluirá todos los eventos entre la primera exposición de un usuario y el final del experimento. Si quieres medir un valor de tiempo limitado, como “sesiones en un plazo de 7 días”, puedes añadir un filtro de tiempo.
- Si se selecciona, la métrica solo incluirá eventos del periodo de tiempo especificado, comenzando en el momento en que el usuario se inscribió por primera vez.
Desired metric change- Datadog resalta los resultados estadísticamente significativos.
- Utiliza este parámetro para especificar si se busca un aumento o una disminución de esta métrica.
outlier (valor atípico) handling
Los datos del mundo real suelen incluir valores atípicos extremos que pueden afectar a los resultados de los experimentos.
- Utiliza este parámetro para definir un umbral en el que se truncan los datos. Por ejemplo, define un límite superior del 99% para truncar todos los resultados en el percentil 99 de la métrica.
Referencias adicionales
Más enlaces, artículos y documentación útiles:
