La plataforma de gestión del rendimiento de modelos de Fiddler monitoriza el rendimiento de los modelos de Machine Learning enviando alertas en tiempo real cuando las métricas de rendimiento de un modelo disminuyen, lo que permite a los usuarios analizar los datos de inferencia para comprender por qué se está degradando el rendimiento del modelo. Esta integración incluye métricas y un dashboard predefinido que muestra métricas de rendimiento como la precisión, el tráfico y la deriva.
Configuración
El check de Fiddler no está incluido en el paquete del Datadog Agent, por lo que deberás instalarlo.
Instalación
Para las versiones 7.21 o posterior/v6.21 o posterior del Agent, sigue las instrucciones a continuación para instalar el check de Fiddler en tu host. Consulta Uso de integraciones de la comunidad para instalarlo con el Docker Agent o con versiones anteriores del Agent.
Ejecuta el siguiente comando para instalar la integración del Agent:
Configura tu integración de forma similar a las integraciones basadas en el Agent.
Configuración
Edita el archivo fiddler.d/conf.yaml en la carpeta conf.d/ en la raíz de tu directorio de configuración del Agent para empezar a recopilar tus datos de rendimiento de Fiddler. Para ver todas las opciones de configuración disponibles, consulta el fiddler.d/conf.yaml de ejemplo. Los parámetros url, org y fiddler_api_key se deben actualizar para el entorno Fiddler que quieres que la integración consulte. Fiddler también sugiere configurar el parámetro minimum_collection_interval en el archivo conf.yaml en 300 (5 minutos). Además, también se pueden configurar bin_size, v1compat y enabled_metrics.
[Ejecuta el subcomando de estado del Agent(https://docs.datadoghq.com/agent/guide/agent-commands/#agent-status-and-information) y busca fiddler en la sección Checks.
Datos recopilados
Métricas
fiddler.accuracy (gauge)
Precisión del modelo Se muestra como porcentaje
fiddler.histogram_drift (gauge)
Deriva del histograma del modelo[deprecated] Se muestra como porcentaje
fiddler.psi (gauge)
PSI del modelo Se muestra como porcentaje
fiddler.jsd (gauge)
JSD del modelo Se muestra como porcentaje
fiddler.feature_average (gauge)
Media de función del modelo[deprecated] Se muestra como porcentaje
fiddler.output_average (gauge)
Media de salida del modelo[deprecated] Se muestra como porcentaje
fiddler.average (gauge)
Media de función del modelo Se muestra como porcentaje
fiddler.traffic_count (gauge)
Recuento del tráfico del modelo[deprecated\] Se muestra como porcentaje
fiddler.traffic (gauge)
Recuento del tráfico del modelo Se muestra como porcentaje
fiddler.fpr (gauge)
Tasa de falsos positivos del modelo Se muestra como porcentaje.
fiddler.tpr (gauge)
Tasa de verdaderos positivos del modelo[deprecated] Se muestra como porcentaje
fiddler.auc (gauge)
AUC del modelo Se muestra como porcentaje
fiddler.f1_score (gauge)
Puntuación F1 del modelo Se muestra como porcentaje
fiddler.precision (gauge)
Precisión del modelo Se muestra como porcentaje
fiddler.recall (gauge)
Recuerdo del modelo Se muestra como porcentaje
fiddler.mape (gauge)
MAPE del modelo Se muestra como porcentaje
fiddler.wmape (gauge)
WMAPE del modelo Se muestra como porcentaje
fiddler.mae (gauge)
MAE del modelo Se muestra como porcentaje
fiddler.mse (gauge)
MSE del modelo Se muestra como porcentaje
fiddler.r2 (gauge)
Métrica R-cuadrado del modelo Se muestra como porcentaje
fiddler.binary_cross_entropy (gauge)
Métrica binaria de entropía cruzada del modelo[deprecated] Se muestra como porcentaje
fiddler.log_loss (gauge)
Métrica log-loss del modelo Se muestra como porcentaje
fiddler.expected_callibration_error (gauge)
Error de calibración esperado del modelo Se muestra como porcentaje
fiddler.data_count (gauge)
Métrica de recuento de datos del modelo Se muestra como porcentaje
fiddler.auroc (gauge)
Métrica AUROC del modelo Se muestra como porcentaje
fiddler.callibrated_threshold (gauge)
Métrica umbral calibrada del modelo[deprecated] Se muestra como porcentaje
fiddler.calibrated_threshold (gauge)
Métrica umbral calibrada del modelo Se muestra como porcentaje
fiddler.g_mean (gauge)
Métrica de la media geométrica del modelo[deprecated] Se muestra como porcentaje
fiddler.geometric_mean (gauge)
Métrica de la media geométrica del modelo Se muestra como porcentaje
fiddler.sum (gauge)
SUMA de una característica del modelo Se muestra como porcentaje.
fiddler.expected_calibration_error (gauge)
Error de calibración esperado del modelo Se muestra como porcentaje
Checks de servicio
fiddler.can_connect
Devuelve CRITICAL si el Agent no puede conectarse y recopilar métricas de la instancia de Fiddler monitorizada. En caso contrario, devuelve OK.
