Superwise proporciona una observabilidad de los modelos para operaciones de Machine Learning (ML) de gran escala.
La observabilidad de los modelos de Superwise te ofrece una visibilidad y un contexto de los comportamientos de tus modelos, para que puedas monitorizar fácilmente los riesgos de los modelos en función de los distintos casos de uso. Con Superwise, los científicos de datos, los ingenieros de ML y las operaciones empresariales logran una observabilidad de los modelos sin fatiga de alertas, para que puedas confiar en la gestión de tus modelos.
Las métricas de modelos y la integración de los incidentes de Superwise envía métricas de modelos predefinidas, incluyendo deriva, actividad, incidentes y métricas personalizadas, directamente a Datadog. Podrás obtener información general de qué modelos no están prediciendo los resultados esperados, algo que puede configurarse para cualquier caso de uso, lógica, segmentación, umbral y sensibilidad.
Con la integración Datadog configurada en Superwise, las métricas de modelos estándar se envían a Datadog y los usuarios obtienen dashboards de observabilidad de modelos en Datadog. Puedes configurar cualquier métrica de modelo específica y política de incidentes y enviarlas a Datadog para obtener una observabilidad del modelo adaptada a tu caso de uso.
Configuración
Ve al portal Superwise y selecciona Integrations (Integraciones).
Haz clic en Create a new channel (Crear un nuevo canal) y selecciona Datadog.
Introduce tu Datadog y tus claves de la aplicación API y haz clic en Test. Se enviará una solicitud de test a tu cuenta de Datadog para validar la integración. Si la solicitud se ha enviado correctamente, aparecerá un mensaje en Superwise indicando que el test se ha realizado correctamente. Para finalizar la configuración, haz clic en Create channel (Crear canal).
Una vez finalizada la configuración, estará disponible el widget de la nueva integración Datadog:
Validación
En Datadog, ve al Explorador de métricas y busca la métrica superwise.integration.test
para verificar que la integración entre Superwise y Datadog funciona correctamente.
Datos recopilados
Métricas
superwise.metric.overall.data_drift (gauge) | Average distribution shifts across all features. Shown as day |
superwise.metric.overall.weighted_data_drift (gauge) | Average distribution shifts across all features weighted by importance. Shown as day |
superwise.metric.overall.quantity (gauge) | Number of records sent. Shown as day |
Eventos
La integración Superwise no incluye eventos.
Checks de servicio
La integración Superwise no incluye checks de servicio.
Solucionar problemas
¿Necesitas ayuda? Consulta la documentación de Superwise.
Referencias adicionales
Más enlaces, artículos y documentación útiles: