Supported OS

Información general

Superwise proporciona una observabilidad de los modelos para operaciones de Machine Learning (ML) de gran escala. La observabilidad de los modelos de Superwise te ofrece una visibilidad y un contexto de los comportamientos de tus modelos, para que puedas monitorizar fácilmente los riesgos de los modelos en función de los distintos casos de uso. Con Superwise, los científicos de datos, los ingenieros de ML y las operaciones empresariales logran una observabilidad de los modelos sin fatiga de alertas, para que puedas confiar en la gestión de tus modelos.

Dashboard de Superwise

Las métricas de modelos y la integración de los incidentes de Superwise envía métricas de modelos predefinidas, incluyendo deriva, actividad, incidentes y métricas personalizadas, directamente a Datadog. Podrás obtener información general de qué modelos no están prediciendo los resultados esperados, algo que puede configurarse para cualquier caso de uso, lógica, segmentación, umbral y sensibilidad.

Con la integración Datadog configurada en Superwise, las métricas de modelos estándar se envían a Datadog y los usuarios obtienen dashboards de observabilidad de modelos en Datadog. Puedes configurar cualquier métrica de modelo específica y política de incidentes y enviarlas a Datadog para obtener una observabilidad del modelo adaptada a tu caso de uso.

Configuración

  1. Ve al portal Superwise y selecciona Integrations (Integraciones).

  2. Haz clic en Create a new channel (Crear un nuevo canal) y selecciona Datadog.

    Superwise - Añadir nueva integración

  3. Introduce tu Datadog y tus claves de la aplicación API y haz clic en Test. Se enviará una solicitud de test a tu cuenta de Datadog para validar la integración. Si la solicitud se ha enviado correctamente, aparecerá un mensaje en Superwise indicando que el test se ha realizado correctamente. Para finalizar la configuración, haz clic en Create channel (Crear canal).

    Superwise - Añadir nuevo canal de Datadog

  4. Una vez finalizada la configuración, estará disponible el widget de la nueva integración Datadog:

    Integración Superwise

Validación

En Datadog, ve al Explorador de métricas y busca la métrica superwise.integration.test para verificar que la integración entre Superwise y Datadog funciona correctamente.

Gráfica de superwise.integration.test en Datadog

Datos recopilados

Métricas

superwise.metric.overall.data_drift
(gauge)
Average distribution shifts across all features.
Shown as day
superwise.metric.overall.weighted_data_drift
(gauge)
Average distribution shifts across all features weighted by importance.
Shown as day
superwise.metric.overall.quantity
(gauge)
Number of records sent.
Shown as day

Eventos

La integración Superwise no incluye eventos.

Checks de servicio

La integración Superwise no incluye checks de servicio.

Solucionar problemas

¿Necesitas ayuda? Consulta la documentación de Superwise.

Referencias adicionales

Más enlaces, artículos y documentación útiles: