Algorithmia es una plataforma de MLOps que incluye capacidades para los científicos
de datos, desarrolladores de aplicaciones y operadores de TI para desplegar, gestionar, gobernar
y asegurar Machine Learning y otros modelos probabilísticos en producción.
Algorithmia Insights es una característica de Algorithmia Enterprise y proporciona un
pipeline de métricas que puede utilizarse para instrumentar, medir y monitorizar tus
modelos de Machine Learning. Los casos de uso para monitorizar métricas relacionadas con la inferencia de
modelos de Machine Learning incluyen la detección de la deriva del modelo, la deriva de los datos, el sesgo del modelo,
etc.
Esta integración te permite transmitir métricas operativas así como
métricas definidas por el usuario y relacionadas con la inferencia de Algorithmia a Kafka a la API de métricas
en Datadog.
Configuración
Desde tu instancia de Algorithmia, configura Algorithmia Insights para conectarse a
un broker de Kafka (externo a Algorithmia).
Consulta el repositorio de integraciones de Algorithmia
para instalar, configurar, e iniciar el servicio de reenvío de mensajes de Datadog utilizado
en este integración, que reenvía métricas desde un tema de Kafka a
la API de métricas en Datadog.
Validación
Desde Algorithmia, consulta un algoritmo que tenga Insights activado.
En la interfaz de Datadog, ve a la página de resumen Metrics (Métricas).
Comprueba que las métricas de Insights están presente en Datadog filtrando por
algorithmia.
Métricas de transmisión
Esta integración transmite métricas desde Algorithmia cuando se consulta un modelo que tiene Insights
activado. Cada entrada de log incluye métricas operativas y
métricas relacionadas con la inferencia.
La métrica duration_milliseconds es una de las métricas operativas que se
incluye en la carga útil por defecto de Algorithmia. Para ayudarte a empezar, esta
integración también incluye un dashboard y un monitor para esta métrica por defecto.
Además, las métricas pueden incluir cualquier métrica definida por el usuario, relacionada con la inferencia, que
sean especificados en Algorithmia por el desarrollador del algoritmo. Las métricas definidas por el usuario
dependen de tu marco específico de Machine Learning y de su caso de uso, pero podrían
incluir valores como probabilidades de predicción de un modelo de regresión en
puntuaciones scikit-learn de confianza de un clasificador de imágenes en TensorFlow, o datos de entrada de solicitudes de API entrantes.
Nota: El script de reenvío de mensajes
proporcionado en esta integración antepone a las métricas definidas por el usuario el prefijo
algorithmia. en Datadog.
Datos recopilados
Métricas
algorithmia.duration_milliseconds (gauge)
Duration of algorithm run Shown as millisecond
Checks de servicio
El check de Algorithmia no incluye ningún check de servicio.
