Algorithmia est une plateforme MLOps qui permet aux data scientists, aux développeurs d’applications et aux opérateurs IT de déployer, de gérer, de gouverner et de sécuriser des modèles d’apprentissage automatique ainsi que d’autres modèles probabilistes en production.
Algorithmia Insights est une fonctionnalité d’Algorithmia Enterprise qui fournit un pipeline de métriques pouvant être utilisé pour instrumenter, mesurer et surveiller vos modèles d’apprentissage automatique. Les métriques liées à des inférences issues de modèles d’apprentissage automatique peuvent être utilisées à diverses fins : détection des dérives de modèle, des dérives de données, des biais de modèle, etc.
Cette intégration vous permet de diffuser, depuis Algorithmia vers Kafka puis vers l’API des métriques dans Datadog, des métriques opérationnelles ainsi que des métriques liées à des inférences définies par l’utilisateur.
Configuration
À partir de votre instance Algorithmia, configurez Algorithmia Insights pour qu’il se connecte à
un broker Kafka (externe à Algorithmia).
Consultez le référentiel integrations d’Algorithmia.
pour installer, configurer et lancer le service de transfert de message Datadog utilisé
dans cette intégration. Celui-ci transfère les métriques d’une rubrique Kafka vers
l’API des métriques dans Datadog.
Validation
À partir d’Algorithmia, faites une requête auprès d’un algorithme sur lequel Insights est activé.
Dans l’interface Datadog, naviguez vers la page de résumé Métriques.
Vérifiez que les métriques d’Insights sont présentes dans Datadog en appliquant le filtre
algorithmia.
Diffusion de métriques
Cette intégration diffuse des métriques d’Algorithmia lorsqu’un modèle sur lequel Insights est activé fait l’objet d’une requête. Chaque entrée de log comprend des métriques opérationnelles et des métriques liées à des inférences.
La métrique duration_milliseconds est l’une des métriques opérationnelles qui est incluse dans la charge utile par défaut d’Algorithmia. Pour vous aider à vous lancer, cette intégration intègre également un dashboard et un monitor pour cette métrique par défaut.
Il est également possible de recueillir des métriques supplémentaires liées à des inférences, définies par l’utilisateur et spécifiées dans Algorithmia par le développeur de l’algorithme. Les métriques définies par l’utilisateur dépendent de votre framework d’apprentissage automatique et de vos cas d’utilisation spécifiques. Elles peuvent inclure des valeurs comme les probabilités de prédiction d’un modèle de régression dans scikit-learn, les scores de confiance d’un classificateur d’images dans TensorFlow ou des données d’entrée issues de requêtes d’API entrantes. Remarque : le script de transfert de message fourni dans cette intégration applique le préfixe algorithmia. aux métriques définies par l’utilisateur dans Datadog.
Données collectées
Métriques
algorithmia.duration_milliseconds (gauge)
Duration of algorithm run Shown as millisecond
Checks de service
Le check Algorithmia n’inclut aucun check de service.
