Algorithmia는 데이터 과학자, 애플리케이션 개발자, IT 전문가가 프로덕션 과정에서
기계 학습과 기타 예측 모델을 배포, 관리, 통제, 보안 처리할 수 있도록 도와주는
기능을 갖춘 MLOps 플랫폼입니다.
Algorithmia Insights는 Algorithmia Enterprise 기능으로, 기계 학습 모델을 계측,
측정, 모니터할 수 있는 메트릭 파이프라인을 제공합니다. 기계 학습 분야 모니터링
추론 관련 메트릭 사용 사례에는 모델 드리프트,
데이터 드리프트, 모델 바이어스 등이
있습니다.
이 통합을 이용하면 작동 메트릭은 물론, 사용자 정의, 추론 관련
메트릭을 Algorithmia에서 Kafka로, 또 Datadog 메트릭 API로 스트림할
수 있습니다.
이 통합에서는 Insights가 활성화된 모델이 쿼리되었을 때 Algorithmia에서
메트릭이 스트리밍됩니다. 각 로그 항목에는 작동 메트릭과 추론 관련 메트릭이
포함되어 있습니다.
duration_milliseconds 메트릭은 Algorithmia의 기본 페이로드에 포함되어 있는 작동 메트릭입니다. 처음 시작할 때 이용 편의를 위해 이 기본 메트릭의 대시보드와 모니터도 포함되어 있습니다.
추가 메트릭으로 알고리듬 개발자가 Algorithmia에서 지정한 사용자 정의,
추론 관련 메트릭을 포함할 수 있습니다. 사용자 정의 메트릭은 특정
기계 학습 프레임워크와 사용 사례에 따라 다르지만, scikit-learn의
예측 가능성 값, TensorFlow의 이미지 분류자, 또는 수신 API 요청의
입력 데이터 등과 같은 값을 포함할 수 있습니다. 참고: 이 통합에서
제공하는 메시지 전달 스크립트는 Datadog로 전달될 때 사용자 정의
메트릭에
접두사 algorithmia.를 추가합니다.