Supported OS
Algorithmia は、本番環境で機械学習をはじめとする確率モデルをデプロイ、 管理、制御し、セキュリティを確保するための機能を含む、データサイエンティスト、 アプリ開発者、IT オペレーターのための MLOps プラットフォームです。
Algorithmia Enterprise の機能のひとつである Algorithmia Insights は、 機械学習モデルをインスツルメントして計測、監視するために使用される メトリクスのパイプラインを提供します。機械学習モデルからの推論関連の メトリクスの監視ユースケースには、モデルドリフトの検出、データドリフト、 モデルバイアスなどがあります。
このインテグレーションにより、運用メトリクスのほか、ユーザー定義に よる推論関連のメトリクスを Algorithmia から Kafka へ、さらに Datadog の メトリクス API へストリーミングすることができます。
Algorithmia インスタンスから、Algorithmia Insights を構成して Kafka Broker (Algorithmia の外部) へ接続します。
Algorithmia インテグレーションリポジトリをご覧ください して、このインテグレーションに使用される Datadog のメッセージ転送サービスをインストール、構成、起動してください。 Kafka トピックからのメトリクスが Datadog のメトリクス API へ転送されます。
algorithmiaこのインテグレーションでは、Insights が有効になっているモデルにクエリが 実行されると、Algorithmia からメトリクスがストリーミングされます。 各ログエントリには、運用メトリクスと推論関連メトリクスが含まれます。
duration_milliseconds メトリクスは、Algorithmia からのデフォルトのペイロードに
含まれる運用メトリクスのひとつです。スムーズにご利用を開始いただけるよう、
インテグレーションにはのデフォルトのメトリクス用ダッシュボードおよび
モニターも含まれています。
その他のメトリクスには、アルゴリズム開発者による Algorithmia 特有の
ユーザー定義の推論関連メトリクスもあります。ユーザー定義のメトリクスは、
ご使用の機械学習フレームワークおよびユースケースによりますが、
scikit-learn の回帰モデルからの予測可能性、TensorFlow の画像認識における
信頼度スコア、または受信した API リクエストの入力データなどの値が
含まれます。注: このインテグレーションで提供されるメッセージ転送
スクリプトには、Datadog でユーザー定義のメトリクスに algorithmia. の
プレフィックスが追加されます。
| algorithmia.duration_milliseconds (gauge) | Duration of algorithm run Shown as millisecond |
Algorithmia チェックには、サービスのチェック機能は含まれません。
Algorithmia チェックには、イベントは含まれません。
ご不明な点は、Algorithmia サポートチームまでお問い合わせください。