概要

Algorithmia は、本番環境で機械学習をはじめとする確率モデルをデプロイ、 管理、制御し、セキュリティを確保するための機能を含む、データサイエンティスト、 アプリ開発者、IT オペレーターのための MLOps プラットフォームです。

Algorithmia Enterprise の機能のひとつである Algorithmia Insights は、 機械学習モデルをインスツルメントして計測、監視するために使用される メトリクスのパイプラインを提供します。機械学習モデルからの推論関連の メトリクスの監視ユースケースには、モデルドリフトの検出、データドリフト、 モデルバイアスなどがあります。

このインテグレーションにより、運用メトリクスのほか、ユーザー定義に よる推論関連のメトリクスを Algorithmia から Kafka へ、さらに Datadog の メトリクス API へストリーミングすることができます。

セットアップ

1. Algorithmia インスタンスから、Algorithmia Insights を構成して Kafka Broker (Algorithmia の外部) へ接続します。

2. Algorithmia インテグレーションリポジトリをご覧ください して、このインテグレーションに使用される Datadog のメッセージ転送サービスをインストール、構成、起動してください。 Kafka トピックからのメトリクスが Datadog のメトリクス API へ転送されます。

検証

1. Algorithmia で、Insights が有効化されたアルゴリズムのクエリを実行します。
2. Datadog インターフェイスで、Metrics サマリーページを開きます。
3. 次でフィルタリングし、Insights からのメトリクスが Datadog に存在することを確認します。 algorithmia

メトリクスのストリーミング

このインテグレーションでは、Insights が有効になっているモデルにクエリが 実行されると、Algorithmia からメトリクスがストリーミングされます。 各ログエントリには、運用メトリクスと推論関連メトリクスが含まれます。

duration_milliseconds メトリクスは、Algorithmia からのデフォルトのペイロードに 含まれる運用メトリクスのひとつです。スムーズにご利用を開始いただけるよう、 インテグレーションにはのデフォルトのメトリクス用ダッシュボードおよび モニターも含まれています。

その他のメトリクスには、アルゴリズム開発者による Algorithmia 特有の ユーザー定義の推論関連メトリクスもあります。ユーザー定義のメトリクスは、 ご使用の機械学習フレームワークおよびユースケースによりますが、 scikit-learn の回帰モデルからの予測可能性、TensorFlow の画像認識における 信頼度スコア、または受信した API リクエストの入力データなどの値が 含まれます。注: このインテグレーションで提供されるメッセージ転送 スクリプトには、Datadog でユーザー定義のメトリクスに algorithmia. の プレフィックスが追加されます。

収集データ

メトリクス

サービスチェック

Algorithmia チェックには、サービスのチェック機能は含まれません。

イベント

Algorithmia チェックには、イベントは含まれません。

トラブルシューティング

ご不明な点は、Algorithmia サポートチームまでお問い合わせください。