- 重要な情報
- はじめに
- 用語集
- ガイド
- エージェント
- インテグレーション
- OpenTelemetry
- 開発者
- API
- CoScreen
- アプリ内
- Service Management
- インフラストラクチャー
- アプリケーションパフォーマンス
- 継続的インテグレーション
- ログ管理
- セキュリティ
- UX モニタリング
- 管理
Supported OS
Algorithmia は、本番環境で機械学習をはじめとする確率モデルをデプロイ、 管理、制御し、セキュリティを確保するための機能を含む、データサイエンティスト、 アプリ開発者、IT オペレーターのための MLOps プラットフォームです。
Algorithmia Enterprise の機能のひとつである Algorithmia Insights は、 機械学習モデルをインスツルメントして計測、監視するために使用される メトリクスのパイプラインを提供します。機械学習モデルからの推論関連の メトリクスの監視ユースケースには、モデルドリフトの検出、データドリフト、 モデルバイアスなどがあります。
このインテグレーションにより、運用メトリクスのほか、ユーザー定義に よる推論関連のメトリクスを Algorithmia から Kafka へ、さらに Datadog の メトリクス API へストリーミングすることができます。
Algorithmia インスタンスから、Algorithmia Insights を構成して Kafka Broker (Algorithmia の外部) へ接続します。
Algorithmia インテグレーションリポジトリ をご覧ください して、このインテグレーションに使用される Datadog のメッセージ転送サービスをインストール、構成、起動してください。 Kafka トピックからのメトリクスが Datadog のメトリクス API へ転送されます。
algorithmia
このインテグレーションでは、Insights が有効になっているモデルにクエリが 実行されると、Algorithmia からメトリクスがストリーミングされます。 各ログエントリには、運用メトリクスと推論関連メトリクスが含まれます。
duration_milliseconds
メトリクスは、Algorithmia からのデフォルトのペイロードに
含まれる運用メトリクスのひとつです。スムーズにご利用を開始いただけるよう、
インテグレーションにはのデフォルトのメトリクス用ダッシュボードおよび
モニターも含まれています。
その他のメトリクスには、アルゴリズム開発者による Algorithmia 特有の
ユーザー定義の推論関連メトリクスもあります。ユーザー定義のメトリクスは、
ご使用の機械学習フレームワークおよびユースケースによりますが、
scikit-learn の回帰モデルからの予測可能性、TensorFlow の画像認識における
信頼度スコア、または受信した API リクエストの入力データなどの値が
含まれます。注: このインテグレーションで提供されるメッセージ転送
スクリプトには、Datadog でユーザー定義のメトリクスに algorithmia.
の
プレフィックスが追加されます。
algorithmia.duration_milliseconds (gauge) | Duration of algorithm run Shown as millisecond |
Algorithmia チェックには、サービスのチェック機能は含まれません。
Algorithmia チェックには、イベントは含まれません。
ご不明な点は、Algorithmia サポートチーム までお問い合わせください。