Superwise

Supported OS Linux Mac OS Windows

概要

Superwise は、大規模な機械学習 (ML) 運用のためのモデル観測性を提供します。 Superwise のモデル観測機能により、モデルの挙動を可視化し、コンテキストを提供することで、様々なユースケースに基づくモデルリスクを容易に監視することができます。Superwise を使用することで、データサイエンティスト、ML エンジニア、ビジネスオペレーションは、アラートに疲れることなくモデル観測性を得られるので、モデル管理について自信を持つことができます。

Superwise ダッシュボード

Superwise のモデルメトリクスとインシデントのインテグレーションは、ドリフト、アクティビティ、インシデント、カスタムメトリクスなど、すぐに使えるモデルメトリクスを Datadog に直接送信します。ユースケース、ロジック、セグメンテーション、しきい値、感度を任意に構成し、どのモデルが期待通りの結果を予測できていないかの概要を得ることができます。

Superwise で Datadog インテグレーションを構成すると、標準的なモデルメトリクスが Datadog に送信され、ユーザーは Datadog でモデル観測性のダッシュボードを取得できます。特定のモデルメトリクスやインシデントポリシーを構成し、Datadog に送信することで、ユースケースに合わせたモデル観測性を実現することが可能です。

セットアップ

  1. Superwise ポータルで、Integrations を選択します。

  2. Create a new channel をクリックし、Datadog を選択します。

    Superwise - 新しいインテグレーションを追加する

  3. Datadog の API キーとアプリケーションキーを入力し、Test をクリックします。インテグレーションを検証するために、Datadog アカウントにテストリクエストが送信されます。リクエストの送信が成功した場合、Superwise にテストが正常に配信された旨のメッセージが表示されます。セットアップを終了するには、Create channel をクリックします。

    Superwise - Datadog の新しいチャンネルを追加する

  4. セットアップが完了すると、新しい Datadog インテグレーションウィジェットが利用できるようになります。

    Superwise インテグレーション

検証

Datadog の Metrics Explorer で、メトリクス superwise.integration.test を検索して、Superwise と Datadog 間のインテグレーションが機能していることを確認します。

Datadog の superwise.integration.test グラフ

収集データ

メトリクス

superwise.metric.overall.data_drift
(gauge)
Average distribution shifts across all features.
Shown as day
superwise.metric.overall.weighted_data_drift
(gauge)
Average distribution shifts across all features weighted by importance.
Shown as day
superwise.metric.overall.quantity
(gauge)
Number of records sent.
Shown as day

イベント

Superwise インテグレーションには、イベントは含まれません。

サービスのチェック

Superwise インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

サポートが必要な場合は、Superwise のドキュメントをご覧ください。

その他の参考資料

お役に立つドキュメント、リンクや記事: