Previous

Next

DataDog の Fiddler ダッシュボード

モデル精度チャート

モデル分析

反実仮想的な説明の実行

データドリフトチャート

モデル説明

概要

Fiddler のモデルパフォーマンス管理プラットフォームは、モデルのパフォーマンスメトリクスが低下したときにリアルタイムでアラートを送信して機械学習モデルのパフォーマンスを監視し、ユーザーは推論データを分析してモデルのパフォーマンスが低下している理由を理解することが可能です。このインテグレーションには、メトリクスと精度、トラフィック、ドリフトなどのパフォーマンスメトリクスを表示するすぐに使えるダッシュボードが含まれています。

セットアップ

Fiddler チェックは Datadog Agent パッケージに含まれていないため、お客様自身でインストールする必要があります。

インストール

Agent v7.21 / v6.21 以降の場合は、下記の手順に従い Fiddler チェックをホストにインストールします。Docker Agent または 上記バージョン以前の Agent でインストールする場合は、コミュニティインテグレーションの使用をご参照ください。

1. 以下のコマンドを実行して、Agent インテグレーションをインストールします。

   /opt/datadog-agent/embedded/bin/pip install fiddler-client
   datadog-agent integration install -t datadog-fiddler==1.0.0
   

2. Agent ベースのインテグレーションと同様にインテグレーションを構成します。

コンフィギュレーション

1. Agent の構成ディレクトリのルートにある conf.d/ フォルダ内の fiddler.d/conf.yaml ファイルを編集し、Fiddler のパフォーマンスデータの収集を開始します。利用可能なすべての構成オプションは、サンプル fiddler.d/conf.yaml を参照してください。url、org、fiddler_api_key パラメーターは、インテグレーションがクエリしたい Fiddler 環境用に更新する必要があります。また、Fiddler は conf.yaml ファイル内の minimum_collection_interval 設定を 300 (5分) に設定することを推奨します。

2. Agent を再起動します。

検証

Agent の status サブコマンドを実行し、Checks セクションで fiddler を探します。

収集データ

メトリクス

このチェックによって提供されるメトリクスのリストについては、metadata.csv を参照してください。

サービスのチェック

fiddler.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Fiddler instance. Returns OK otherwise.
Statuses: ok, critical

トラブルシューティング

ご不明な点は、Fiddler のサポートチームまでお問い合わせください。