- 重要な情報
- はじめに
- 用語集
- ガイド
- エージェント
- インテグレーション
- OpenTelemetry
- 開発者
- API
- CoScreen
- アプリ内
- Service Management
- インフラストラクチャー
- アプリケーションパフォーマンス
- 継続的インテグレーション
- ログ管理
- セキュリティ
- UX モニタリング
- 管理
Supported OS
DataDog の Fiddler ダッシュボード
モデル精度チャート
モデル分析
反実仮想的な説明の実行
データドリフトチャート
モデル説明
Fiddler のモデルパフォーマンス管理プラットフォームは、モデルのパフォーマンスメトリクスが低下したときにリアルタイムでアラートを送信して機械学習モデルのパフォーマンスを監視し、ユーザーは推論データを分析してモデルのパフォーマンスが低下している理由を理解することが可能です。このインテグレーションには、メトリクスと精度、トラフィック、ドリフトなどのパフォーマンスメトリクスを表示するすぐに使えるダッシュボードが含まれています。
Fiddler チェックは Datadog Agent パッケージに含まれていないため、お客様自身でインストールする必要があります。
Agent v7.21 / v6.21 以降の場合は、下記の手順に従い Fiddler チェックをホストにインストールします。Docker Agent または 上記バージョン以前の Agent でインストールする場合は、コミュニティインテグレーションの使用をご参照ください。
以下のコマンドを実行して、Agent インテグレーションをインストールします。
/opt/datadog-agent/embedded/bin/pip install fiddler-client
datadog-agent integration install -t datadog-fiddler==1.0.0
Agent ベースのインテグレーションと同様にインテグレーションを構成します。
Agent の構成ディレクトリのルートにある conf.d/
フォルダ内の fiddler.d/conf.yaml
ファイルを編集し、Fiddler のパフォーマンスデータの収集を開始します。利用可能なすべての構成オプションは、サンプル fiddler.d/conf.yaml
を参照してください。url
、org
、fiddler_api_key
パラメーターは、インテグレーションがクエリしたい Fiddler 環境用に更新する必要があります。また、Fiddler は conf.yaml
ファイル内の minimum_collection_interval
設定を 300
(5分) に設定することを推奨します。
Agent の status サブコマンドを実行し、Checks セクションで fiddler
を探します。
このチェックによって提供されるメトリクスのリストについては、metadata.csv を参照してください。
fiddler.can_connect
Returns CRITICAL
if the Agent is unable to connect to and collect metrics from the monitored Fiddler instance. Returns OK
otherwise.
Statuses: ok, critical
ご不明な点は、Fiddler のサポートチームまでお問い合わせください。
DataDog の Fiddler ダッシュボード
モデル精度チャート
モデル分析
反実仮想的な説明の実行
データドリフトチャート
モデル説明