To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.
To initiate an exception request to enable this integration for your organization, email support@ddog-gov.com.
概要
このチェックは Datadog Agent を通じて NVIDIA NIM を監視します。
セットアップ
このインテグレーションは現在プレビュー版です。将来、提供状況が変更される可能性があります。
以下の手順に従って、ホスト上で動作する Agent にこのチェックをインストールし、設定してください。コンテナ環境の場合は、これらの手順を適用する方法について Autodiscovery Integration テンプレート を参照してください。
要件:
- このチェックには Agent v7.61.0+ が必要です。
- このチェックはメトリクス収集に OpenMetrics を使用します。動作には Python 3 が必要です。
`### Installation
NVIDIA NIM チェックは Datadog Agent パッケージに含まれています。サーバーで追加のインストールは不要です。
LLM Observability: LLM アプリケーションから NVIDIA Nim への呼び出しをエンド ツー エンドで可視化
NVIDIA NIM は、NVIDIA NIM からの API 呼び出しを処理するために OpenAI クライアントを使用します。NVIDIA NIM を使用するアプリケーションを監視し、LLM Observability を設定するには、OpenAI インテグレーション のドキュメントの手順に従ってください。
`
構成
NVIDIA NIM はリクエスト統計を示す Prometheus メトリクス を提供します。デフォルトでは、これらのメトリクスは http://localhost:8000/metrics で公開されています。Datadog Agent はこのインテグレーションを使用して、公開されているメトリクスを収集できます。以下の手順に従い、各コンポーネントの一部またはすべてからのデータ収集を設定してください。
NVIDIA NIM のパフォーマンス データの収集を開始するには:
Agent の設定ディレクトリ直下にある conf.d/ フォルダー内の nvidia_nim.d/conf.yaml を編集し、NVIDIA NIM のパフォーマンス データを収集するように設定します。利用可能な設定オプションは、サンプル nvidia_nim.d/conf.yaml を参照してください。
Agent を再起動します。
検証
Agent の status サブコマンドを実行 し、Checks セクションに nvidia_nim が表示されることを確認してください。
収集データ
メトリクス
イベント
NVIDIA NIM インテグレーションにはイベントは含まれません。
サービス チェック
トラブルシューティング
ご不明な点は、Datadog のサポートチームまでお問合せください。
