This product is not supported for your selected
Datadog site. (
).
概要
GPU Fleet Explorer は、指定された期間における AI インフラストラクチャー (GPU デバイス、ホスト、Ray クラスターなど) および AI ワークロード (ポッド、Kube Containers、トレーニング実行など) の詳細な内訳を提供します。このページでは、GPU 使用率、ホストレベルのメトリクス、コストなどのリソーステレメトリを通じて、プロビジョニングの非効率性やワークロードのパフォーマンス最適化の機会を発見できます。また、Datadog によるフリートやワークロードに影響を与える問題のリアルタイム検知機能と、その修正方法に関するガイダンスも表示されます。
すぐに使えるモニターで問題を検知
Datadog には、以下のような一般的な GPU の問題をリアルタイムで検知する、すぐに使える (OOTB) モニターテンプレートがいくつか用意されています。
- 温度の急上昇
- 電力制限スロットリング
- 対応できていない GPU リクエスト
- XID エラー
- ECC エラー
- 突発的なワークロード
- アイドル状態のデバイス
組織のニーズに合わせて、各モニターのしきい値をカスタマイズできます。
これらのテンプレートにアクセスするには、ページ右上の Monitors ドロップダウンをクリックします。
任意のタグでフリートの内訳を表示する
GPU Fleet Explorer を使用すると、AI ワークロードから基盤となる AI インフラストラクチャーまでを可視化できます。ポッドやトレーニング実行などのワークロードエンティティと、デバイス、ホスト、クラスターなどのインフラストラクチャーエンティティを切り替えることができます。
注: サイドナビゲーションの [Kube Clusters] (Kube クラスター)、[Pods] (ポッド)、[Kube Containers] オプションは、Kubernetes を使用している場合にのみ利用可能です。
ページ上部のフィルタードロップダウンを使用すると、特定の Provider、Device Type、Cluster、Region、Service、Data Center、Environment、または Team でフィルタリングできます。
検索フィールドとグループ化フィールドを使用して、他のタグで Search または Group することもできます。たとえば、Service でグループ化すると、一意のサービスごとにテーブルの行を表示できます。各エントリの横にある > ボタンをクリックすると、そのサービスのデバイスを確認できます。
ユースケース駆動型のビューと推奨事項
GPU Monitoring の [Fleet Explorer] ページには、2 つの専用のユースケース駆動型のビューが用意されています。
- プロビジョニング: キャパシティの割り当てとクォータの管理を行います。
- パフォーマンス: ワークロードの効率とスループットを最適化します。
プロビジョニング
Provisioning タブは、デバイスのワークロードへの割り当てに影響を与えるハードウェアの健全性の問題を検出し、その修正方法に関するガイダンスを提供します。
検出された各問題に対して、Datadog は解決に役立つステップバイステップの修正アクションを推奨します。
プロビジョニングサマリーグラフ
サマリーグラフは、選択したユースケース駆動型のビューに関連する主要なテレメトリのすぐに使える (OOTB) 可視化を提供します。プロビジョニングユースケースでは、プロビジョニング済み、割り当て済み、およびアクティブなデバイスの内訳が表示されるため、無駄になっているアイドルコストを削減し、ワークロードに割り当て可能なデバイスを再発見できます。
下のセクションを展開すると、利用可能なオプションとその内容を示すテーブルが表示されます。
| オプション | 定義 |
|---|
| プロビジョニング済みデバイス | プロビジョニング済みデバイスとアクティブデバイスの内訳。 |
| 割り当て済みデバイス | 割り当て済みと未割り当て別の利用可能なデバイスの内訳。 |
| アクティブデバイス | アクティブとアイドル別の割り当て済みデバイスの内訳。 |
Performance タブでは、GPU デバイスで実行されているワークロードの進行を妨げるハードウェアの健全性やワークロードの問題が検出されます。これは、プラットフォームエンジニアや AI/ML チームにとって、それらの問題を修復する方法に関する信頼できる情報とガイダンスの唯一のソースになります。
検出された各問題に対して、Datadog は解決に役立つステップバイステップの修正アクションを推奨します。
サマリーグラフは、選択したユースケース駆動型のビューに関連する主要なテレメトリのすぐに使える (OOTB) 可視化を提供します。パフォーマンスユースケースでは、GPU 使用率や GPU 飽和度などの主要なリソース使用率メトリクスを、ネットワークファブリックメトリクス、電力、温度などとともに分類して表示します。
下のセクションを展開すると、利用可能なオプションとその内容を示すテーブルが表示されます。
| オプション | 定義 |
|---|
| CPU 使用率 | CPU がユーザースペースプロセスを実行していた時間の割合。 |
| ホストメモリ | 使用可能なメモリの使用率。 |
| GPU 使用率 | 各ストリーミングマルチプロセッサがアクティブであった時間の平均割合 (値が低いほどアイドル時間があることを示します)。 |
| GPU 飽和度 | 時間枠内で GPU の並列実行能力がどの程度使用されているかを測定します (すべての SM にわたって、ストリーミングマルチプロセッサごとにサポートされる最大ワープ数に対するアクティブなワープの平均比率)。 |
| GPU メモリ | GPU メモリの合計制限に対する使用済み GPU メモリの割合。 |
| PCIe RX | GPU デバイスが PCI を通じて 1 秒間に受信したバイト数。 |
| PCIe TX | GPU デバイスへ PCI を通じて 1 秒間に送信されたバイト数。 |
| NVLink RX | すべての NVLINK リンクの合計受信量。 |
| NVLink TX | すべての NVLINK リンクの合計送信量。 |
| グラフィックスアクティビティ | インターバル中に GPU がなんらかの計算処理を実行していた時間の割合。GPU がビジー状態かアイドル状態かの大まかな指標です。 |
| 電力 | GPU デバイスの電力使用量。GA100 およびそれ以前のアーキテクチャでは、その時点の瞬時電力を表します。新しいアーキテクチャでは、これは 1 秒間の平均電力消費 (ワット) を表します。 |
| 温度 | GPU デバイスの温度。 |
| SM クロック | SM クロック周波数 (MHz)。 |
| NVLink アクティブリンク | デバイスのアクティブな NVLINK リンク数。 |
| ECC エラー | 修正されていない ECC エラーの合計数。 |
| XID エラー | ハードウェアまたはドライバーレベルの問題を示す NVIDIA XID エラーの数。 |
GPU 駆動インフラストラクチャーのインベントリ
このテーブルは、任意に選んだタグごとに GPU 駆動インフラストラクチャーの内訳を示します。Group by フィールドに追加のタグを指定していない場合、結果は選択したビュー (Cluster、Host、または Device) ごとにグループ化されます。
ギアアイコンをクリックすると、テーブル内に表示されるメトリクスをカスタマイズできます。下のセクションを展開すると、利用可能なメトリクスの一覧が表示されます。
| メトリクス | 定義 | メトリクス名 | プロビジョニングタブ | パフォーマンスタブ |
|---|
| アイドリングコスト | (2 日以上の期間でのみ非ゼロ) 予約および割り当て済みなのに使用されていない GPU リソースのコスト。 | gpu_monitoring.estimated_idle_cost | ✓ | ✓ |
| 合計デバイス | Datadog の GPU Monitoring が正しく設定され、メトリクスを報告している GPU デバイス。 | kubernetes_state.node.gpu_capacity | ✓ | — |
| Kubernetes 利用可能 | Kubernetes オーケストレーターによると、電源がオンになっており、割り当て可能な正常な GPU デバイス。 | kubernetes_state.node.gpu_allocatable | ✓ | — |
| 割り当て済みデバイス | (Kubernetes を使用している場合のみ利用可能) ワークロードに割り当てられたデバイスの数。 | gpu.device.total | ✓ | — |
| 未割り当てデバイス | 期間中に割り当てられておらず、使用可能なデバイスの数。 | | ✓ | — |
| アクティブデバイス | ワークロードに積極的に使用されている、またはビジー状態のデバイスの数。Kubernetes を使用している場合: ワークロードに積極的に使用されている割り当て済みデバイスの数。 | gpu.gr_engine_active | ✓ | — |
| アイドルデバイス | 期間中にワークロードに割り当てられているものの、何も処理を行っていない GPU デバイス。デバイスは gpu.gr_engine_active が 0 に等しい場合にアイドルと見なされます。 | gpu.gr_engine_active | ✓ | — |
| CPU 使用率 | CPU がユーザースペースプロセスを実行していた時間の割合。 | system.cpu.user | — | ✓ |
| ホストメモリ | 使用可能なメモリのうち使用中の割合。 | system.mem.pct_usable | — | ✓ |
| GPU 使用率 | 各ストリーミングマルチプロセッサがアクティブであった時間の平均割合 (値が低いほどアイドル時間があることを示します)。 | gpu.sm_active | — | ✓ |
| GPU サチュレーション | 期間中に GPU の並列実行能力がどの程度完全に使用されているかを測定します (すべての SM にわたる、ストリーミングマルチプロセッサあたりでサポートされる最大ワープ数に対するアクティブワープ数の平均比率)。 | gpu.sm_occupancy | — | ✓ |
| GPU メモリ | GPU メモリの合計制限に対する使用済み GPU メモリの割合。 | 100 - (gpu.memory.free / gpu.memory.limit * 100) | — | ✓ |
| PCIe RX スループット | GPU デバイスから PCI を通じて 1 秒間に受信したバイト数。 | gpu.pci.throughput.rx | — | ✓ |
| PCIe TX スループット | GPU デバイスへ PCI を通じて 1 秒間に送信されたバイト数。 | gpu.pci.throughput.tx | — | ✓ |
| NVLink RX | すべての NVLINK リンクの合計受信量。 | gpu.nvlink.throughput.raw.rx | — | ✓ |
| NVLink TX | すべての NVLINK リンクの合計送信量。 | gpu.nvlink.throughput.raw.tx | — | ✓ |
| 電力 | GPU デバイスの電力使用量。
注意: GA100 以前のアーキテクチャでは、これはその時点の瞬時電力を表します。
新しいアーキテクチャでは、1 秒間の平均消費電力 (ワット) を表します。 | gpu.power.usage | — | ✓ |
| 温度 | GPU デバイスの温度。 | gpu.temperature | — | ✓ |
詳細サイドパネル
フリートテーブルの任意の行をクリックすると、選択したクラスター、ホスト、またはデバイスの詳細が表示されるサイドパネルが開きます。
接続されているエンティティ
Datadog の GPU Monitoring は、NVIDIA の DCGM Exporter を必要としません。Datadog Agent を使用して GPU を直接観察し、ポッドやプロセスの GPU 使用量とコストに関するインサイトを提供します。任意の詳細ビューの Connected Entities セクションでは、SM アクティビティ、GPU コア利用率 (システムプローブが有効な場合のみ)、およびポッド、プロセス、Slurm ジョブのメモリ使用量を確認できます。これにより、合計使用量を減らすために削減または最適化すべきワークロードを特定できます。
注意: Pods タブは、Kubernetes を使用している場合にのみ利用可能です。
このサイドパネル内には、クラスター特有のファネルがあり、以下を特定できます。
特定のクラスター内の合計、割り当て済み (Kubernetes ユーザーのみ)、アクティブ、および有効なデバイスの数
そのクラスターの推定総コストとアイドルコスト
そのクラスターの接続されたエンティティ: ポッド、プロセス、および Slurm ジョブ
そのクラスターの 4 つの主要メトリクス (カスタマイズ可能): コア利用率 (システムプローブが有効な場合のみ)、メモリ利用率、PCIe スループット、およびグラフィックスアクティビティ
そのクラスターに関連するホストのテーブル
このサイドパネル内には、ホスト別に表示するビューがあり、以下を特定できます。
プロバイダー、インスタンスタイプ、CPU 利用率、使用中のシステムメモリ、システムメモリ合計、システム I/O 利用率、SM アクティビティ、温度などのホスト関連メタデータ
(Kubernetes ユーザーのみ利用可能) そのホストに割り当てられた特定の GPU デバイス (グラフィックスエンジンアクティビティでソート)
そのホストの接続されたエンティティ: ポッド、プロセス、および Slurm ジョブ
このサイドパネル内には、デバイス特有のビューがあり、以下を特定できます。
このデバイスをより効果的に使用するための推奨事項 (ある場合)
デバイス関連の詳細: デバイスタイプ、SM アクティビティ、および温度
GPU に関連する 4 つのメトリクス: SM アクティビティ、メモリ利用率、電力、およびグラフィックスエンジンアクティビティ
そのクラスターの接続されたエンティティ: ポッドとプロセス
インストール推奨事項
Datadog はインフラストラクチャーを積極的に監視し、GPU Monitoring の価値を十分に引き出せない原因となり得るインストールの不備を検出します。このモーダルでは、GPU Monitoring の最適な価値を得るためのインストール更新推奨事項を見つけることができます。たとえば、ホストに Datadog Agent の 最新バージョン がインストールされていることを確認し、NVIDIA ドライバーの最新バージョンをインストールし、ホストの設定ミスをチェックします。
予期しないカーネルパニックを引き起こす可能性があるため、Datadog Agent v7.82.0 は使用しないでください。
関連するプロセスや SLURM ジョブによる GPU リソースの帰属などの高度な GPU Monitoring の機能を表示するには、それぞれ Live Processes と Slurm のインテグレーションを有効にする必要があります。
参考資料
![[GPU Fleet] (GPU フリート) ページの右上にあるモニタードロップダウン。温度、電力制限スロットリング、対応できていない GPU リクエスト、重大な XID エラー、一般的な XID エラー、ECC エラー、突発的なワークロード、アイドル状態のデバイスのためのすぐに使える (OOTB) モニターテンプレートが表示されています。](https://docs.dd-static.net/images/gpu_monitoring/fleet-ootb-monitors.75fb59b22341b106eec44fb5f0e3f77f.jpg?fit=max&auto=format)
![[GPU Fleet] ページ上部のフィルタードロップダウンとグループ化セレクター](https://docs.dd-static.net/images/gpu_monitoring/filters_and_groupings-3.42d57d9a1318bcfc3ef873abe9f06d8b.png?fit=max&auto=format)
