GPU モニタリング

概要

Datadog の GPU Monitoring は、GPU フリートの健全性、コスト、パフォーマンスを一元的に表示します。これにより、チームはプロビジョニングに関するより適切な意思決定を行い、AI ワークロードのパフォーマンスを最適化およびトラブルシューティングし、個別のベンダーツール（NVIDIA の DCGM など）を手動でセットアップすることなく、アイドル状態の GPU コストを削減できます。GPU Monitoring は、主要なクラウドプロバイダー（AWS、GCP、Azure、Oracle Cloud）全体にデプロイされたフリート、オンプレミスでホストされているフリート、または Coreweave や Lambda Labs などの GPU-as-a-Service プラットフォームを通じてプロビジョニングされたフリートをサポートします。

GPU アクセラレーションが有効なホストに Datadog Agent をデプロイすることで、GPU フリートに関するインサイトにアクセスできます。セットアップ手順については、GPU Monitoring のセットアップを参照してください。

主な機能

データに基づいた GPU の割り当てとプロビジョニングの意思決定を行う

フリート全体と利用可能な容量を包括的に把握できる Datadog の GPU Monitoring は、組織全体でインフラストラクチャーと容量を公平に割り当て、管理するのに役立ちます。

「GPU フリートの概要」というタイトルのファンネル可視化。合計、アクティブ、および有効なデバイスを表示します。利用率の低い GPU コアとアイドル状態のデバイスを強調表示します。

また、現在のデバイスの可用性を把握し、リソース競合によるワークロードの失敗を回避するために、特定のチームやワークロードに何台のデバイスが必要かを予測することもできます。

GPU の割り当てを可視化するチャート。「デバイス割り当ての推移」というタイトルの折れ線グラフ。合計/割り当て済み/アクティブなデバイス数をプロットし、4 週間先までの予測を含みます。「クラウドプロバイダーインスタンスの内訳」というタイトルのドーナツチャート。フリート全体におけるクラウドプロバイダーインスタンスの普及状況を表示します。さまざまな GPU デバイスの割り当て済み/合計を表示する「デバイスタイプの内訳」。

モデルとアプリケーションのパフォーマンスを最大化する

GPU Monitoring のリソーステレメトリを使用すると、ホスト、ノード、またはポッドごとに GPU リソースとメトリクス（GPU 使用率、電力、メモリなど）の傾向を時系列で分析でき、デバイスがモデルやアプリケーションのパフォーマンスに与える影響を理解するのに役立ちます。たとえば、ワークロードの実行のボトルネックとなる可能性のある、高価な GPU インフラストラクチャーのホットスポットや過小利用を特定できます。