Ce produit n'est pas pris en charge par le
site Datadog que vous avez sélectionné. (
).
Présentation
GPU Fleet Explorer fournit une ventilation détaillée de l’infrastructure IA (telle que les périphériques GPU, les hosts ou les clusters Ray) et des charges de travail IA (telles que les Pods, les conteneurs Kube ou les exécutions d’entraînement) pour une période donnée. Cette page vous aide à découvrir les inefficacités de provisionnement et les optimisations de performance des charges de travail grâce à la télémétrie des ressources, y compris l’utilisation du GPU, les métriques au niveau du host et les coûts. Elle met également en évidence la détection en temps réel par Datadog des problèmes affectant votre parc et vos charges de travail, avec des conseils sur la manière d’y remédier.
Détectez les problèmes avec des monitors prêts à l’emploi
Datadog fournit plusieurs modèles de monitors prêts à l’emploi (OOTB) qui détectent les problèmes GPU courants en temps réel, notamment :
- Pointes de température
- Bridage de la puissance
- Requêtes GPU non satisfaites
- Erreurs XID
- Erreurs ECC
- Charges de travail par rafales
- Appareils inactifs
Vous pouvez personnaliser les seuils de n’importe quel monitor pour répondre aux besoins de votre organisation.
Pour accéder à ces modèles, cliquez sur le menu déroulant Monitors dans le coin supérieur droit de la page.
Décomposez votre parc par n’importe quel tag
GPU Fleet Explorer vous offre une visibilité depuis vos charges de travail IA jusqu’à l’infrastructure IA sous-jacente. Vous pouvez basculer entre des entités de charge de travail telles que des pods et des exécutions d’entraînement, et des entités d’infrastructure telles que des périphériques, des hosts et des clusters.
Remarque : Les options Kube Clusters, Pods et Kube Containers dans la navigation latérale ne sont disponibles que si vous utilisez Kubernetes.
Utilisez les menus déroulants de filtrage en haut de la page pour filtrer par un Provider, Device Type, Cluster, Region, Service, Data Center, Environment ou Team spécifique.
Vous pouvez également Search ou Group à l’aide d’autres tags en utilisant les champs de recherche et de regroupement. Par exemple, vous pouvez regrouper par Service pour afficher une ligne dans le tableau pour chaque service unique. Cliquez sur le bouton > à côté de n’importe quelle entrée pour voir les périphériques de ce service.
Vues et recommandations axées sur les cas d’utilisation
La page Fleet Explorer de GPU Monitoring propose deux vues dédiées axées sur les cas d’utilisation :
- Provisionnement : Allouez de la capacité et gérez les quotas.
- Performance : Optimisez l’efficacité et le débit de la charge de travail.
Provisionnement
L’onglet Provisioning détecte tout problème de santé du matériel ayant un impact sur l’allocation de vos périphériques aux charges de travail et fournit des conseils sur la façon d’y remédier.
Pour chaque problème détecté, Datadog recommande des actions de remédiation étape par étape pour vous aider à le résoudre.
Graphique récapitulatif du provisionnement
Le graphique récapitulatif fournit des visualisations prêtes à l’emploi (OOTB) pour la télémétrie clé liée à votre vue axée sur le cas d’utilisation sélectionné. Pour le cas d’utilisation Provisioning, cela décompose vos appareils provisionnés, alloués et actifs afin que vous puissiez récupérer les dépenses inutiles liées à l’inactivité et redécouvrir les appareils disponibles pouvant être alloués aux charges de travail.
Développez cette section ci-dessous pour voir un tableau des options disponibles et ce qu’elles représentent.
| Option | Définition |
|---|
| Appareils provisionnés | Répartition des appareils provisionnés et des appareils actifs. |
| Appareils alloués | Répartition des appareils disponibles par alloués vs non alloués. |
| Appareils actifs | Répartition des appareils alloués par actifs vs inactifs. |
L’onglet Performance détecte tout problème de santé du matériel ou de charge de travail qui ralentit les charges de travail s’exécutant sur vos appareils GPU. Cela fournit une source unique de vérité et des conseils aux ingénieurs de plateforme et aux équipes IA/ML sur la manière de remédier à ces problèmes.
Pour chaque problème détecté, Datadog recommande des actions de remédiation étape par étape pour vous aider à le résoudre.
Le graphique récapitulatif fournit des visualisations prêtes à l’emploi (OOTB) pour la télémétrie clé liée à votre vue axée sur le cas d’utilisation sélectionné. Pour le cas d’utilisation Performance, cela décompose les métriques clés d’utilisation des ressources telles que l’utilisation du GPU ou la saturation du GPU, ainsi que les métriques de la structure réseau, de l’alimentation, de la température, et plus encore.
Développez la section ci-dessous pour voir un tableau des options disponibles et ce qu’elles représentent.
| Option | Définition |
|---|
| Utilisation CPU | Pourcentage de temps que le processeur a passé à exécuter des processus en espace utilisateur. |
| Mémoire du host | Pourcentage de mémoire utilisable en cours d’utilisation. |
| Utilisation GPU | Pourcentage moyen de temps pendant lequel chaque multiprocesseur de flux était actif (des valeurs plus faibles indiquent un temps d’inactivité). |
| Saturation GPU | Mesure dans quelle mesure la capacité d’exécution parallèle du GPU est utilisée pendant la période donnée (rapport moyen des warps actifs par rapport au nombre maximal de warps pris en charge par multiprocesseur de flux sur l’ensemble des SM). |
| Mémoire GPU | Pourcentage de mémoire GPU utilisée par rapport à la limite totale de mémoire GPU. |
| PCIe RX | Octets reçus via PCI depuis le périphérique GPU par seconde. |
| PCIe TX | Octets transmis via PCI vers le périphérique GPU par seconde. |
| NVLink RX | Total RX de tous les liens NVLINK. |
| NVLink TX | Total TX de tous les liens NVLINK. |
| Activité graphique | Fraction de temps pendant laquelle le GPU effectuait un travail de calcul au cours de l’intervalle. Un signal approximatif indiquant si le GPU est occupé ou inactif. |
| Puissance | Consommation électrique du périphérique GPU. Sur les architectures GA100 et antérieures, cela représente la puissance instantanée à ce moment précis. Pour les architectures plus récentes, cela représente la consommation électrique moyenne (en Watts) sur une seconde. |
| Température | Température d’un périphérique GPU. |
| Horloge SM | Fréquence d’horloge SM en MHz. |
| Liens NVLINK actifs | Nombre de liens NVLINK actifs pour le périphérique. |
| Erreurs ECC | Nombre total d’erreurs ECC non corrigées. |
| Erreurs XID | Nombre d’erreurs NVIDIA XID, indiquant des problèmes matériels ou au niveau du pilote. |
Inventaire de votre infrastructure basée sur GPU
Ce tableau détaille votre infrastructure basée sur GPU selon le tag de votre choix. Si vous n’avez pas spécifié de tag supplémentaire dans le champ Group by, les résultats sont regroupés selon la vue sélectionnée : Cluster, Host ou Device.
Vous pouvez cliquer sur l’icône en forme d’engrenage pour personnaliser les métriques affichées dans le tableau. Développez la section ci-dessous pour voir la liste complète des métriques disponibles.
| Métrique | Définition | Nom de la métrique | Onglet Provisionnement | Onglet Performance |
|---|
| Coût d’inactivité | (Uniquement non nul pour des périodes supérieures à 2 jours) Le coût des ressources GPU réservées et allouées, mais non utilisées. | gpu_monitoring.estimated_idle_cost | ✓ | ✓ |
| Nombre total de périphériques | Périphériques GPU avec Datadog GPU Monitoring correctement configuré et rapportant des métriques. | kubernetes_state.node.gpu_capacity | ✓ | — |
| Kubernetes disponible | Périphériques GPU sains qui sont sous tension et disponibles pour l’allocation, selon l’orchestrateur Kubernetes. | kubernetes_state.node.gpu_allocatable | ✓ | — |
| Périphériques alloués | (Uniquement disponible si vous utilisez Kubernetes) Nombre de périphériques ayant été alloués à une charge de travail. | gpu.device.total | ✓ | — |
| Périphériques non alloués | Nombre de périphériques non alloués et disponibles pour une utilisation pendant la période donnée. | | ✓ | — |
| Périphériques actifs | Nombre de périphériques activement utilisés pour une charge de travail ou occupés. Si vous utilisez Kubernetes : nombre de périphériques alloués activement utilisés pour une charge de travail. | gpu.gr_engine_active | ✓ | — |
| Périphériques inactifs | Périphériques GPU alloués à des charges de travail mais n’effectuant aucun travail pendant la période donnée. Un périphérique est considéré comme inactif si gpu.gr_engine_active est égal à 0. | gpu.gr_engine_active | ✓ | — |
| Utilisation du processeur | Pourcentage de temps que le processeur a passé à exécuter des processus en espace utilisateur. | system.cpu.user | — | ✓ |
| Mémoire du host | Pourcentage de mémoire utilisable en cours d’utilisation. | system.mem.pct_usable | — | ✓ |
| Utilisation du GPU | Pourcentage moyen de temps pendant lequel chaque multiprocesseur de flux était actif (les valeurs inférieures indiquent un temps d’inactivité). | gpu.sm_active | — | ✓ |
| Saturation du GPU | Mesure à quel point la capacité d’exécution parallèle du GPU est utilisée pendant la période donnée (ratio moyen des warps actifs par rapport au nombre maximal de warps pris en charge par multiprocesseur de flux sur l’ensemble des SM). | gpu.sm_occupancy | — | ✓ |
| Mémoire GPU | Pourcentage de mémoire GPU utilisée par rapport à la limite totale de mémoire GPU. | 100 - (gpu.memory.free / gpu.memory.limit * 100) | — | ✓ |
| Débit de réception PCIe | Octets reçus via PCI depuis le périphérique GPU par seconde. | gpu.pci.throughput.rx | — | ✓ |
| Débit de transmission PCIe | Octets transmis via PCI vers le périphérique GPU par seconde. | gpu.pci.throughput.tx | — | ✓ |
| Réception NVLink | Réception totale de tous les liens NVLINK. | gpu.nvlink.throughput.raw.rx | — | ✓ |
| Transmission NVLink | Transmission totale de tous les liens NVLINK. | gpu.nvlink.throughput.raw.tx | — | ✓ |
| Puissance | Puissance du périphérique GPU.
Remarque : Sur les architectures GA100 et antérieures, cela représente la puissance instantanée à ce moment-là.
Pour les architectures plus récentes, cela représente la puissance moyenne (Watts) sur une seconde. | gpu.power.usage | — | ✓ |
| Température | Température d’un périphérique GPU. | gpu.temperature | — | ✓ |
Panneau latéral des détails
Cliquer sur n’importe quelle ligne du tableau Fleet permet d’ouvrir un panneau latéral contenant plus de détails sur le cluster, le host ou le périphérique sélectionné.
Entités connectées
Le GPU Monitoring de Datadog n’a pas besoin de s’appuyer sur le DCGM Exporter de NVIDIA. Il utilise le Datadog Agent pour observer directement les GPU, offrant un aperçu de l’utilisation des GPU et de leurs coûts pour les pods et les processus. Dans la section Connected Entities de n’importe quelle vue détaillée, vous pouvez voir l’activité des SM, l’utilisation des cœurs GPU (uniquement si System Probe est activé) et l’utilisation de la mémoire des pods, des processus et des travaux Slurm. Cela vous aide à identifier les charges de travail à réduire ou à optimiser pour diminuer les dépenses totales.
Remarque : L’onglet Pods n’est disponible que si vous utilisez Kubernetes.
Dans ce panneau latéral, vous disposez d’un entonnoir spécifique au cluster qui identifie :
Nombre total, alloué (utilisateurs Kubernetes uniquement), actif et effectif de périphériques au sein de ce cluster particulier
Coût total et coût inactif estimés de ce cluster
Entités connectées à ce cluster : pods, processus et travaux Slurm
Quatre métriques clés (personnalisables) pour ce cluster : utilisation du cœur (uniquement si System Probe est activé), utilisation de la mémoire, débit PCIe et activité graphique.
Tableau des hosts associés à ce cluster
Dans ce panneau latéral, vous disposez d’une vue spécifique au host qui identifie :
Métadonnées relatives au host telles que le fournisseur, le type d’instance, l’utilisation du CPU, la mémoire système utilisée, la mémoire système totale, l’utilisation des E/S système, l’activité SM et la température
(disponible uniquement pour les utilisateurs Kubernetes) Les périphériques GPU spécifiques alloués à ce host, triés par activité du moteur graphique
Entités connectées à ce host : pods, processus et travaux Slurm
Dans ce panneau latéral, vous disposez d’une vue spécifique au périphérique qui identifie :
Recommandations (le cas échéant) sur la manière d’utiliser ce périphérique plus efficacement
Détails relatifs au périphérique : type de périphérique, activité SM et température
Quatre métriques clés liées aux GPU : activité SM, utilisation de la mémoire, puissance et activité du moteur graphique
Entités connectées à ce cluster : pods et processus
Recommandations d’installation
Datadog surveille activement votre infrastructure et détecte les lacunes d’installation susceptibles de réduire la valeur que vous tirez de GPU Monitoring. Dans cette fenêtre modale, vous trouverez des recommandations de mise à jour de l’installation pour obtenir une valeur optimale de GPU Monitoring. Par exemple, s’assurer que vos hosts disposent de la dernière version du Datadog Agent installée, que la dernière version du pilote NVIDIA est installée, et vérifier qu’il n’y a pas de hosts mal configurés.
N'utilisez pas Datadog Agent v7.82.0, qui peut provoquer des paniques du noyau inattendues.
Pour afficher les fonctionnalités avancées de GPU Monitoring, telles que l’attribution des ressources GPU par processus associés ou par travaux SLURM, vous devez activer respectivement Live Processes et l’intégration Slurm.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
