Página de flota de GPU Monitoring
Este producto no es compatible con el
sitio Datadog seleccionado. (
).
Descripción general
GPU Fleet Explorer proporciona un desglose detallado de la infraestructura de IA (como dispositivos GPU, servidores o clústeres de Ray) y las cargas de trabajo de IA (como Pods, contenedores Kube o ejecuciones de entrenamiento) para un período de tiempo específico. Esta página le ayuda a descubrir ineficiencias en el aprovisionamiento y optimizaciones del rendimiento de las cargas de trabajo a través de telemetría de recursos, incluida la utilización de GPU, métricas a nivel de servidor y costos. También muestra la detección en tiempo real de Datadog de problemas que afectan a su flota y cargas de trabajo, con orientación sobre cómo remediarlos.
Detecte problemas con seguimientos preconfigurados
Datadog proporciona varias plantillas de seguimientos preconfigurados (OOTB) que detectan problemas comunes de GPU en tiempo real, que incluyen:
- Picos de temperatura
- Limitación de potencia (Power cap throttling)
- Solicitudes de GPU no satisfechas
- Errores XID
- Errores ECC
- Cargas de trabajo con ráfagas
- Dispositivos inactivos
Puede personalizar los umbrales de cualquier seguimiento para adaptarlos a las necesidades de su organización.
Para acceder a estas plantillas, haga clic en el menú desplegable Monitors en la esquina superior derecha de la página.
Divida su flota por cualquier etiqueta
GPU Fleet Explorer le brinda visibilidad desde sus cargas de trabajo de IA hasta la infraestructura de IA subyacente. Puede cambiar entre entidades de carga de trabajo como pods y ejecuciones de entrenamiento, y entidades de infraestructura como dispositivos, servidores y clústeres.
Nota: Las opciones de Clústeres Kube, Pods y Contenedores Kube en la navegación lateral solo están disponibles si utiliza Kubernetes.
Utilice los menús desplegables de filtro en la parte superior de la página para filtrar por un Provider, Device Type, Cluster, Region, Service, Data Center, Environment o Team específico.
También puede Search o Group por otras etiquetas utilizando los campos de búsqueda y agrupación. Por ejemplo, puede agrupar por Service para visualizar una fila en la tabla para cada servicio único. Haga clic en el botón > junto a cualquier entrada para ver los dispositivos de ese servicio.
Vistas y recomendaciones basadas en casos de uso
La página Fleet Explorer de GPU Monitoring ofrece dos vistas dedicadas basadas en casos de uso:
- Aprovisionamiento: Asigne capacidad y administre cuotas.
- Rendimiento: Optimice la eficiencia y el rendimiento de la carga de trabajo.
Aprovisionamiento
La pestaña Provisioning detecta cualquier problema de salud del hardware que afecte la asignación de sus dispositivos a las cargas de trabajo y proporciona orientación sobre cómo remediarlos.
Para cada incidencia detectada, Datadog recomienda acciones de remediación paso a paso para ayudarle a resolverla.
Gráfico de resumen de aprovisionamiento
El gráfico de resumen proporciona visualizaciones listas para usar (OOTB) para la telemetría clave vinculada a la vista basada en el caso de uso seleccionada. Para el caso de uso de Aprovisionamiento, esto desglosa sus dispositivos Aprovisionados, Asignados y Activos para que pueda recuperar el gasto inactivo desperdiciado y redescubrir dispositivos disponibles que pueden asignarse a cargas de trabajo.
Expanda esta sección a continuación para ver una tabla de las opciones disponibles y lo que representan.
| Opción | Definición |
|---|
| Dispositivos Aprovisionados | Desglose de dispositivos aprovisionados y dispositivos activos. |
| Dispositivos Asignados | Desglose de dispositivos disponibles por asignados frente a no asignados. |
| Dispositivos Activos | Desglose de dispositivos asignados por activos frente a inactivos. |
La pestaña Performance detecta cualquier incidencia de salud del hardware o de carga de trabajo que esté deteniendo las cargas de trabajo que se ejecutan en sus dispositivos GPU. Esto proporciona una única fuente de información y orientación para los ingenieros de plataforma y los equipos de IA/ML sobre cómo solucionar esos problemas.
Para cada incidencia detectada, Datadog recomienda acciones de remediación paso a paso para ayudarle a resolverla.
El gráfico de resumen proporciona visualizaciones listas para usar (OOTB) para la telemetría clave vinculada a la vista basada en el caso de uso seleccionada. Para el caso de uso de Rendimiento, esto desglosa métricas clave de utilización de recursos como la Utilización de GPU o la Saturación de GPU junto con métricas de red, energía, temperatura y más.
Expanda la sección a continuación para ver una tabla de las opciones disponibles y lo que representan.
| Opción | Definición |
|---|
| Utilización de CPU | Porcentaje de tiempo que la CPU pasó ejecutando procesos de espacio de usuario. |
| Memoria del servidor | Porcentaje de memoria utilizable en uso. |
| Utilización de GPU | Porcentaje promedio de tiempo que cada multiprocesador de transmisión estuvo activo (los valores más bajos indican tiempo de inactividad). |
| Saturación de GPU | Mide qué tan completamente se está utilizando la capacidad de ejecución paralela de la GPU durante el período de tiempo (relación promedio de warps activos con respecto a los warps máximos admitidos por multiprocesador de transmisión en todos los SM). |
| Memoria de GPU | Porcentaje de memoria de GPU utilizada respecto al límite total de memoria de GPU. |
| PCIe RX | Bytes recibidos a través de PCI desde el dispositivo GPU por segundo. |
| PCIe TX | Bytes transmitidos a través de PCI al dispositivo GPU por segundo. |
| NVLink RX | RX total de todos los enlaces NVLINK. |
| NVLink TX | TX total de todos los enlaces NVLINK. |
| Actividad de gráficos | Fracción de tiempo que la GPU estuvo realizando cualquier trabajo de cómputo durante el intervalo. Una señal general de si la GPU está ocupada o inactiva. |
| Energía | Consumo de energía del dispositivo GPU. En GA100 y arquitecturas anteriores, esto representa la potencia instantánea en ese momento. Para arquitecturas más recientes, representa la potencia promedio (vatios) durante un segundo. |
| Temperatura | Temperatura de un dispositivo GPU. |
| Reloj SM | Frecuencia de reloj SM en MHz. |
| Enlaces NVLink activos | Número de enlaces NVLINK activos para el dispositivo. |
| Errores ECC | Recuento total de errores ECC no corregidos. |
| Errores XID | Recuento de errores XID de NVIDIA, que indican problemas de hardware o a nivel de controlador. |
Inventario de su infraestructura GPU
Esta tabla desglosa su infraestructura GPU por cualquier etiqueta que elija. Si no ha especificado una etiqueta adicional en el campo Group by, los resultados se agrupan según la vista seleccionada: Cluster, Host o Device.
Puede hacer clic en el icono de engranaje para personalizar qué métricas se muestran dentro de la tabla. Expanda la sección a continuación para ver una lista completa de las métricas disponibles.
| Métrica | Definición | Nombre de la métrica | Pestaña de aprovisionamiento | Pestaña de rendimiento |
|---|
| Costo de inactividad | (Solo distinto de cero para períodos de tiempo superiores a 2 días) El costo de los recursos de GPU que están reservados y asignados, pero no utilizados. | gpu_monitoring.estimated_idle_cost | ✓ | ✓ |
| Dispositivos GPU con GPU Monitoring de Datadog configurados correctamente y que reportan métricas. | kubernetes_state.node.gpu_capacity | ✓ | — |
| Kubernetes disponible | Dispositivos GPU en buen estado que están encendidos y disponibles para su asignación, según el orquestador de Kubernetes. | kubernetes_state.node.gpu_allocatable | ✓ | — |
| Dispositivos asignados | (Solo disponible si usa Kubernetes) Cantidad de dispositivos que se han asignado a una carga de trabajo. | gpu.device.total | ✓ | — |
| Dispositivos no asignados | Cantidad de dispositivos no asignados y disponibles para su uso durante el período de tiempo. | | ✓ | — |
| Dispositivos activos | Cantidad de dispositivos que se utilizan activamente para una carga de trabajo o que están ocupados. Si usa Kubernetes: cantidad de dispositivos asignados que se utilizan activamente para una carga de trabajo. | gpu.gr_engine_active | ✓ | — |
| Dispositivos inactivos | Dispositivos GPU asignados a cargas de trabajo pero que no realizan ningún trabajo durante el período de tiempo. Un dispositivo se considera inactivo si gpu.gr_engine_active es igual a 0. | gpu.gr_engine_active | ✓ | — |
| Utilización de CPU | Porcentaje de tiempo que la CPU pasó ejecutando procesos de espacio de usuario. | system.cpu.user | — | ✓ |
| Memoria de servidor | Porcentaje de memoria utilizable en uso. | system.mem.pct_usable | — | ✓ |
| Utilización de GPU | Porcentaje promedio de tiempo que cada multiprocesador de transmisión estuvo activo (los valores más bajos indican tiempo de inactividad). | gpu.sm_active | — | ✓ |
| Saturación de GPU | Mide qué tan completamente se está utilizando la capacidad de ejecución paralela de la GPU durante el período de tiempo (relación promedio de warps activos con respecto a los warps máximos admitidos por multiprocesador de transmisión en todos los SM). | gpu.sm_occupancy | — | ✓ |
| Memoria de GPU | Porcentaje de memoria de GPU utilizada respecto al límite total de memoria de GPU. | 100 - (gpu.memory.free / gpu.memory.limit * 100) | — | ✓ |
| Rendimiento de recepción PCIe | Bytes recibidos a través de PCI desde el dispositivo GPU por segundo. | gpu.pci.throughput.rx | — | ✓ |
| Rendimiento de transmisión PCIe | Bytes transmitidos a través de PCI al dispositivo GPU por segundo. | gpu.pci.throughput.tx | — | ✓ |
| NVLink RX | RX total de todos los enlaces NVLINK. | gpu.nvlink.throughput.raw.rx | — | ✓ |
| NVLink TX | TX total de todos los enlaces NVLINK. | gpu.nvlink.throughput.raw.tx | — | ✓ |
| Energía | Uso de energía para el dispositivo GPU.
Nota: En GA100 y arquitecturas anteriores, esto representa la energía instantánea en ese momento.
Para arquitecturas más recientes, representa el consumo de energía promedio (vatios) durante un segundo. | gpu.power.usage | — | ✓ |
| Temperatura | Temperatura de un dispositivo GPU. | gpu.temperature | — | ✓ |
Panel lateral de detalles
Al hacer clic en cualquier fila de la tabla de Fleet se abre un panel lateral con más detalles sobre el clúster, servidor o dispositivo seleccionado.
Entidades conectadas
GPU Monitoring de Datadog no necesita depender del DCGM Exporter de NVIDIA. Utiliza el Datadog Agent para observar las GPU directamente, proporcionando información sobre el uso y los costos de GPU para pods y procesos. En la sección Connected Entities de cualquier vista de detalles, puede ver la actividad de SM, la utilización del núcleo de la GPU (solo si System Probe está habilitado) y el uso de memoria de pods, procesos y trabajos de Slurm. Esto le ayuda a identificar qué cargas de trabajo reducir u optimizar para disminuir el gasto total.
Nota: La pestaña Pods solo está disponible si utiliza Kubernetes.
Dentro de este panel lateral, tiene un embudo específico del clúster que identifica:
Número de dispositivos totales, asignados (solo usuarios de Kubernetes), activos y efectivos dentro de ese clúster en particular
Costo total estimado y costo de inactividad de ese clúster
Entidades conectadas a ese clúster: pods, procesos y trabajos de Slurm
Cuatro métricas clave (personalizables) para ese clúster: utilización de núcleos (solo si la sonda del sistema está habilitada), utilización de memoria, rendimiento de PCIe y actividad de gráficos
Tabla de servidores asociados con ese clúster
Dentro de este panel lateral, tiene una vista específica del servidor que identifica:
Metadatos relacionados con el servidor, tales como proveedor, tipo de instancia, utilización de CPU, memoria del sistema utilizada, memoria total del sistema, utilización de E/S del sistema, actividad de SM y temperatura
(solo disponible para usuarios de Kubernetes) Los dispositivos GPU específicos asignados a ese servidor, ordenados por actividad del motor de gráficos
Entidades conectadas a ese servidor: pods, procesos y trabajos de Slurm
Dentro de este panel lateral, tiene una vista específica del dispositivo que identifica:
Recomendaciones (si las hay) sobre cómo utilizar este dispositivo de manera más efectiva
Detalles relacionados con el dispositivo: tipo de dispositivo, actividad de SM y temperatura
Cuatro métricas clave vinculadas a las GPU: actividad de SM, utilización de memoria, energía y actividad del motor de gráficos
Entidades conectadas a ese clúster: pods y procesos
Recomendaciones de instalación
Datadog analiza activamente su infraestructura y detecta brechas de instalación que pueden disminuir el valor que obtiene del GPU Monitoring. En este modal, puede encontrar recomendaciones de actualización de instalación para obtener el valor óptimo del GPU Monitoring. Por ejemplo, asegurarse de que sus servidores tengan instalada la versión más reciente del Datadog Agent, instalar la versión más reciente del controlador de NVIDIA y verificar si hay servidores mal configurados.
No utilice Datadog Agent v7.82.0, ya que puede causar pánicos de kernel inesperados.
Para ver funciones avanzadas de monitoreo de GPU, como la atribución de recursos de GPU por procesos relacionados o trabajos de SLURM, debe habilitar Live Processes y la integración de Slurm, respectivamente.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales:
