Planifique la capacidad de GPU con Monitoreo de GPU

Este producto no es compatible con el sitio de Datadog seleccionado. ().
Join the Preview!

La Planificación de capacidad en Monitoreo de GPU se encuentra en Vista previa de acceso anticipado. Complete el formulario para solicitar acceso.

Request Access

Descripción general

Cuando muchos equipos comparten grupos de GPU costosas, es difícil ver qué equipos están subutilizando sus dispositivos. También es difícil detectar la contención de recursos y saber por qué los trabajos están bloqueados en estado pendiente. La página de Planificación de capacidad en Monitoreo de GPU brinda a los equipos de plataforma y a los propietarios de cargas de trabajo una vista compartida del aprovisionamiento de GPU en todas las colas. No se requiere filtrado ni consultas manuales. Úsela para ejecutar cargas de trabajo de manera confiable y obtener más provecho de su flota de GPU.

Con la página de Planificación de capacidad, puede responder preguntas como:

  • ¿Qué equipos o proyectos están usando su cuota en exceso o en defecto? Encuentre la cuota no utilizada y reasigne la capacidad de cómputo de manera justa en toda su organización.
  • ¿Qué tipos de GPU están sobresuscritos? Identifique dónde la demanda supera la cuota para que pueda agregar capacidad.
  • ¿Cuál es el estado actual de una carga de trabajo? Vea si cada carga de trabajo está admitida, pendiente o desalojada, y cuántas GPU utiliza.
  • ¿Por qué se retrasa o está desalojada una carga de trabajo? Correlacione las cargas de trabajo pendientes y preemptadas con la cuota y la contención en su cola.
La página de Planificación de capacidad en Monitoreo de GPU muestra gráficos de cuota de GPU, GPU asignadas inactivas, preemption y cobertura de flota sobre una lista de cargas de trabajo.

Requisitos previos

Para usar la página de Planificación de capacidad, debe cumplir con los siguientes criterios:

Explore la página de Planificación de capacidad

Para comenzar, navegue a la página de Planificación de capacidad en GPU Monitoring.

Filtrar por equipo y cola

Utilice los filtros en la parte superior de la página para establecer el contexto de la vista. Puede filtrar por Team, Cluster Name, Cluster Queue, Resource Flavor, Provider, Datacenter y Environment. Guarde una vista filtrada para volver a ella más tarde.

Cuota y utilización

Los gráficos en la parte superior de la página muestran cómo se utiliza la cuota de GPU en toda su flota:

GráficoDescripción
Cuota de GPU no asignada - CantidadNúmero de GPU en la cuota que no están en uso, agrupadas por ClusterQueue.
Cuota de GPU no asignada - PorcentajePorcentaje de la cuota de GPU que no está en uso, agrupado por ClusterQueue.
GPU asignadas inactivasNúmero de GPU asignadas que no están realizando trabajo de motor, agrupadas por ClusterQueue.
Tasa de preemptionCargas de trabajo desalojadas por preemption por cada carga de trabajo admitida, agrupadas por ClusterQueue.
Cobertura de GPU de la flotaCuota de GPU asignada dividida en dispositivos activos, inactivos y no atribuidos en toda la flota.
Saturación - GPUs por encima de la cuotaPares de ClusterQueue y ResourceFlavor clasificados por el número de GPUs utilizadas más allá de su cuota nominal.

Las colas con una cuota alta sin asignar o muchas GPUs asignadas inactivas son candidatas para la reasignación. Las colas que superan constantemente la cuota, o que tienen una tasa de preemption alta, pueden necesitar más capacidad.

Colas y cargas de trabajo

La tabla en la parte inferior de la página tiene dos pestañas:

  • Queues: Enumera cada cola con su cuota y uso.
  • Workloads: Enumera cada carga de trabajo con su equipo, clúster, ClusterQueue, uso de GPU por tipo de recurso y estado más reciente, como Admitted.

Utilice la pestaña Workloads para verificar el estado actual de una carga de trabajo e investigar aquellas que están pendientes o están desalojadas.

Lecturas adicionales