개요

GPU 플릿 페이지에는 지정된 기간의 모든 GPU 가속 호스트의 상세 인벤토리가 기재됩니다. 이 조회를 사용해 리소스 텔레메트리를 통하여 성능과 사용량 메트릭부터 비용까지 다양한 범위의 비효율을 드러냅니다. 또한 이 페이지에는 Datadog의 OOTB 프로비저닝 및 장치에 대한 성능 최적화 권장 사항도 표시되어 GPU 지출 가치를 극대화하는 데 도움이 됩니다.

인프라를 클러스터, 호스트 또는 장치 기준으로 분석

우선, GPU 플릿을 어떻게 파악하고자 하는지 선택합니다. Kubernetes 클러스터(Kubernetes 사용자만 사용 가능), 호스트(노드) 또는 GPU 장치별로 플릿을 그룹화하는 토글을 사용하세요.

선택 항목은 그 결과로 도출되는 표를 채우는 데 사용됩니다. Cluster 또는 _Host_를 선택하는 경우, 각 표 항목 옆에 있는 > 버튼을 클릭해 각각 클러스터의 호스트나 호스트의 장치를 조회할 수 있습니다.

참고: 클러스터 표는 Kubernetes를 사용하는 경우에만 채워집니다.

필터 및 그룹화를 사용하여 GPU 플릿 탐색

페이지 상단의 빠른 필터 드롭다운을 사용해 특정 공급자, 장치 유형, 클러스터, 지역, 서비스, 데이터 센터, 환경 또는 팀 기준으로 필터링합니다.

아래 표시된 필드의 다른 태그를 기준으로 검색 또는 그룹화할 수도 있습니다. 예를 들어 호스트 토글을 선택한 다음, 팀 기준으로 그룹화하면 각각의 고유한 팀에 대한 표 항목을 조회할 수 있습니다. 어느 항목이든 항목 옆에 있는 > 버튼을 클릭하면 해당 팀이 사용하는 호스트와 그러한 호스트를 가속하고 있는 GPU 장치를 확인할 수 있습니다.

참고: 그룹화 기준에는 추가 태그를 한 개만 사용할 수 있습니다.

사용 사례 기반 조회

Datadog에서는 두 가지 전용 사용 사례 기반 조회를 제공하여 프로비저닝 및 성능 최적화 워크플로를 단계별로 안내합니다.

프로비저닝

프로비저닝 탭에는 용량 할당 및 관리를 위한 주요 권장 사항과 메트릭 인사이트가 표시됩니다.

OOTB 권장 사항: Datadog은 열 스로틀링 또는 하드웨어 결함을 선제적으로 감지하여 ECC/XID 오류와 같은 하드웨어 오류에 따라 즉시 수정 방법을 추천합니다. Datadog은 장치가 유휴 상태로 방치되는 사태를 방지하기 위해 비활성 장치를 프로비저닝해야 하는지 감지합니다.

프로비저닝 워크플로와 관련 있는 메트릭: ECC 및 XID 오류 수 그래픽 활동 SM 활동 GPU 메모리 할당된 장치(Kubernetes 사용자만 사용 가능) 활성 장치 유휴 비용

성능

성능 탭을 이용하면 워크로드 실행을 파악하고 GPU 활용률을 조정해 장치를 더 효과적으로 사용하는 데 도움이 됩니다.

OOTB 권장 사항: 워크로드가 CPU 집약적인 경우, Datadog은 CPU 포화 상태인 호스트를 플래그하고 해결 방법을 추천합니다. 워크로드가 할당된 GPU 장치를 효과적으로 사용하고 있지 않은 경우, Datadog은 워크로드를 조정해 용량을 더 가치 있게 사용할 방법을 추천합니다.

성능 워크플로와 관련 있는 메트릭: ECC 및 XID 오류 수 그래픽 활동 SM 활동 GPU 메모리 유효 장치 전력 온도 PCIe RX PCIe Tx CPU 활용률

요약 그래프

클러스터, 호스트 또는 장치를 토글하고 나면 요약 그래프에 해당 토글 값으로 그룹화한 GPU 인프라 전체의 주요 리소스 텔레메트리가 표시됩니다. 사용 가능한 메트릭의 종류와 각각의 의미는 아래 섹션을 확장해 표에서 확인하세요.

그룹화 기준으로 추가 태그를 선택한 경우(예를 들어 team), 요약 그래프의 모든 고유한 시계열은 선택한 메트릭에 대한 팀의 값과 같습니다.

GPU 기반 인프라의 인벤토리

이 표는 GPU 기반 인프라를 사용자가 선택한 태그 기준으로 분석합니다. 그룹화 기준 필드에서 추가 태그를 지정하지 않은 경우, 결과는 클러스터, 호스트 또는 장치 등 토글 선택한 조회 기준으로 그룹화됩니다.

기본적으로 결과 표에 표시되는 열은 다음과 같습니다.

장치 유형 그래픽 엔진 활동 SM 활동(시스템 프로브가 활성화된 경우만 해당) 코어 활용률 메모리 활용률 유휴 비용 권장 사항

톱니바퀴 아이콘을 클릭하면 표에 어느 메트릭이 표시될지 사용자 지정할 수 있습니다. 사용할 수 있는 메트릭 전체 목록을 보려면 아래 섹션을 확장하세요.

세부 정보 사이드 패널

플릿 표에서 아무 행이나 클릭하면 선택한 클러스터, 호스트 또는 장치의 세부 정보가 기재된 사이드 패널이 열립니다.

연결된 엔터티

Datadog의 GPU Monitoring은 NVIDIA의 DCGM Exporter에 의존할 필요가 없습니다. 이 모니터링은 Datadog Agent를 사용해 직접 GPU를 관찰하여 풀과 프로세스의 GPU 사용량 및 비용에 관한 인사이트를 제공합니다. 모든 세부 조회의 연결된 엔터티 섹션 아래에서 SM 활동, GPU 코어 활용률(시스템 프로브를 활성화한 경우에만), 그리고 포드, 프로세스, Slurm 작업의 메모리 사용량을 확인할 수 있습니다. 이 정보를 보면 어느 워크로드를 중단하거나 최적화해야 총 지출을 절감할 수 있는지 파악하는 데 도움이 됩니다.

참고: 포드 탭은 Kubernetes를 사용 중인 경우에만 사용할 수 있습니다.

이 사이드 패널에는 클러스터별 퍼널이 있어 다음과 같은 항목을 나타냅니다.

해당 클러스터 내 총합, 할당됨(Kubernetes 사용자만 해당), 활성 및 유효 장치 개수 해당 클러스터의 총비용 및 유휴 비용 해당 클러스터에 연결된 엔터티: 포드, 프로세스 및 Slurm 작업 해당 클러스터의 4가지 주요 메트릭(사용자 지정 가능): 코어 활용률(시스템 프로브를 활성화한 경우에만), 메모리 활용률, PCIe 처리량 및 그래픽 활동 해당 클러스터와 연결된 호스트의 표

이 사이드 패널에는 호스트별 조회가 있어 다음과 같은 항목을 나타냅니다.

공급자, 인스턴스 유형, CPU 활용률, 사용한 시스템 메모리, 시스템 메모리 총합, 시스템 IO 활용률, SM 활동 및 온도 등 호스트 관련 메타데이터 (Kubernetes 사용자만 사용 가능) 해당 호스트에 할당된 GPU 장치를 그래픽 엔진 활동 기준으로 분류한 내용 해당 호스트에 연결된 엔터티: 포드, 프로세스 및 Slurm 작업

이 사이드 패널에는 장치별 조회가 있어 다음과 같은 항목을 나타냅니다.

이 장치를 더 효과적으로 사용하는 방법 권장 사항(있는 경우) 장치 관련 세부 정보: 장치 유형, SM 활동 및 온도 GPU와 연계된 4가지 주요 메트릭: SM 활동, 메모리 활용률, 전력 및 그래픽 엔진 활동 해당 클러스터의 연결된 엔터티: 포드 및 프로세스

설치 권장 사항

Datadog은 사용자의 인프라를 적극적으로 조사하여 사용자가 GPU Monitoring으로부터 얻을 수 있는 가치를 감소시키는 설치 간극이 있는지 감지합니다. 이 모달에서는 GPU Monitoring에서 최적의 가치를 얻기 위한 설치 권장 사항을 확인할 수 있습니다. 예를 들어 호스트에 Datadog Agent 최신 버전이 설치되어 있어야 하고, NVIDIA 드라이버 최신 버전을 설치해야 하며 잘못 구성된 호스트가 있는지 검사해야 합니다.

관련 프로세스 또는 SLURM 작업 기준으로 GPU 리소스 특성과 같은 고급 GPU Monitoring 특징을 조회하려면 각각 Live Processes 및 Slurm 통합을 활성화해야 합니다.

참고 자료

추가 유용한 문서, 링크 및 기사:

Datadog GPU Monitoring으로 AI 인프라 최적화 및 문제 해결BLOG