개요

본 점검은 Datadog Agent로 Nvidia Triton을 모니터링합니다.

설정

아래 지침에 따라 호스트에서 실행 중인 Agent에 이 점검을 설치하고 설정하세요. 컨테이너화된 환경의 경우 Autodiscovery 통합 템플릿에서 해당 지침을 적용하는 방법에 관한 가이드를 참고하세요.

설치

Nvidia Triton 점검은 Datadog Agent 패키지에 포함되어 있습니다. 서버에 추가로 설치할 필요가 없습니다.

OpenMetrics 엔드포인트

기본적으로 Nvidia Triton 서버는 Prometheus 엔드포인트를 통해 모든 메트릭을 공개합니다. 모든 메트릭 보고를 활성화하려면:

tritonserver --allow-metrics=true

메트릭 엔드포인트를 변경하려면 --metrics-address 옵션을 사용하세요.

예시:

tritonserver --metrics-address=http://0.0.0.0:8002

이 경우 OpenMetrics 엔드포인트는 다음 URL에 노출됩니다: http://<NVIDIA_TRITON_ADDRESS>:8002/metrics

레이턴시 요약 메트릭은 기본적으로 비활성화되어 있습니다. 레이턴시 요약 메트릭을 활성화하려면 아래 명령어를 사용하세요.

tritonserver --metrics-config summary_latencies=true

응답 캐시 메트릭은 기본적으로 보고되지 않습니다. <cache_implementation> 및 해당 구성을 지정하여 서버 측에서 캐시 구현을 활성화해야 합니다.

예를 들어:

tritonserver --cache-config local,size=1048576

Nvidia Triton은 Openemtrics 엔드포인트를 통해 사용자 지정 메트릭을 노출할 수 있는 기능도 제공합니다. Datadog도 extra_metrics 옵션을 사용하여 이러한 사용자 지정 메트릭을 수집할 수 있습니다.

설정

1. nvidia_triton 성능 데이터 수집을 시작하려면 Agent 구성 디렉터리 루트의 conf.d/ 폴더에 있는 nvidia_triton.d/conf.yaml 파일을 편집합니다. 사용 가능한 모든 구성 옵션은 샘플 nvidia_triton.d/conf.yaml을 참고하세요.

2. Agent를 다시 시작합니다.

검증

Agent 상태 하위 명령을 실행하고 Checks 섹션에서 nvidia_triton를 찾습니다.

수집한 데이터

Metrics

이벤트

Nvidia Triton 통합은 이벤트를 포함하지 않습니다.

서비스 점검

nvidia_triton.openmetrics.health

Agent가 Nvidia Triton OpenMetrics 엔드포인트에 연결할 수 없는 경우 CRITICAL을 반환하고, 그 외에는 OK를 반환합니다.

상태: ok, critical

nvidia_triton.health.status

서버가 4xx 또는 5xx 응답을 받으면 CRITICAL을, 응답이 200이면 OK를, 그 외에는 unknown을 반환합니다.

Statuses: ok, warning, critical

로그

Nvidia Triton 통합을 통해 Nvidia Triton 서버에서 로그를 수집하여 Datadog으로 전달할 수 있습니다.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia_triton
  annotations:
    ad.datadoghq.com/apache.logs: '[{"source":"nvidia_triton","service":"nvidia_triton"}]'
spec:
  containers:
    - name: ray

트러블슈팅

도움이 필요하세요? Datadog 지원 팀에 문의하세요.