Docker

Para configurar el exportador en un entorno Docker:

1. Crea el archivo $PWD/default-counters.csv que contiene los campos predeterminados de NVIDIA etc/default-counters.csv así como campos adicionales recomendados por Datadog. Para añadir más campos a la recopilación, sigue estas instrucciones. Para ver la lista completa de campos, consulta el Manual de referencia de la API de DCGM.
2. Ejecuta el contenedor Docker usando el siguiente comando:

   sudo docker run --pid=host --privileged -e DCGM_EXPORTER_INTERVAL=5000 --gpus all -d -v /proc:/proc -v $PWD/default-counters.csv:/etc/dcgm-exporter/default-counters.csv -p 9400:9400 --name dcgm-exporter nvcr.io/nvidia/k8s/dcgm-exporter:3.1.7-3.1.4-ubuntu20.04
   

Kubernetes (chart Helm de DCGM Exporter)

El exportador de DCGM puede instalarse rápidamente en un entorno de Kubernetes con el gráfico de Helm de NVIDIA DCGM Exporter. Las instrucciones siguientes se obtienen de la plantilla proporcionada por NVIDIA aquí.

1. Añade el repositorio Helm de NVIDIA DCGM Exporter y asegúrate de que esté actualizado:

   helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts && helm repo update
   

2. Crea un ConfigMap que contenga las métricas recomendadas por Datadog de Instalación, así como el RoleBinding y el Role utilizados por los pods de DCGM para recuperar el ConfigMap usando el manifiesto a continuación:

   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: dcgm-exporter-read-datadog-cm
     namespace: default
   rules:
   - apiGroups: [""]
     resources: ["configmaps"]
     resourceNames: ["datadog-dcgm-exporter-configmap"]
     verbs: ["get"]
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: dcgm-exporter-datadog
     namespace: default
   subjects:
   - kind: ServiceAccount
     name: dcgm-datadog-dcgm-exporter
     namespace: default
   roleRef:
     kind: Role 
     name: dcgm-exporter-read-datadog-cm
     apiGroup: rbac.authorization.k8s.io
   ---
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: datadog-dcgm-exporter-configmap
     namespace: default
   data:
     metrics: |
         # Copy the content from the Installation section.
   

3. Crea tu gráfico de Helm de DCGM Exporter dcgm-values.yaml con el siguiente contenido :

   # Exposing more metrics than the default for additional monitoring - this requires the use of a dedicated ConfigMap for which the Kubernetes ServiceAccount used by the exporter has access thanks to step 1.
   # Ref: https://github.com/NVIDIA/dcgm-exporter/blob/e55ec750def325f9f1fdbd0a6f98c932672002e4/deployment/values.yaml#L38
   arguments: ["-m", "default:datadog-dcgm-exporter-configmap"]
   
   # Datadog Autodiscovery V2 annotations
   podAnnotations:
     ad.datadoghq.com/exporter.checks: |-
       {
         "dcgm": {
           "instances": [
             {
               "openmetrics_endpoint": "http://%%host%%:9400/metrics"
             }
           ]
         }
       }
   # Optional - Disabling the ServiceMonitor which requires Prometheus CRD - can be re-enabled if Prometheus CRDs are installed in your cluster
   serviceMonitor:
     enabled: false
   

4. Instala el chart Helm de DCGM Exporter en el espacio de nombres default con el siguiente comando, mientras te encuentras en el directorio con tu dcgm-values.yaml:

   helm install dcgm-datadog gpu-helm-charts/dcgm-exporter -n default -f dcgm-values.yaml
   

Nota: Puedes modificar el nombre de la versión dcgm-datadog así como el espacio de nombres, pero debes modificar en consecuencia el manifiesto del paso 1.

Kubernetes (NVIDIA GPU Operator)

El exportador de DCGM puede instalarse en un entorno de Kubernetes con NVIDIA GPU Operator. Las instrucciones siguientes proceden de la plantilla proporcionada por NVIDIA aquí.

1. Añade el repositorio Helm de NVIDIA GPU Operator y asegúrate de que esté actualizado:

   helm repo add nvidia https://helm.ngc.nvidia.com/nvidia && helm repo update
   

2. Sigue las instrucciones de Configuración de métricas personalizadas con el CSV de Instalación :
   • Obtén el archivo de métricas y guárdalo como dcgm-metrics.csv: curl https://raw.githubusercontent.com/NVIDIA/dcgm-exporter/main/etc/dcp-metrics-included.csv > dcgm-metrics.csv
   • Edita el archivo de métricas reemplazando su contenido con la asignación proporcionada por Datadog.
   • Crea un espacio de nombres gpu-operator si aún no existe: kubectl create namespace gpu-operator.
   • Crea un ConfigMap utilizando el archivo editado anteriormente: kubectl create configmap metrics-config -n gpu-operator --from-file=dcgm-metrics.csv
3. Crea tu gráfico de Helm de GPU Operator dcgm-values.yaml con el siguiente contenido:

   # Refer to NVIDIA documentation for the driver and toolkit for your GPU-enabled nodes - example below for Amazon Linux 2 g5.xlarge
   driver:
     enabled: true
   toolkit:
     version: v1.13.5-centos7
   # Using custom metrics configuration to collect recommended Datadog additional metrics - requires the creation of the metrics-config ConfigMap from the previous step
   # Ref: https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/getting-started.html#custom-metrics-config
   dcgmExporter:
     config:
       name: metrics-config
     env:
     - name: DCGM_EXPORTER_COLLECTORS
       value: /etc/dcgm-exporter/dcgm-metrics.csv
   # Adding Datadog autodiscovery V2 annotations
   daemonsets:
     annotations:
       ad.datadoghq.com/nvidia-dcgm-exporter.checks: |-
         {
           "dcgm": {
             "instances": [
               {
                 "openmetrics_endpoint": "http://%%host%%:9400/metrics"
               }
             ]
           }
         }
   

4. Instala el chart Helm de DCGM Exporter en el espacio de nombres default con el siguiente comando, mientras te encuentras en el directorio con tu dcgm-values.yaml:

   helm install datadog-dcgm-gpu-operator -n gpu-operator nvidia/gpu-operator -f dcgm-values.yaml
   

host

Recopilación de métricas

1. Edita el archivo dcgm.d/conf.yaml (ubicado en la carpeta conf.d/ en la raíz de tu directorio de configuración del Agent) para comenzar a recopilar tus métricas de GPU. Consulta ejemplo de dcgm.d/conf.yaml para ver todas las opciones de configuración disponibles.

   instances:
   
      ## @param openmetrics_endpoint - string - required
      ## The URL exposing metrics in the OpenMetrics format.
      ##
      ## Set this to <listenAddress>/<handlerPath> as configured in your DCGM Server
      #
      - openmetrics_endpoint: http://localhost:9400/metrics
   

Utiliza el campo de configuración extra_metrics para añadir métricas que vayan más allá de las que Datadog admite de fábrica. Consulta la documentación de NVIDIA para ver la lista completa de métricas que puede recopilar dcgm-exporter. Asegúrate también de activar estos campos en la configuración de dcgm-exporter.

Docker

Recopilación de métricas

Configura Plantillas de integraciones de Autodiscovery como etiquetas Docker en tu contenedor del exportador de DCGM:

LABEL "com.datadoghq.ad.check_names"='["dcgm"]'
LABEL "com.datadoghq.ad.init_configs"='[{}]'
LABEL "com.datadoghq.ad.instances"='[{"openmetrics_endpoint": "http://%%host%%:9400/metrics"}]'

Kubernetes

Nota: Si seguiste las instrucciones para el chart Helm de DCGM Exporter o GPU Operator, las anotaciones ya se aplican a los pods y puedes ignorar las siguientes instrucciones.

1. Para Configurar este check para un Agent que se ejecuta en Kubernetes:

Recopilación de métricas

Configura Plantillas de integración de Autodiscovery como anotaciones de pod en tu contenedor de aplicaciones. Aparte de esto, las plantillas también se pueden configurar con un archivo, un mapa de configuración o un almacén de valores clave.

Anotaciones v2 (para el Datadog Agent v7.47 o posterior)

apiVersion: v1
kind: Pod
metadata:
  name: '<POD_NAME>'
  annotations:
    ad.datadoghq.com/dcgm.checks: |
      {
        "dcgm": {
          "init_config": {},
          "instances": [
            {
              "openmetrics_endpoint": "http://%%host%%:9400/metrics"
            }
          ]
        }
      }
spec:
  containers:
    - name: dcgm