Información general

Este check monitoriza NVIDIA NIM a través del Datadog Agent.

Configuración

Sigue las instrucciones a continuación para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos contenedorizados, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.

Requisitos:

• Este check requiere Agent v7.61.0+
• Este check utiliza OpenMetrics para la recopilación de métricas, que requiere Python 3.

Instalación

El check de NVIDIA NIM está incluido en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor.

Observabilidad de LLM: obtén visibilidad de extremo a extremo de las llamadas de tu aplicación LLM a NVIDIA Nim.

NVIDIA NIM utiliza el cliente OpenAI para gestionar las llamadas a la API desde NVIDIA NIM. Para monitorizar tu aplicación usando NVIDIA NIM y configurar la Observailidad de LLM, sigue las instrucciones de la documentación de la integración de OpenAI. `

Configuración

NVIDIA NIM proporciona Prometheus métricas indicando las estadísticas de las peticiones. Por defecto, estas métricas están disponibles en http://localhost:8000/métricas. El Datadog Agent puede recopilar los métricas expuestos utilizando este integración. Siga las siguientes instrucciones para Configurar recopilar datos de cualquiera de los componentes o de todos ellos.

Para empezar a recopilar los datos de rendimiento de NVIDIA NIM:

1. Edita el archivo nvidia_nim.d/conf.yaml, en la carpeta conf.d/ en la raíz del directorio de configuración de tu Agent para empezar a recopilar tus datos de rendimiento de NVIDIA NIM. Consulta el nvidia_nim.d/conf.yaml de ejemplo para ver todas las opciones disponibles de configuración.

2. Reinicia el Agent.

Validación

Ejecuta el subcomando de estado del Agent y busca nvidia_nim en la sección Checks.

Datos recopilados

Métricas

Eventos

La integración de NVIDIA NIM no incluye ningún evento.

Checks de servicio

Resolución de problemas

¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.