Versión de la integración1.1.0
To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.
To initiate an exception request to enable this integration for your organization, email support@ddog-gov.com.
Este check monitoriza NVIDIA NIM a través del Datadog Agent.
Configuración
Esta integración está actualmente en vista previa. Su disponibilidad está sujeta a cambios en el futuro.
Sigue las instrucciones a continuación para instalar y configurar este check para un Agent que se ejecuta en un host. Para entornos contenedorizados, consulta las plantillas de integración de Autodiscovery para obtener orientación sobre la aplicación de estas instrucciones.
Requisitos:
- Este check requiere Agent v7.61.0+
- Este check utiliza OpenMetrics para la recopilación de métricas, que requiere Python 3.
Instalación
El check de NVIDIA NIM está incluido en el paquete del Datadog Agent. No es necesaria ninguna instalación adicional en tu servidor.
Observabilidad de LLM: obtén visibilidad de extremo a extremo de las llamadas de tu aplicación LLM a NVIDIA Nim.
NVIDIA NIM utiliza el cliente OpenAI para gestionar las llamadas a la API desde NVIDIA NIM. Para monitorizar tu aplicación usando NVIDIA NIM y configurar la Observailidad de LLM, sigue las instrucciones de la documentación de la integración de OpenAI.
`
Configuración
NVIDIA NIM proporciona Prometheus métricas indicando las estadísticas de las peticiones. Por defecto, estas métricas están disponibles en http://localhost:8000/métricas. El Datadog Agent puede recopilar los métricas expuestos utilizando este integración. Siga las siguientes instrucciones para Configurar recopilar datos de cualquiera de los componentes o de todos ellos.
Para empezar a recopilar los datos de rendimiento de NVIDIA NIM:
Edita el archivo nvidia_nim.d/conf.yaml, en la carpeta conf.d/ en la raíz del directorio de configuración de tu Agent para empezar a recopilar tus datos de rendimiento de NVIDIA NIM. Consulta el nvidia_nim.d/conf.yaml de ejemplo para ver todas las opciones disponibles de configuración.
Reinicia el Agent.
Validación
Ejecuta el subcomando de estado del Agent y busca nvidia_nim en la sección Checks.
Datos recopilados
Métricas
Eventos
La integración de NVIDIA NIM no incluye ningún evento.
Checks de servicio
Resolución de problemas
¿Necesitas ayuda? Ponte en contacto con el servicio de asistencia de Datadog.
