Información general

Puedes configurar tus aplicaciones LLM en la página de configuración con ajustes que pueden optimizar el rendimiento y la seguridad de tu aplicación.

Evaluaciones

permite a Datadog evaluar tu aplicación LLM en dimensiones como Calidad, Seguridad y Protección. Al habilitar las evaluaciones, puedes evaluar la eficacia de las respuestas de tu aplicación y mantener altos estándares tanto de rendimiento como de seguridad del usuario. Para obtener más información sobre las evaluaciones, consulta Términos y conceptos.

Temas

ayuda a identificar las entradas irrelevantes para la evaluación “predefinida” de topic relevancy, garantizando que tu solicitud LLM se mantenga centrada en su objetivo previsto.

Conecta tu cuenta de OpenAI

Conecta tu cuenta de OpenAI a LLM Observability con tu clave de API de OpenAI.

1. En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
2. Selecciona Connect (Conectar) en el cuadro de OpenAI.
3. Sigue las instrucciones del cuadro.
   • Proporciona tu clave de API de OpenAI. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.
4. Habilitar Utilice esta clave API para evaluar sus solicitudes de LLM.

Seleccionar y activar evaluaciones

1. Navega a LLM Observability > Settings > Evaluations (LLM Observability > Configuración > Evaluaciones)
2. Haz clic en la evaluación que desees activar.
3. Selecciona OpenAI como proveedor de tu LLM.
4. Selecciona la cuenta de OpenAI en la que deseas ejecutar la evaluación.
5. Asigna la aplicación de LLM en la que deseas ejecutar la evaluación.

Después de hacer clic en Save (Guardar), LLM Observability invoca un modelo GPT-4o mini utilizando la clave de API de OpenAI que proporcionaste.

Para más información sobre las evaluaciones, consulta Términos y conceptos.

Proporcionar temas para la relevancia temática

Proporcionar temas te permite utilizar la evaluación de relevancia temática.

1. Ve a LLM Observability > Applications (LLM Observability > Aplicaciones).
2. Selecciona la aplicación para la que deseas añadir temas.
3. En la parte inferior de la barra lateral izquierda, selecciona Configuration.
4. Añadir temas en el modal emergente.

Los temas pueden contener varias palabras y deben ser lo más específicos y descriptivos posible. Por ejemplo, para una aplicación LLM diseñada para la gestión de incidencias, añade “observabilidad”, “ingeniería de software” o “resolución de incidencias”. Si tu aplicación gestiona las consultas de los clientes de una tienda de comercio electrónico, puedes utilizar “Preguntas de los clientes sobre la compra de muebles en una tienda de comercio electrónico”.

Configurar tests de API y tests de API multupaso

Grabar pruebas de aplicaciones móviles