Información general

Las evaluaciones gestionadas son herramientas integradas para evaluar tu aplicación de LLM en dimensiones como la calidad, la seguridad y la protección. Al crearlas, puedes evaluar la eficacia de las respuestas de tu aplicación, incluida la detección de sentimientos, relevancia temática, toxicidad, falta de respuesta y alucinación.

LLM Observability asocia evaluaciones con tramos individuales para que puedas ver las entradas y salidas que condujeron a una evaluación específica.

Las evaluaciones gestionadas de LLM Observability aprovechan los LLMs. Para conectar tu proveedor de LLM a Datadog, necesitas una clave del proveedor.

Obtén más información sobre los requisitos de compatibilidad.

Conectar tu cuenta de proveedor de LLM

Configura el proveedor de LLM que deseas utilizar para las evaluaciones “traer tu propia clave” (BYOK). Solo tienes que completar este paso una vez.

Si estás sujeto a la HIPAA, eres responsable de asegurarte de que te conectas únicamente a una cuenta de OpenAI que esté sujeta a un acuerdo de asociación empresarial (BAA) y que cumpla todos los requisitos de conformidad con la HIPAA.

Conecta tu cuenta de OpenAI a LLM Observability con tu clave de API de OpenAI. LLM Observability utiliza el modelo GPT-4o mini para las evaluaciones.

1. En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
2. Selecciona Connect (Conectar) en el cuadro de OpenAI.
3. Sigue las instrucciones del cuadro.
   • Proporciona tu clave de API de OpenAI. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.
4. Habilita Use this API key to evaluate your LLM applications (Utilizar esta clave de API para evaluar tus aplicaciones LLM).

Si estás sujeto a la HIPAA, es responsable de garantizar que te conectas únicamente a una cuenta de Azure OpenAI que esté sujeta a un acuerdo de asociación empresarial (BAA) y que cumpla todos los requisitos de conformidad con la HIPAA.

Conecta tu cuenta de Azure OpenAI a LLM Observability con tu clave de API de OpenAI. Datadog recomienda encarecidamente utilizar el modelo GPT-4o mini para las evaluaciones. La versión del modelo seleccionada debe admitir salida estructurada.

1. En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
2. Selecciona Connect (Conectar) en el cuadro de Azure OpenAI.
3. Sigue las instrucciones del cuadro.
   • Proporciona tu clave de API de Azure OpenAI. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.
   • Indica el nombre del recurso, el ID de implementación y la versión de la API para completar la integración.

Si estás sujeto a la HIPAA, es responsable de garantizar que te conectas únicamente a una cuenta de Anthropic que esté sujeta a un acuerdo de asociación empresarial (BAA) y que cumpla todos los requisitos de conformidad con la HIPAA.

Conecta tu cuenta de Anthropic a LLM Observability con tu clave de API de Anthropic. LLM Observability utiliza el modelo Haiku para las evaluaciones.

1. En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
2. Selecciona Connect (Conectar) en el cuadro de Anthropic.
3. Sigue las instrucciones del cuadro.
   • Proporciona tu clave de la API de Anthropic. Asegúrate de que esta clave tiene permiso de escritura para las capacidades del modelo.

Si estás sujeto a la HIPAA, es responsable de garantizar que te conectas únicamente a una cuenta de Amazon Bedrock que esté sujeta a un acuerdo de asociación empresarial (BAA) y que cumpla todos los requisitos de conformidad con la HIPAA.

Conecta tu cuenta de Amazon Bedrock a LLM Observability con tu cuenta de AWS. LLM Observability utiliza el modelo Haiku para las evaluaciones.

1. En Datadog, navega a LLM Observability > Settings > Integrations (LLM Observability > Configuración > Integraciones)
2. Selecciona Connect (Conectar) en el cuadro de Amazon Bedrock.
3. Sigue las instrucciones del cuadro.

Si tu proveedor de LLM restringe las direcciones IP, puedes obtener los rangos de IP necesarios al visitar la documentación de rangos de IP de Datadog, seleccionar tu Datadog Site, pegar la URL GET en tu navegador y copiar la sección webhooks.

Crear nuevas evaluaciones

1. Ve a AI Observability > Evaluations (AI Observability > Evaluaciones).
2. Haz clic en el botón Create Evaluation (Crear evaluación) en la esquina superior derecha.
3. Selecciona una evaluación gestionada específica. Se abrirá la ventana del editor de evaluaciones.
4. Selecciona las aplicaciones de LLM para las que deseas configurar tu evaluación.
5. Selecciona OpenAI, Azure OpenAI, Anthropic o Amazon Bedrock como proveedor de LLM y elige una cuenta.
6. Configura los datos sobre los que se ejecutará la evaluación:
   • Selecciona Traces (Trazas) (filtrado para el tramo de raíz de cada traza) o All Spans (Todos los tramos) (sin filtrado).
   • (Opcional) Especifica una o todas las etiquetas sobre las que deseas que se ejecute esta evaluación.
   • (Opcional) Selecciona en qué porcentaje de tramos deseas que se ejecute esta evaluación configurando el porcentaje de muestreo. Este número debe ser mayor que 0 y menor o igual que 100 (muestreo de todos los tramos).
7. (Opcional) Configura las opciones de evaluación seleccionando qué subcategorías deben marcarse. Solo disponible en algunas evaluaciones.

Después de hacer clic en Save and Publish (Guardar y publicar), LLM Observability utiliza la cuenta de LLM a la que te conectaste para activar la evaluación que habilitaste. Alternativamente, puedes Save as Draft (Guardar como borrador) y editarlas o habilitarlas más tarde.

Editar evaluaciones existentes

1. Ve a AI Observability > Evaluations (AI Observability > Evaluaciones).
2. Sitúa el cursor sobre la evaluación que deseas editar y haz clic en el botón Edit (Editar).

Uso estimado de token

Puedes monitorizar el uso de tokens de tus evaluaciones LLM gestionadas utilizando este dashboard.

Si necesitas más detalles, las siguientes métricas te permiten hacer un seguimiento de los recursos de LLM consumidos para alimentar las evaluaciones:

• ml_obs.estimated_usage.llm.input.tokens
• ml_obs.estimated_usage.llm.output.tokens
• ml_obs.estimated_usage.llm.total.tokens

Cada una de estas métricas tiene las etiquetas ml_app, model_server, model_provider, model_name y evaluation_name, lo que te permite localizar aplicaciones, modelos y evaluaciones específicas que contribuyen a tu uso.

Evaluaciones del Agent

Las evaluaciones del Agent ayudan a garantizar que las aplicaciones basadas en LLM realizan las llamadas a las herramientas adecuadas y resuelven correctamente las solicitudes de los usuarios. Estos checks están diseñados para detectar modos de fallo comunes cuando los agents interactúan con herramientas, API o flujos de trabajo externos. Datadog ofrece las siguientes evaluaciones de agents:

• Selección de herramienta: verifica que las herramientas seleccionadas por un agent son correctas.
• Corrección de los argumentos de la herramienta: garantiza que los argumentos proporcionados a una herramienta por el agent son correctos.
• Finalización del objetivo: comprueba si el objetivo de un usuario se ha cumplido al final de la sesión.

Evaluaciones de calidad

Relevancia del tema

Este check identifica y marca las entradas del usuario que se desvían de los temas de entrada aceptables configurados. Esto garantiza que las interacciones sigan siendo pertinentes al propósito y contexto designados del LLM.

Puedes aportar temas para esta evaluación.

1. Ve a LLM Observability > Applications (LLM Observability > Aplicaciones).
2. Selecciona la aplicación para la que deseas añadir temas.
3. En la esquina derecha del panel superior, selecciona Settings (Ajustes).
4. Junto a Topic Relevancy (Relevancia temática), haz clic en Configure Evaluation (Configurar evaluación).
5. Haz clic en el icono Edit Evaluations (Editar evaluaciones) de Relevancia temática.
6. Añade temas en la página de configuración.

Los temas pueden contener varias palabras y deben ser lo más específicos y descriptivos posible. Por ejemplo, para una aplicación LLM diseñada para la gestión de incidencias, añade “observabilidad”, “ingeniería de software” o “resolución de incidencias”. Si tu aplicación gestiona las consultas de los clientes de una tienda de comercio electrónico, puedes utilizar “Preguntas de los clientes sobre la compra de muebles en una tienda de comercio electrónico”.

Alucinación

Este check identifica los casos en los que el LLM hace una afirmación que no concuerda con el contexto de entrada proporcionado.

Instrumentación

Para aprovechar las ventajas de la detección de alucinaciones, deberás anotar los tramos de LLM con la consulta del usuario y el contexto:

from ddtrace.llmobs import LLMObs
from ddtrace.llmobs.utils import Prompt

# if your llm call is auto-instrumented...
with LLMObs.annotation_context(
        prompt=Prompt(
            variables={"user_question": user_question, "article": article},
            rag_query_variables=["user_question"],
            rag_context_variables=["article"]
        ),
        name="generate_answer"
):
    oai_client.chat.completions.create(...) # autoinstrumented llm call

# if your llm call is manually instrumented ...
@llm(name="generate_answer")
def generate_answer():
  ...
  LLMObs.annotate(
            prompt=Prompt(
                variables={"user_question": user_question, "article": article},
                rag_query_variables=["user_question"],
                rag_context_variables=["article"]
            ),
  )

El diccionario de variables debe contener los pares clave-valor que tu aplicación utiliza para construir el prompt de entrada de LLM (por ejemplo, los mensajes para una solicitud de finalización de chat de OpenAI). Establece rag_query_variables y rag_context_variables para indicar qué variables constituyen la consulta y el contexto, respectivamente. Se permite una lista de variables para tener en cuenta los casos en los que varias variables constituyen el contexto (por ejemplo, varios artículos recuperados de una base de conocimientos).

La detección de alucinaciones no se ejecuta si la consulta rag, el contexto rag o la salida de tramo están vacíos.

Encontrarás más ejemplos de instrumentación en la documentación del kit de desarrollo de software (SDK).

Configuración de alucinaciones

Las contradicciones se detectan siempre, mientras que las afirmaciones infundadas pueden incluirse opcionalmente. Para casos de uso delicados, recomendamos incluir las Afirmaciones infundadas.

Falta de respuesta

Este check identifica instancias en las que el LLM no entrega una respuesta apropiada, lo que puede ocurrir debido a limitaciones en el conocimiento o la comprensión del LLM, ambigüedad en la consulta del usuario o la complejidad del tema.

Configuración de Error de respuesta

Desajuste lingüístico

Este check identifica los casos en los que el LLM genera respuestas en un idioma o dialecto diferente al que utiliza el usuario, lo que puede generar confusión o problemas de comunicación. Este check garantiza que las respuestas del LLM sean claras, pertinentes y adecuadas según las preferencias y necesidades lingüísticas del usuario.

La incompatibilidad de idioma solo se admite para los prompts en lenguaje natural. Los pares de entrada y salida que consisten principalmente en datos estructurados como JSON, fragmentos de código o caracteres especiales no se marcan como no coincidencia de idioma.

Sentimiento

Este check ayuda a comprender el estado de ánimo general de la conversación, medir la satisfacción del usuario, identificar tendencias de sentimientos e interpretar las respuestas emocionales. Este check clasifica con precisión el sentimiento del texto, lo que proporciona información para mejorar las experiencias del usuario y adaptar las respuestas para satisfacer mejor sus necesidades.

Evaluaciones de Seguridad y protección

Toxicidad

Este check evalúa cada instrucción de entrada del usuario y la respuesta de la aplicación de LLM en busca de contenido tóxico. Este check identifica y marca el contenido tóxico para garantizar que las interacciones sigan siendo respetuosas y seguras.

Configuración de toxicidad

Las categorías de toxicidad de esta tabla se basan en: Banko et al. (2020), Inan et al. (2023), Ghosh et al. (2024), Zheng et al. (2024).

Inyección de instrucción

Este check identifica intentos de autores malintencionados o no autorizados de manipular las respuestas del LLM o redirigir la conversación de formas no previstas por el autor original. Este check mantiene la integridad y autenticidad de las interacciones entre los usuarios y el LLM.

Configuración de la inyección de prompts

Escaneo de datos confidenciales

Este check garantiza que la información confidencial se maneje de forma adecuada y segura, reduciendo el riesgo de violaciones de datos o acceso no autorizado.

Referencias adicionales

Más enlaces, artículos y documentación útiles:

Conoce los términos y conceptos de LLM ObservabilityDOCUMENTACIÓN Aprende a configurar la observabilidad de LLMDOCUMENTACIÓN Detecta alucinaciones en tus aplicaciones RAG LLM con Datadog LLM ObservabilityBLOG