Datadog proporciona plantillas LLM-as-a-judge para las siguientes evaluaciones: Falta de respuesta, Integridad del objetivo, Alucinación, Inyección de prompt, Sentimiento, Corrección de argumentos de herramienta, Selección de herramienta, Relevancia de tema y Toxicidad. Después de seleccionar una plantilla, puede modificar cualquier aspecto de la evaluación.

Para conocer las mejores prácticas y detalles sobre cómo crear evaluaciones LLM-as-a-judge, lea Crear una evaluación LLM-as-a-judge personalizada.

Para seleccionar una plantilla:

1. En Datadog, navegue a la página de Evaluaciones de Agent Observability
2. Haga clic en el botón Create Evaluation
3. Seleccione la plantilla de su elección

4. Seleccione el proveedor de integración, la cuenta y el modelo que desea utilizar.
   • Nota: Algunos proveedores de integración requieren pasos adicionales (como seleccionar una región para Amazon Bedrock o un proyecto y ubicación para VertexAI). (1. ) Seleccione la aplicación para la que desea ejecutar la evaluación y establezca los filtros de tramo deseados.

Evaluaciones

Falta de respuesta

Las evaluaciones de Falta de respuesta identifican casos en los que el LLM no entrega una respuesta adecuada, lo cual puede ocurrir debido a limitaciones en el conocimiento o la comprensión del LLM, ambigüedad en la consulta del usuario o la complejidad del tema.

Configure una evaluación de Falta de respuesta

Datadog proporciona las siguientes categorías de Falta de respuesta, enumeradas en la siguiente tabla. La plantilla tiene Empty Response y Refusal Response marcados como fallidos de forma predeterminada, pero esto se puede configurar para su caso de uso específico.

Alucinación

Las evaluaciones de alucinación identifican casos en los que el LLM hace una afirmación que no concuerda con el contexto de entrada proporcionado. Esta verificación ayuda a garantizar que sus aplicaciones RAG se mantengan basadas en los datos recuperados y no fabriquen información.

Configure una evaluación de alucinación

Utilice las anotaciones de Prompt Tracking para realizar un seguimiento de sus prompts y configurarlos para la detección de alucinaciones. Anote sus spans de LLM con la consulta del usuario y el contexto para que la detección de alucinaciones pueda evaluar las salidas del modelo frente a los datos recuperados.

from ddtrace.llmobs import LLMObs
from ddtrace.llmobs.types import Prompt

# if your llm call is auto-instrumented...
with LLMObs.annotation_context(
        prompt=Prompt(
            id="generate_answer_prompt",
            template="Generate an answer to this question :{user_question}. Only answer based on the information from this article : {article}",
            variables={"user_question": user_question, "article": article},
            rag_query_variables=["user_question"],
            rag_context_variables=["article"]
        ),
        name="generate_answer"
):
    oai_client.chat.completions.create(...) # autoinstrumented llm call

# if your llm call is manually instrumented ...
@llm(name="generate_answer")
def generate_answer():
  ...
  LLMObs.annotate(
            prompt=Prompt(
                id="generate_answer_prompt",
                template="Generate an answer to this question :{user_question}. Only answer based on the information from this article : {article}",
                variables={"user_question": user_question, "article": article},
                rag_query_variables=["user_question"],
                rag_context_variables=["article"]
            ),
  )

El variables diccionario debe contener los pares clave-valor que su aplicación utiliza para construir el prompt de entrada del LLM (por ejemplo, los mensajes para una solicitud de finalización de chat de OpenAI). Utilice rag_query_variables y rag_context_variables para especificar qué variables representan la consulta del usuario y cuáles representan el contexto de recuperación. Se permite una lista de variables para dar cuenta de los casos en los que múltiples variables conforman el contexto (por ejemplo, múltiples artículos recuperados de una base de conocimientos).

La detección de alucinaciones no se ejecuta si la consulta RAG, el contexto RAG o la salida del tramo están vacíos.

El seguimiento de prompts está disponible en Python a partir de la versión 3.15. También requiere un ID para el prompt y la plantilla configurada para hacer un seguimiento y rastrear las versiones de sus prompts. Puede encontrar más ejemplos de seguimiento e instrumentación de prompts en la documentación del SDK.

La detección de alucinaciones hace una distinción entre dos tipos de alucinaciones:

Las contradicciones siempre se detectan, mientras que las afirmaciones no respaldadas pueden incluirse opcionalmente. Para casos de uso confidenciales, recomendamos incluir las afirmaciones no respaldadas.

Inyección de prompts

Las evaluaciones de inyección de prompts identifican intentos de autores no autorizados o malintencionados para manipular las respuestas del LLM o redirigir la conversación de maneras no previstas por el autor original. Esta verificación mantiene la integridad y autenticidad de las interacciones entre los usuarios y el LLM.

Configure una evaluación de inyección de prompts

Puede configurar la evaluación de inyección de prompts para utilizar categorías específicas de inyección de prompts, enumeradas en la siguiente tabla. La plantilla tiene como valor predeterminado que cada categoría se marque como un intento de inyección de prompts.

Sentimiento

Las evaluaciones de sentimiento le ayudan a comprender el estado de ánimo general de la conversación, medir la satisfacción del usuario, identificar tendencias de sentimiento e interpretar respuestas emocionales. Esta evaluación clasifica el sentimiento del texto, proporcionando información para mejorar la experiencia del usuario y adaptar las respuestas para satisfacer mejor sus necesidades.

Relevancia del tema

Las evaluaciones de relevancia del tema identifican y marcan las entradas del usuario que se desvían de los temas de entrada aceptables configurados. Esto asegura que las interacciones se mantengan pertinentes al propósito y alcance designados del LLM.

Puede proporcionar temas para esta evaluación completando la plantilla y reemplazando <<PLEASE WRITE YOUR TOPICS HERE>> con los temas que desee.

Los temas pueden contener varias palabras y deben ser lo más específicos y descriptivos posible. Por ejemplo, para una aplicación LLM diseñada para la gestión de incidentes, agregue “observability”, “ingeniería de software” o “resolución de incidentes”. Si su aplicación maneja consultas de clientes para una tienda de comercio electrónico, puede usar “Customer questions about purchasing furniture on an e-commerce store”.

Toxicidad

Las evaluaciones de toxicidad evalúan cada prompt de entrada y salida del usuario y la respuesta de la aplicación LLM en busca de contenido tóxico. Esta evaluación identifica y marca el contenido tóxico para garantizar que las interacciones sigan siendo respetuosas y seguras.

Configure una evaluación de toxicidad

Puede configurar las evaluaciones de toxicidad para utilizar categorías específicas de toxicidad, enumeradas en la siguiente tabla. La plantilla tiene seleccionadas de forma predeterminada todas las categorías, excepto el lenguaje obsceno y la insatisfacción del usuario, para ser marcadas como tóxicas.

Las categorías de toxicidad en esta tabla están fundamentadas por: Banko et al. (2020), Inan et al. (2023), Ghosh et al. (2024), Zheng et al. (2024).

Integridad del Objetivo

Un agente puede llamar a las herramientas correctamente pero aun así no lograr el objetivo previsto por el usuario. Esta evaluación verifica si su chatbot de LLM puede llevar a cabo con éxito una sesión completa satisfaciendo eficazmente las necesidades del usuario de principio a fin. Esta medida de integridad sirve como un indicador para medir la satisfacción del usuario a lo largo de una interacción de múltiples turnos y es especialmente valiosa para las aplicaciones de chatbot de LLM.

Configure una evaluación de Integridad del Objetivo

Esta evaluación funciona analizando una sesión para determinar si todas las intenciones del usuario fueron abordadas con éxito. La evaluación devuelve un desglose detallado que incluye las intenciones resueltas, las intenciones no resueltas y el razonamiento de la evaluación. Una sesión se considera incompleta si más del 50% de las intenciones identificadas permanecen sin resolver.

El tramo debe contener input_data y output_data significativos que representen el estado final de la sesión. Esto ayuda a la evaluación a comprender el contexto y los resultados de la sesión al evaluar la integridad.

Selección de Herramientas

Esta evaluación verifica si el agente seleccionó con éxito las herramientas adecuadas para abordar la solicitud del usuario. Las elecciones de herramientas incorrectas o irrelevantes conducen a llamadas desperdiciadas, mayor latencia y tareas fallidas.

Configure una evaluación de selección de herramientas

1. Asegúrese de estar ejecutando dd-trace v3.12+.
2. Instrumente su agente con las herramientas disponibles. El siguiente ejemplo utiliza el SDK de OpenAI Agents para ilustrar cómo se ponen las herramientas a disposición del agente y de la evaluación:
3. Habilite la evaluación de plantilla ToolSelection en la interfaz de usuario de Datadog creando una nueva evaluación o editando una evaluación existente.

Esta evaluación es compatible con dd-trace versión 3.12+. El siguiente ejemplo utiliza el SDK de OpenAI Agents para ilustrar cómo se ponen las herramientas a disposición del agente y de la evaluación. Consulte el código completo y los paquetes requeridos para ejecutar esta evaluación.

from ddtrace.llmobs import LLMObs
from agents import Agent, ModelSettings, function_tool

@function_tool
def add_numbers(a: int, b: int) -> int:
    """
    Adds two numbers together.
    """
    return a + b

@function_tool
def subtract_numbers(a: int, b: int) -> int:
    """
    Subtracts two numbers.
    """
    return a - b
    

# List of tools available to the agent 
math_tutor_agent = Agent(
    name="Math Tutor",
    handoff_description="Specialist agent for math questions",
    instructions="You provide help with math problems. Please use the tools to find the answer.",
    model="o3-mini",
    tools=[
        add_numbers, subtract_numbers
    ],
)

history_tutor_agent = Agent(
    name="History Tutor",
    handoff_description="Specialist agent for history questions",
    instructions="You provide help with history problems.",
    model="o3-mini",
)

# The triage agent decides which specialized agent to hand off the task to — another type of tool selection covered by this evaluation.
triage_agent = Agent(  
    'openai:gpt-4o',
    model_settings=ModelSettings(temperature=0),
    instructions='What is the sum of 1 to 10?',  
    handoffs=[math_tutor_agent, history_tutor_agent],
)

Solución de problemas

• Si ve llamadas a herramientas irrelevantes con frecuencia, revise las descripciones de sus herramientas; es posible que sean demasiado vagas para que el LLM las distinga.
• Asegúrese de incluir descripciones de las herramientas (es decir, las comillas que contienen la descripción de la herramienta debajo del nombre de la función, el SDK autoparsea esto como la descripción)

Corrección de argumentos de herramientas

Incluso si se selecciona la herramienta correcta, los argumentos que se le pasan deben ser válidos y contextualmente relevantes. Los formatos de argumento incorrectos (por ejemplo, una cadena en lugar de un número entero) o los valores irrelevantes provocan fallas en la ejecución posterior.

Configure una evaluación de corrección de argumentos de herramientas

1. Instale dd-trace v3.12+.
2. Instrumente su agente con las herramientas disponibles que requieran argumentos. El ejemplo a continuación utiliza el SDK de Pydantic AI Agents para ilustrar cómo se ponen las herramientas a disposición del agente y de la evaluación:

Habilite la evaluación ToolArgumentCorrectness en la interfaz de usuario de Datadog creando una nueva evaluación o editando una evaluación existente.

Esta evaluación es compatible con dd-trace v3.12+. El siguiente ejemplo utiliza el SDK de OpenAI Agents para ilustrar cómo se ponen las herramientas a disposición del agente y de la evaluación. Consulte el código completo y los paquetes requeridos para ejecutar esta evaluación.

import os

from ddtrace.llmobs import LLMObs
from pydantic_ai import Agent


# Define tools as regular functions with type hints
def add_numbers(a: int, b: int) -> int:
    """
    Adds two numbers together.
    """
    return a + b


def subtract_numbers(a: int, b: int) -> int:
    """
    Subtracts two numbers.
    """
    return a - b

    
def multiply_numbers(a: int, b: int) -> int:
    """
    Multiplies two numbers.
    """
    return a * b


def divide_numbers(a: int, b: int) -> float:
    """
    Divides two numbers.
    """
    return a / b


# Enable LLMObs
LLMObs.enable(
    ml_app="tool_argument_correctness_test",
    api_key=os.environ["DD_API_KEY"],
    site=os.environ["DD_SITE"],
    agentless_enabled=True,
)


# Create the Math Tutor agent with tools
math_tutor_agent = Agent(
    'openai:gpt-5-nano',
    instructions="You provide help with math problems. Please use the tools to find the answer.",
    tools=[add_numbers, subtract_numbers, multiply_numbers, divide_numbers],
)

# Create the History Tutor agent (note: gpt-5-nano doesn't exist, using gpt-4o-mini)
history_tutor_agent = Agent(
    'openai:gpt-5-nano',
    instructions="You provide help with history problems.",
)

# Create the triage agent
# Note: pydantic_ai handles handoffs differently - you'd typically use result_type 
# or custom logic to route between agents
triage_agent = Agent(
    'openai:gpt-5-nano',
    instructions=(
        'DO NOT RELY ON YOUR OWN MATHEMATICAL KNOWLEDGE, '
        'MAKE SURE TO CALL AVAILABLE TOOLS TO SOLVE EVERY SUBPROBLEM.'
    ),
    tools=[add_numbers, subtract_numbers, multiply_numbers, divide_numbers],
)


# Run the agent synchronously
result = triage_agent.run_sync(
    '''
    Help me solve the following problem:
    What is the sum of the numbers between 1 and 100?
    Make sure you list out all the mathematical operations (addition, subtraction, multiplication, division) in order before you start calling tools in that order.
    '''
)

Solución de problemas

• Asegúrese de que sus herramientas utilicen anotaciones de tipo: la evaluación depende de las definiciones de esquema.
• Asegúrese de incluir una descripción de la herramienta (por ejemplo, la descripción entre comillas debajo del nombre de la función), ya que esto se utiliza en el proceso de instrumentación para analizar el esquema de la herramienta.
• Valide que su prompt de LLM incluya suficiente contexto para la construcción correcta de argumentos.