Una evaluación a nivel de sesión se ejecuta una vez por sesión de usuario, con cada traza (y cada tramo en esas trazas) disponible para el juez LLM en un solo prompt. Las sesiones agrupan interacciones relacionadas bajo un session_id compartido (por ejemplo, una conversación de chat) y pueden incluir múltiples trazas durante una interacción extendida.

El contexto de sesión responde preguntas sobre el rendimiento del agente y el comportamiento del usuario a lo largo de toda una interacción; preguntas que los jueces a nivel de traza y a nivel de tramo no pueden responder a partir de una sola solicitud o tramo.

Configure una evaluación a nivel de sesión

El siguiente tutorial destaca las partes de la configuración que son específicas para el contexto de sesión. El resto de la configuración (cuenta, modelo, tipo de salida, criterios de evaluación) es igual que para las evaluaciones con contexto de tramo o de traza.

1. Navegue a la página de Evaluaciones de Agent Observability y seleccione Create Evaluation, luego en Evaluate On seleccione Session. (También puede comenzar desde una evaluación de plantilla.)

2. Complete evaluation name, account y model como lo haría para cualquier evaluación de LLM-as-a-judge personalizada.

   Una sesión se considera completa después de 30 minutos de inactividad (sin nuevos tramos para esa sesión, medidos desde el tramo más reciente), momento en el cual se ejecuta la evaluación. Los tramos que llegan más de 30 minutos después del tramo anterior no se incluyen en la evaluación.

3. Agregue Query y Sampling Rate para controlar qué sesiones se evalúan.

4. En el campo System Prompt, ingrese las instrucciones estáticas para el juez LLM; por ejemplo, los criterios que el juez debe usar y la salida que debe producir. El System Prompt no resuelve los marcadores de posición {{ ... }}.

5. En el mensaje User, escriba el prompt que inyecta datos de sesión usando {{traces...}} paths. The autocomplete dropdown adapts to session scope and lists fields available on the selected sample session. The {{tramo_input}} and {{span_output}} aliases are not available in session scope—reference span data through the trazas en su lugar. Patrones comunes:

   {{traces}}                                              # JSON de cada traza en la sesión
   {{traces[0].spans[0].meta.input.value}}                 # Primer tramo de la primera traza
   {{traces[*].spans[*].name}}                             # Todos los nombres de tramo, unidos con saltos de línea
   {{traces[*].spans[meta.span.kind:llm].meta.output.value}}  # Salidas de LLM a través de la sesión
   {{*}}                                                   # Carga útil completa de la sesión como JSON
   

   See Prompt Templating for the full reference.

6. Elija una sesión de muestra del panel a la derecha. El panel enumera las trazas en esa sesión, con los campos referenciados por su prompt resaltados.

7. Haga clic en Test Evaluation para ejecutar el prompt contra la sesión seleccionada y obtener una vista previa de la salida del juez LLM antes de guardar.

8. Continúe con el resto de la configuración de evaluación (tipo de salida, criterios de evaluación) y Save and Publish para comenzar a ejecutar la evaluación contra nuevas sesiones.

Finalización de la sesión

Una evaluación a nivel de sesión se activa después de que Datadog considera que una sesión está completa. Una sesión se completa después de 30 minutos de inactividad; es decir, han pasado 30 minutos sin que lleguen nuevos tramos para esa sesión (medidos desde el tramo más reciente).

Cuando la sesión se completa, la evaluación se ejecuta una vez con cada traza y cada tramo en esas trazas de esa sesión disponibles en el prompt del juez. Cualquier tramo que llegue más de 30 minutos después del tramo anterior en una sesión no se incluye en la evaluación a nivel de sesión.

Ver resultados

Después de que una sesión se completa, su resultado de evaluación se adjunta a la sesión y está disponible en Agent Observability casi en tiempo real. Mientras la sesión aún se encuentra dentro de su ventana de inactividad de 30 minutos, el resultado aparece como Pending en el panel lateral; después de que la sesión se completa, la fila pendiente se reemplaza por el resultado final.

Despliegue Session evaluations en una sesión para ver cada evaluación que se ejecutó para ella, junto con el razonamiento del juez LLM cuando Enable Reasoning se activó en el momento de la configuración. El razonamiento explica por qué el juez produjo ese valor y hace referencia a campos específicos de traza o tramo en los que se basó; utilícelo para clasificar fallas individuales y decidir si refinar el prompt o aceptar el veredicto.

Ejemplos de prompts

Integridad del objetivo de la sesión

Califique si el usuario logró lo que vino a hacer durante toda la sesión, incluyendo los turnos de seguimiento en trazas separadas.

Prompt del sistema

You are evaluating an LLM chatbot session. You will see every trace in the session, including all user messages and assistant responses across turns.

Decide whether the user's goals were fully met by the end of the session. Consider:
- All distinct intents the user expressed during the session
- Whether follow-up questions indicate unresolved needs
- Whether the final state of the conversation leaves the user satisfied

Respond with one of: completed, partially_completed, failed.

Usuario

Session traces:
{{traces}}

La evaluación de plantilla administrada Goal Completeness implementa este patrón.

Calidad de la conversación de múltiples turnos

Evalúe la coherencia, la retención del contexto y el tono durante toda la sesión en lugar de un solo intercambio.

Prompt del sistema

You will see a multi-turn chat session between a user and an assistant across multiple traces.

Evaluate the session as a whole on:
- Coherence across turns
- Whether the assistant remembered relevant context from earlier turns
- Whether tone and helpfulness stayed consistent

Output one of: excellent, good, mixed, poor.

Usuario

User and assistant messages across the session:
{{traces[*].spans[meta.span.kind:llm].meta.input.messages[*].content}}
{{traces[*].spans[meta.span.kind:llm].meta.output.messages[*].content}}

Comportamiento del usuario y señales de frustración

Detecte patrones de comportamiento que solo surgen al ver la sesión completa.

Prompt del sistema

Analyze this user session for signs of frustration, confusion, or abandonment.

Look for:
- Repeated or rephrased questions on the same topic
- Explicit expressions of dissatisfaction
- The user stopping after an incomplete or unhelpful answer

Output one of: no_issues, mild_frustration, high_frustration, abandoned.

Usuario

Full session:
{{traces}}

Consistencia del agent durante una sesión

Verifique si el agente mantuvo la calidad y el cumplimiento de las políticas en cada turno de la sesión.

Prompt del sistema

You will see all traces from one agent session. Assess whether the agent performed consistently:

- Did later turns contradict earlier correct answers?
- Did the agent recover from errors, or repeat the same mistake?
- Were safety and policy guidelines followed on every turn?

Respond with: consistent, mixed, inconsistent.

Usuario

Session traces (chronological):
{{traces}}

Elección del contexto correcto

Utilice el contexto Session cuando la evaluación necesite contexto de más de una traza en la misma sesión de usuario:

• Satisfacción del usuario: si la sesión en su conjunto cumplió con la intención del usuario, no solo la última respuesta.
• Coherencia entre turnos: si el asistente se mantuvo en el tema, mantuvo el tono y trasladó el contexto relevante a través de turnos que residen en diferentes trazas.
• Comportamiento del usuario a lo largo del tiempo: patrones como frustración, confusión, cambio de tema o abandono antes de que el agente terminara de ayudar.
• Desempeño del agente a lo largo de una sesión: consistencia, regresión después de fallas en las herramientas o si el agente se recuperó de errores en un turno posterior.

Utilice el contexto Trace cuando la respuesta dependa de pasos dentro de una sola solicitud; por ejemplo, el orden de las llamadas a herramientas, la fidelidad de RAG dentro de una ejecución de flujo de trabajo o la finalización de objetivos para una invocación de agente. Consulte Evaluaciones a nivel de traza.

Utilice el contexto Span cuando la evaluación pueda responderse a partir de un solo tramo de forma aislada; por ejemplo, al calificar una única respuesta de LLM, clasificar la intención de un mensaje o validar los argumentos de una herramienta en una llamada.

Permisos

La configuración de las evaluaciones requiere el Agent Observability Write permission.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Evaluaciones personalizadas de LLM-as-a-judgeDOCUMENTACIÓN Evaluaciones a nivel de trazaDOCUMENTACIÓN Creación de plantillas de promptDOCUMENTACIÓN Seguimiento de sesiones de usuarioDOCUMENTACIÓN