Descripción general

Agent Observability ofrece varias formas de admitir evaluaciones. Se pueden configurar navegando a Agent Observability > Evaluations.

Evaluaciones personalizadas de LLM-as-a-judge

Las evaluaciones personalizadas de LLM-as-a-judge le permiten definir su propia lógica de evaluación utilizando prompts en lenguaje natural. Puede crear evaluaciones personalizadas para evaluar criterios subjetivos u objetivos (como el tono, la utilidad o la veracidad) y ejecutarlas a escala en sus traces y spans.

Evaluaciones gestionadas

Datadog crea y admite evaluaciones gestionadas para dar soporte a casos de uso comunes. Puede habilitarlas y configurarlas dentro de la aplicación Agent Observability.

Enviar comentarios de usuarios finales

Los comentarios de usuarios finales le permiten enviar calificaciones de pulgar hacia arriba o hacia abajo, cambios aceptados, comentarios de texto libre y otros comentarios de usuarios o agentes a Datadog. Los comentarios pueden conectarse a spans, traces, sesiones o entidades definidas por el cliente con una clave de unión de comentarios.

Enviar evaluaciones externas

También puede enviar evaluaciones externas utilizando la API de Datadog. Utilice este enfoque cuando tenga su propio sistema de evaluación pero desee centralizar los resultados de la evaluación dentro de Datadog.

Creación de evaluadores personalizados

Para los desarrolladores que crean evaluadores personalizados, consulte la Guía para desarrolladores de evaluaciones.

Integraciones de evaluación

Datadog también admite integraciones con algunos marcos de evaluación de terceros, como NeMo.

Colas de anotación

Annotation Queues proporcionan un flujo de trabajo estructurado para la revisión humana sistemática de los traces de LLM.

Integración de Sensitive Data Scanner

Además de evaluar la entrada y salida de las solicitudes de LLM, los agentes, los flujos de trabajo o la aplicación, Agent Observability se integra con Sensitive Data Scanner, que ayuda a prevenir la fuga de datos al identificar y redactar cualquier información confidencial. Para obtener una lista de las reglas preconfiguradas incluidas con Sensitive Data Scanner, consulte Reglas de la biblioteca.

Security

Permisos

Se requieren Agent Observability Write permisos para configurar las evaluaciones.

Recuperando spans

Agent Observability ofrece una Export API que puede utilizar para recuperar spans para ejecutar evaluaciones externas. Esto ayuda a evitar la necesidad de realizar un seguimiento de los datos relevantes para la evaluación en el momento de la ejecución.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Realice un seguimiento, compare y optimice sus prompts de LLM con Datadog LLM ObservabilityBLOG