Descripción general

Las evaluaciones administradas son herramientas integradas para evaluar su aplicación de LLM. Agent Observability asocia las evaluaciones con cada uno de los spans. spans para que pueda visualizar las entradas y salidas que llevaron a una evaluación específica.

Obtenga más información sobre los requisitos de compatibilidad.

Crear nuevas evaluaciones

1. Navegue a AI Observability > Evaluations.
2. Haga clic en el botón Create Evaluation en la esquina superior derecha.
3. Seleccione una evaluación administrada específica. Esto abrirá la ventana del editor de evaluaciones.

Después de hacer clic en Save and Publish, la evaluación se activa. Alternativamente, puede Save as Draft y editarlas o habilitarlas más tarde.

Editar evaluaciones existentes

1. Navegue a AI Observability > Evaluations.
2. Pase el cursor sobre la evaluación que desea editar y haga clic en el botón Edit.

Evaluaciones administradas compatibles

• Desajuste de idioma - Marca las respuestas que están escritas en un idioma diferente al de la entrada del usuario
• Escaneo de datos confidenciales - Marca la presencia de información confidencial o regulada en las entradas o salidas del modelo

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Obtenga visibilidad de los flujos de trabajo de los agentes de Strands con Datadog LLM ObservabilityBLOG Conozca los términos y conceptos de Agent ObservabilityDOCUMENTACIÓN Aprenda a configurar Agent ObservabilityDOCUMENTACIÓN