Compatibilidad del evaluador

Este producto no es compatible con el sitio de Datadog seleccionado. ().

Compatibilidad del evaluador

Los proveedores de LLM de terceros compatibles son OpenAI, Azure OpenAI, Anthropic, Amazon Bedrock, Vertex AI y Proveedor personalizado.

Evaluadores gestionados

Los evaluadores gestionados son compatibles con las siguientes configuraciones.

EvaluadorVersión de DD-traceProveedor de LLMTramo aplicable
Language MismatchSe admite por completoSelf hostedTodos los tipos de tramo

Evaluadores personalizados de LLM-as-a-judge

Los evaluadores personalizados de LLM-as-a-judge son compatibles con las siguientes configuraciones.

EvaluadorVersión de DD-traceProveedor de LLMTramo aplicable
BooleanSe admite por completoTodos los proveedores de LLM de tercerosTodos los tipos de tramo
ScoreSe admite por completoTodos los proveedores de LLM de tercerosTodos los tipos de tramo
CategoricalSe admite por completoTodos los proveedores de LLM de tercerosTodos los tipos de tramo
JSONSe admite por completoTodos los proveedores de LLM de tercerosTodos los tipos de tramo

Plantillas para evaluadores LLM-as-a-judge

Las plantillas existentes para evaluadores personalizados de LLM-as-a-judge son compatibles con las siguientes configuraciones.

EvaluadorVersión de DD-traceProveedor de LLMTramo aplicable
Failure to AnswerSe admite por completoTodos los proveedores de LLM de tercerosTodos los tipos de tramo
AlucinaciónTotalmente compatibleTodos los proveedores de LLM de tercerosSolo LLM
SentimientoTotalmente compatibleTodos los proveedores de LLM de tercerosTodos los tipos de tramo
ToxicidadTotalmente compatibleTodos los proveedores de LLM de tercerosTodos los tipos de tramo
Inyección de instruccionesTotalmente compatibleTodos los proveedores de LLM de tercerosTodos los tipos de tramo
Relevancia del temaTotalmente compatibleTodos los proveedores de LLM de tercerosTodos los tipos de tramo
Selección de herramientasTotalmente compatibleTodos los proveedores de LLM de tercerosSolo LLM
Corrección de argumentos de herramientasTotalmente compatibleTodos los proveedores de LLM de tercerosSolo LLM
Integridad del objetivoTotalmente compatibleTodos los proveedores de LLM de tercerosSolo LLM