Présentation

Agent Observability propose plusieurs moyens de prendre en charge les évaluations. Ils peuvent être configurés en accédant à Agent Observability > Evaluations.

Évaluations personnalisées LLM-as-a-judge

Les évaluations personnalisées LLM-as-a-judge vous permettent de définir votre propre logique d’évaluation à l’aide de prompts en langage naturel. Vous pouvez créer des évaluations personnalisées pour évaluer des critères subjectifs ou objectifs (comme le ton, l’utilité ou la véracité) et les exécuter à grande échelle sur vos traces et spans.

Évaluations gérées

Datadog crée et prend en charge des évaluations gérées pour répondre aux cas d’utilisation courants. Vous pouvez les activer et les configurer au sein de l’application Agent Observability.

Soumettre les commentaires des utilisateurs finaux

Les commentaires des utilisateurs finaux vous permettent de soumettre des évaluations par pouce levé ou baissé, des modifications acceptées, des commentaires en texte libre et d’autres retours d’utilisateurs ou d’agents à Datadog. Les commentaires peuvent être associés à des spans, des traces, des sessions ou des entités définies par le client à l’aide d’une clé de jointure de commentaires.

Soumettre des évaluations externes

Vous pouvez également soumettre des évaluations externes en utilisant l’API de Datadog. Utilisez cette approche lorsque vous disposez de votre propre système d’évaluation mais que vous souhaitez centraliser les résultats d’évaluation au sein de Datadog.

Création d’évaluateurs personnalisés

Pour les développeurs créant des évaluateurs personnalisés, consultez le Guide du développeur d’évaluations.

Intégrations d’évaluations

Datadog prend également en charge des intégrations avec certains frameworks d’évaluation tiers, tels que NeMo.

Files d’attente d’annotation

Les files d’attente d’annotation fournissent un workflow structuré pour l’examen humain systématique des traces de LLM.

Intégration de Sensitive Data Scanner

En plus d’évaluer les entrées et les sorties des requêtes LLM, des agents, des workflows ou de l’application, Agent Observability s’intègre au Sensitive Data Scanner, qui aide à prévenir les fuites de données en identifiant et en masquant toute information sensible. Pour obtenir une liste des règles prêtes à l’emploi incluses avec Sensitive Data Scanner, consultez les Règles de la bibliothèque.

Security

Autorisations

Les Agent Observability Write autorisations sont nécessaires pour configurer les évaluations.

Récupération des spans

Agent Observability propose une API d’exportation que vous pouvez utiliser pour récupérer des spans afin d’exécuter des évaluations externes. Cela permet d’éviter d’avoir à suivre les données pertinentes pour l’évaluation au moment de l’exécution.

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Suivez, comparez et optimisez vos prompts LLM avec Datadog LLM Observability.BLOG