評価

概要

Agent Observability には、評価をサポートするためのいくつかの方法が用意されています。これらは、Agent Observability > Evaluations に移動して設定できます。

カスタム LLM-as-a-judge 評価

カスタム LLM-as-a-judge 評価を使用すると、自然言語プロンプトを使用して独自の評価ロジックを定義できます。カスタム評価を作成して、主観的または客観的な基準 (トーン、有用性、事実性など) を評価し、トレースやスパン全体で大規模に実行できます。

マネージド評価

Datadog は、一般的なユースケースをサポートするためにマネージド評価を構築およびサポートしています。これらは、Agent Observability アプリケーション内で有効化および構成できます。

エンドユーザーからのフィードバックを送信する

エンドユーザーからのフィードバックを使用すると、高評価や低評価、承認された変更、自由記述のコメント、その他のユーザーやエージェントからのフィードバックを Datadog に送信できます。フィードバックは、フィードバック結合キーを使用して、スパン、トレース、セッション、または顧客定義のエンティティに接続できます。

外部評価を送信する

Datadog の API を使用して外部評価を送信することもできます。独自の評価システムを持っているが、評価結果を Datadog 内に集約したい場合は、このアプローチを使用してください。

カスタム評価者の構築

カスタム評価者を構築する開発者向けの情報は、評価開発者ガイドを参照してください。

評価の統合

Datadog は、NeMo などの一部のサードパーティ評価フレームワークとの統合もサポートしています。

アノテーションキュー

Annotation Queues は、LLM トレースの体系的な人間によるレビューのための構造化されたワークフローを提供します。

Sensitive Data Scanner 統合

LLM リクエスト、エージェント、ワークフロー、またはアプリケーションの入出力を評価することに加え、Agent Observability は Sensitive Data Scanner と統合されており、機密情報を特定して編集することでデータ漏洩の防止を支援します。Sensitive Data Scanner に含まれるすぐに使えるルールのリストについては、ライブラリルールを参照してください。