概要

マネージド評価は、LLM アプリケーションを評価するための組み込みツールです。Agent Observability は、評価をそれぞれの スパンに関連付けます。これにより、特定の評価につながった入力と出力を各スパンについて表示できます。

互換性要件の詳細をご覧ください。

新しい評価を作成する

1. AI Observability > Evaluations に移動します。
2. 右上隅にある Create Evaluation ボタンをクリックします。
3. 特定のマネージド評価を選択します。これにより、評価エディターウィンドウが開きます。

Save and Publish をクリックすると、評価が有効になります。または、Save as Draft を選択して、後で編集または有効化することもできます。

既存の評価を編集する

1. AI Observability > Evaluations に移動します。
2. 編集する評価にカーソルを合わせ、Edit ボタンをクリックします。

サポート対象のマネージド評価

• 言語の不一致 - ユーザーの入力とは異なる言語で記述された応答にフラグを立てます
• 機密データスキャン - モデルの入力または出力に機密情報や規制対象情報が存在する場合にフラグを立てます

参考資料

役立つドキュメント、リンク、記事:

Datadog LLM Observability を使用して Strands Agents のワークフローを可視化するブログ Agent Observability の用語と概念について学ぶドキュメント Agent Observability のセットアップ方法を学ぶドキュメント