セッションレベルの評価はユーザーセッションごとに1回実行され、すべてのトレース（およびそれらのトレース内のすべてのスパン）が単一のプロンプトでLLMジャッジに提供されます。セッションは、関連するインタラクションを共有のsession_id（例：チャット会話）の下にグループ化し、長期間のインタラクションにわたる複数のトレースを含めることができます。

セッションスコープは、インタラクション全体を通じたエージェントのパフォーマンスやユーザーの行動に関する疑問に答えます。これは、トレースレベルやスパンレベルのジャッジでは単一のリクエストやスパンからでは答えられない疑問です。

セッションレベルの評価を設定する

以下のウォークスルーでは、セッションスコープに固有の設定箇所を強調しています。設定のその他の部分（アカウント、モデル、出力タイプ、評価基準）は、スパンスコープまたはトレーススコープの評価と同じです。

1. Agent Observabilityの評価ページに移動してCreate Evaluationを選択し、Evaluate OnでSessionを選択します。（テンプレート評価から開始することもできます。）

2. 他のカスタムLLM-as-a-judge評価と同様に、evaluation name、account、modelを入力します。

   セッションは30分間アクティビティがない（そのセッションに対する新しいスパンがなく、直近のスパンから計測）と完了とみなされ、その時点で評価が実行されます。前のスパンから30分以上経過して到着したスパンは、評価に含まれません。

3. 評価するセッションを制御するために、QueryとSampling Rateを追加します。

4. System Promptフィールドに、LLMジャッジへの静的な指示（例：ジャッジが使用すべき基準や生成すべき出力など）を入力します。システムプロンプトはを解決しません。{{ ... }} プレースホルダー。

5. メッセージに、Userを使用してセッションデータを注入するプロンプトを記述します。{{traces…}}paths. The autocomplete dropdown adapts to session scope and lists fields available on the selected sample session. The{{span_input}}and代わりに {{span_output}} aliases are not available in session scope—reference span data through the ``traces 配列を使用します。一般的なパターン：

   {{traces}}                                              # セッション内のすべてのトレースのJSON
   {{traces[0].spans[0].meta.input.value}}                 # 最初のトレースの最初のスパン
   {{traces[*].spans[*].name}}                             # すべてのスパン名（改行で結合）
   {{traces[*].spans[meta.span.kind:llm].meta.output.value}}  # LLM outputs across the session
   {{*}}                                                   # JSONとしてのセッションペイロード全体
   

   See Prompt Templating for the full reference.

6. 右側のパネルからサンプルセッションを選択します。このペインにはそのセッション内のトレースが一覧表示され、プロンプトで参照されているフィールドが強調表示されます。

7. をクリックしてTest Evaluation、選択したセッションに対してプロンプトを実行し、保存前にLLMジャッジの出力をプレビューします。

8. 残りの評価設定（出力タイプ、評価基準）を続行し、Save and Publishをクリックして新しいセッションに対する評価の実行を開始します。

セッション完了

セッションレベルの評価は、Datadogがセッションを完了とみなした後にトリガーされます。セッションは30分間アクティビティがないと完了とみなされます。つまり、そのセッションに新しいスパンが到着しないまま30分が経過した状態（最新のスパンから計測）を指します。

セッションが完了すると、そのセッション内のすべてのトレースとそれらのトレースに含まれるすべてのスパンをジャッジプロンプトで使用して、評価が1回実行されます。セッション内の前のスパンから30分以上経過して到着したスパンは、セッションレベルの評価には含まれません。

結果を表示する

セッションが完了すると、その評価結果がセッションに添付され、Agent Observability全体でほぼリアルタイムに利用可能になります。セッションが30分間の非アクティブウィンドウ内にある間、結果はサイドパネルに Pending として表示されます。セッションが完了すると、保留中の行は最終結果に置き換わります。

セッションの Session evaluations を展開すると、そのセッションに対して実行されたすべての評価と、設定時に Enable Reasoning が有効になっていた場合のLLMジャッジの推論を確認できます。推論は、ジャッジが なぜ その値を生成したのかを説明し、依存した特定のトレースまたはスパンのフィールドを参照します。これを使用して個々の失敗をトリアージし、プロンプトを改善するか、判定を受け入れるかを決定します。

プロンプトの例

セッションの目標達成度

個別のトレースにおけるフォローアップのやり取りを含め、セッション全体を通じてユーザーが目的を達成できたかどうかを評価します。

システムプロンプト

You are evaluating an LLM chatbot session. You will see every trace in the session, including all user messages and assistant responses across turns.

Decide whether the user's goals were fully met by the end of the session. Consider:
- All distinct intents the user expressed during the session
- Whether follow-up questions indicate unresolved needs
- Whether the final state of the conversation leaves the user satisfied

Respond with one of: completed, partially_completed, failed.

ユーザー

Session traces:
{{traces}}

管理対象の Goal Completeness テンプレート評価は、このパターンを実装しています。

マルチターン会話の品質

単一のやり取りではなく、セッション全体を通じて、一貫性、コンテキストの保持、およびトーンを評価します。

システムプロンプト

You will see a multi-turn chat session between a user and an assistant across multiple traces.

Evaluate the session as a whole on:
- Coherence across turns
- Whether the assistant remembered relevant context from earlier turns
- Whether tone and helpfulness stayed consistent

Output one of: excellent, good, mixed, poor.

ユーザー

User and assistant messages across the session:
{{traces[*].spans[meta.span.kind:llm].meta.input.messages[*].content}}
{{traces[*].spans[meta.span.kind:llm].meta.output.messages[*].content}}

ユーザーの行動とフラストレーションのシグナル

セッション全体を表示することでのみ現れる行動パターンを検出します。

システムプロンプト

Analyze this user session for signs of frustration, confusion, or abandonment.

Look for:
- Repeated or rephrased questions on the same topic
- Explicit expressions of dissatisfaction
- The user stopping after an incomplete or unhelpful answer

Output one of: no_issues, mild_frustration, high_frustration, abandoned.

ユーザー

Full session:
{{traces}}

セッション全体におけるAgentの一貫性

セッション内のすべてのターンを通じて、Agentが品質とポリシーのコンプライアンスを維持していたかどうかをチェックします。

システムプロンプト

You will see all traces from one agent session. Assess whether the agent performed consistently:

- Did later turns contradict earlier correct answers?
- Did the agent recover from errors, or repeat the same mistake?
- Were safety and policy guidelines followed on every turn?

Respond with: consistent, mixed, inconsistent.

ユーザー

Session traces (chronological):
{{traces}}

適切なスコープの選択

評価に同じユーザーセッション内の複数のトレースからのコンテキストが必要な場合は、Sessionスコープを使用してください：

• ユーザー満足度 — 最後の返信だけでなく、セッション全体がユーザーの意図を満たしたかどうか。
• マルチターンの一貫性 — アシスタントがトピックを維持し、トーンを保ち、異なるトレースに存在するターン間で関連するコンテキストを引き継いだかどうか。
• 長期的なユーザー行動 — 不満、混乱、トピックの切り替え、またはAgentが支援を完了する前に諦めるなどのパターン。
• セッション全体を通じたAgentのパフォーマンス — 一貫性、ツール障害後の回帰、またはAgentが後のターンでミスから回復したかどうか。

回答が単一のリクエスト内のステップに依存する場合（例：ツール呼び出しの順序、1つのワークフロー実行内でのRAGの忠実度、または1回のAgent呼び出しでの目標達成など）は、Traceスコープを使用してください。トレースレベルの評価を参照してください。

評価が1つのスパンのみで完結する場合（例：単一のLLM応答のスコアリング、1つのメッセージの意図分類、1回の呼び出しにおけるツール引数の検証など）は、Spanスコープを使用してください。

権限

評価を設定するには、Agent Observability Write 権限が必要です。

参考資料

役立つドキュメント、リンク、記事:

カスタム LLM-as-a-Judge 評価ドキュメント トレースレベルの評価ドキュメント プロンプトテンプレートドキュメント ユーザーセッションの追跡ドキュメント