エンドユーザーフィードバック

ドキュメント > Agent Observability > 調査 > 評価 > エンドユーザーフィードバック

概要

エンドユーザーフィードバックは、Agent Observability で LLM アプリケーションのユーザーからの入力をキャプチャします。例としては、高評価や低評価、ユーザーがエージェントの変更を受け入れたかどうか、回答に関する自由記述のコメントなどがあります。

フィードバックは評価とは異なります。エンドユーザーから送信されたシグナルにフィードバックを使用します。外部評価は、評価の送信者が考慮されない、独自の評価ロジックによって生成された結果に使用します。アノテーションキューは、チームが実行する構造化されたレビューワークフローに使用します。

送信されたフィードバックは、Agent Observability のセッション、トレース、またはスパンを表示する際に表示されます。

フィードバックを送信する

event_kind を feedback に設定し、Evaluations API でフィードバックを送信します。

フィードバックイベントには以下が必要です。

event_kind: "feedback"
submitter.id: フィードバックを送信したユーザーまたはエージェントを識別する
次のうち 1 つのみのターゲットフィールド: span_id、trace_id、session_id、または feedback_join_key
metric_type と一致する値フィールド

フィードバックイベントに join_on を含めることはできません。eval_scope が省略された場合、Datadog はターゲットフィールドから推測します。eval_scope を指定する場合は、選択されたターゲットと一致する必要があります。

フィードバックのターゲット

ターゲット	フィールド	使用する状況
スパン	`span_id`	1 つのスパンにフィードバックを適用する場合。
トレース	`trace_id`	トレース全体にフィードバックを適用する場合。
セッション	`session_id`	セッション全体にフィードバックを適用する場合。
外部エンティティ	`feedback_join_key`	インシデント ID、レポート ID、タスク ID、リリースチェック ID など、顧客が定義したエンティティにフィードバックを適用する場合。

フィードバック結合キーを使用する

フィードバックが単一のスパン、トレース、またはセッションに関連付けられていない場合は、feedback_join_key を使用します。まず、SDK のスパンの拡張ワークフローまたは Spans API を使用して、外部エンティティに関連する feedback_join_key タグでスパンを拡張します。次に、同じ feedback_join_key を使用してフィードバックを送信します。

例

スパンに対する低評価フィードバックを送信する

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "span_id": "20245611112024561111",
          "ml_app": "weather-bot",
          "timestamp_ms": 1765990800016,
          "metric_type": "categorical",
          "label": "thumbs",
          "categorical_value": "down",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

フィードバック結合キーを使用して自由記述式フィードバックを送信する

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "feedback_join_key": "incident-123",
          "ml_app": "incident-agent",
          "timestamp_ms": 1765990800016,
          "metric_type": "text",
          "label": "user_comment",
          "text_value": "The investigation missed the customer impact.",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

フィードバックを分析する

フィードバック用のダッシュボードウィジェットを作成するには、評価の場合と同様にウィジェットを作成し、専用のフィードバックデータソースを選択します。Trace Explorer でフィードバックによってスパンやトレースを検索およびフィルタリングする方法については、「フィードバッククエリ」を参照してください。