Feedback des utilisateurs finaux

Documentation > Agent Observability > Enquêter > Évaluations > Feedback des utilisateurs finaux

Présentation

Le feedback des utilisateurs finaux capture les entrées des utilisateurs de votre application LLM dans Agent Observability. Les exemples incluent des évaluations par pouce levé ou baissé, l’acceptation ou non par un utilisateur d’une modification apportée par un agent, et des commentaires en texte libre sur une réponse.

Le feedback est différent d’une évaluation. Utilisez le feedback pour les signaux soumis par un utilisateur final. Utilisez external evaluations pour les résultats produits par votre propre logique d’évaluation, lorsque l’identité de la personne ayant soumis l’évaluation n’est pas pertinente. Utilisez Annotation Queues pour les workflows de révision structurés gérés par votre équipe.

Le feedback soumis apparaît lors de la consultation des sessions, des traces ou des spans d’Agent Observability.

Soumettez le feedback

Soumettez le feedback avec Evaluations API en définissant event_kind sur feedback.

Les événements de feedback nécessitent:

event_kind: "feedback"
submitter.id, qui identifie l’utilisateur ou l’agent ayant soumis le feedback
Exactement un champ cible : span_id, trace_id, session_id ou feedback_join_key
Un champ de valeur qui correspond à metric_type

Les événements de feedback ne doivent pas inclure join_on. Si eval_scope est omis, Datadog le déduit du champ cible. Si eval_scope est fourni, il doit correspondre à la cible sélectionnée.

Feedback cible

Cible	Champ	Utiliser lorsque
Span	`span_id`	Le feedback s’applique à un seul span.
Trace	`trace_id`	Le feedback s’applique à une trace entière.
Session	`session_id`	Le feedback s’applique à une session entière.
Entité externe	`feedback_join_key`	Le feedback s’applique à une entité définie par le client, telle qu’un ID d’incident, un ID de rapport, un ID de tâche ou un ID de check de version.

Utilisez une clé de jointure de feedback

Utilisez feedback_join_key lorsque le feedback n’est pas lié à un seul span, une seule trace ou une seule session. Tout d’abord, enrichissez vos spans avec le tag feedback_join_key lié à l’entité externe en utilisant le workflow Enriching spans du SDK ou l’Spans API. Ensuite, soumettez le feedback avec le même feedback_join_key.

Exemples

Soumettez le feedback « pouce vers le bas » pour un span

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "span_id": "20245611112024561111",
          "ml_app": "weather-bot",
          "timestamp_ms": 1765990800016,
          "metric_type": "categorical",
          "label": "thumbs",
          "categorical_value": "down",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

Soumettez un feedback en texte libre avec une clé de jointure de feedback

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "feedback_join_key": "incident-123",
          "ml_app": "incident-agent",
          "timestamp_ms": 1765990800016,
          "metric_type": "text",
          "label": "user_comment",
          "text_value": "The investigation missed the customer impact.",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

Analysez le feedback

Pour créer un widget de dashboard pour le feedback, créez le widget comme vous le feriez pour une évaluation et sélectionnez la source de données dédiée Feedback. Pour rechercher et filtrer les spans et les traces par feedback dans le Trace Explorer, consultez Requêtes de feedback.