Descripción general

Los comentarios de usuarios finales capturan la entrada de los usuarios de su aplicación LLM en Agent Observability. Los ejemplos incluyen calificaciones de pulgar hacia arriba o hacia abajo, si un usuario aceptó el cambio de un agente y comentarios de texto libre sobre una respuesta.

Los comentarios son diferentes de una evaluación. Utilice los comentarios para las señales enviadas por un usuario final. Utilice evaluaciones externas para los resultados producidos por su propia lógica de evaluación, donde quién envió la evaluación no es relevante. Utilice Annotation Queues para flujos de trabajo de revisión estructurados ejecutados por su equipo.

Los comentarios enviados aparecen al ver sesiones, trazas o tramos de Agent Observability.

Enviar comentarios

Envíe comentarios con la Evaluations API configurando event_kind en feedback.

Los eventos de comentarios requieren:

• event_kind: "feedback"
• submitter.id, que identifica al usuario o agente que envió los comentarios
• Exactamente un campo de destino: span_id, trace_id, session_id o feedback_join_key
• Un campo de valor que coincida con metric_type

Los eventos de comentarios no deben incluir join_on. Si se omite eval_scope, Datadog lo infiere del campo de destino. Si se proporciona eval_scope, debe coincidir con el objetivo seleccionado.

Comentarios del objetivo

Usar una clave de unión de comentarios

Use feedback_join_key cuando los comentarios no estén vinculados a un solo tramo, traza o sesión. Primero, enriquezca sus tramos con la etiqueta feedback_join_key relacionada con la entidad externa utilizando el flujo de trabajo Enriching spans del SDK o la Spans API. Luego, envíe los comentarios con la misma feedback_join_key.

Ejemplos

Enviar comentarios de pulgar hacia abajo para un tramo

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "span_id": "20245611112024561111",
          "ml_app": "weather-bot",
          "timestamp_ms": 1765990800016,
          "metric_type": "categorical",
          "label": "thumbs",
          "categorical_value": "down",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

Enviar comentarios de texto libre con una clave de unión de comentarios

{
  "data": {
    "type": "evaluation_metric",
    "attributes": {
      "metrics": [
        {
          "event_kind": "feedback",
          "feedback_join_key": "incident-123",
          "ml_app": "incident-agent",
          "timestamp_ms": 1765990800016,
          "metric_type": "text",
          "label": "user_comment",
          "text_value": "The investigation missed the customer impact.",
          "assessment": "fail",
          "submitter": {
            "id": "user-123",
            "type": "user"
          }
        }
      ]
    }
  }
}

Analizar comentarios

Para crear un widget de tablero para los comentarios, cree el widget como lo haría para una evaluación y seleccione la fuente de datos dedicada Feedback. Para buscar y filtrar tramos y trazas por comentarios en el Trace Explorer, consulte Feedback queries.

Lecturas adicionales

Más enlaces, artículos y documentación útiles:

Obtenga información sobre el Evaluations APIDOCUMENTACIÓN Obtenga información sobre cómo enviar evaluaciones externasDOCUMENTACIÓN Obtenga información sobre Annotation QueuesDOCUMENTACIÓN Depure y evalúe su aplicación de IA desde su agente de codificación con Datadog Agent ObservabilityBLOG