평가

개요

Agent Observability는 평가를 지원하는 여러 가지 방법을 제공합니다. 이들은 Agent Observability > Evaluations로 이동하여 구성할 수 있습니다.

사용자 지정 LLM-as-a-judge 평가

사용자 지정 LLM-as-a-judge 평가를 사용하면 자연어 프롬프트를 사용하여 고유한 평가 로직을 정의할 수 있습니다. 사용자 지정 평가를 생성하여 주관적 또는 객관적 기준(어조, 유용성, 사실성 등)을 평가하고 트레이스 및 스팬 전반에서 대규모로 실행할 수 있습니다.

관리형 평가

Datadog은 일반적인 사용 사례를 지원하기 위해 관리형 평가를 구축하고 지원합니다. Agent Observability 애플리케이션 내에서 이를 활성화하고 구성할 수 있습니다.

최종 사용자 피드백 제출

최종 사용자 피드백을 사용하면 ‘좋아요’ 또는 ‘싫어요’ 평가, 수락된 변경 사항, 자유 텍스트 코멘트 및 기타 사용자 또는 에이전트 피드백을 Datadog에 제출할 수 있습니다. 피드백은 피드백 조인 키를 사용하여 스팬, 트레이스, 세션 또는 고객 정의 엔터티에 연결할 수 있습니다.

외부 평가 제출

Datadog API를 사용하여 외부 평가를 제출할 수도 있습니다. 자체 평가 시스템이 있지만 평가 결과를 Datadog 내에서 중앙 집중화하려는 경우 이 접근 방식을 사용하세요.

사용자 지정 평가자 구축

사용자 지정 평가자를 구축하는 개발자의 경우 평가 개발자 가이드를 참조하세요.

평가 통합

Datadog은 NeMo와 같은 일부 타사 평가 프레임워크와의 통합도 지원합니다.

주석 대기열

주석 대기열은 LLM 트레이스에 대한 체계적인 인간 검토를 위한 구조화된 워크플로를 제공합니다.

Sensitive Data Scanner 통합

LLM 요청, 에이전트, 워크플로 또는 애플리케이션의 입력 및 출력을 평가하는 것 외에도, Agent Observability는 Sensitive Data Scanner와 통합되어 민감한 정보를 식별하고 수정함으로써 데이터 유출을 방지합니다. Sensitive Data Scanner에 포함된 기본 제공 규칙 목록은 라이브러리 규칙을 참조하세요.