개요

관리형 평가는 LLM 애플리케이션을 평가하기 위한 내장 도구입니다. Agent Observability는 평가를 개별 스팬과 연결하여 특정 평가로 이어진 입력 및 출력을 확인할 수 있도록 합니다.

호환성 요구 사항에 대해 자세히 알아보세요.

새로운 평가 생성

1. AI Observability > Evaluations로 이동합니다.
2. 오른쪽 상단 모서리에 있는 Create Evaluation 버튼을 클릭합니다.
3. 특정 관리형 평가를 선택합니다. 그러면 평가 편집기 창이 열립니다.

Save and Publish를 클릭하면 평가가 활성화됩니다. 또는 Save as Draft를 통해 나중에 편집하거나 활성화할 수도 있습니다.

기존 평가 편집

1. AI Observability > Evaluations로 이동합니다.
2. 편집하려는 평가 위로 마우스를 가져간 다음 Edit 버튼을 클릭합니다.

지원되는 관리형 평가

• 언어 불일치 - 사용자 입력과 다른 언어로 작성된 응답을 플래그 지정합니다.
• 민감한 데이터 스캔 - 모델 입력 또는 출력에 민감한 정보나 규제 대상인 정보가 있는지 여부를 플래그 지정합니다.

추가 자료

추가적인 유용한 설명서, 링크 및 기사:

Datadog LLM Observability를 통해 Strands Agents 워크플로에 대한 가시성 확보하기블로그 Agent Observability 용어 및 개념에 대해 알아보기설명서 Agent Observability 설정 방법 알아보기설명서