평가자 호환성

이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().

평가자 호환성

지원되는 타사 LLM 공급자는 OpenAI, Azure OpenAI, Anthropic, Amazon Bedrock, Vertex AI, Baseten, Fireworks AI, Together AI 및 Custom Provider입니다.

관리형 평가자

관리형 평가자는 다음 구성에서 지원됩니다.

평가자DD-trace 버전LLM 공급자적용 대상 스팬
언어 불일치완전 지원자체 호스팅모든 스팬 유형

사용자 지정 LLM-as-a-judge 평가자

사용자 지정 LLM-as-a-judge 평가자는 다음 구성에서 지원됩니다.

평가자DD-trace 버전LLM 공급자적용 대상 스팬
불리언완전 지원모든 타사 LLM 공급자모든 스팬 유형
점수완전 지원모든 타사 LLM 공급자모든 스팬 유형
범주형완전 지원모든 타사 LLM 공급자모든 스팬 유형
JSON완전 지원모든 타사 LLM 공급자모든 스팬 유형

LLM-as-a-judge 평가자 템플릿

사용자 지정 LLM-as-a-judge 평가자를 위한 기존 템플릿은 다음 구성에서 지원됩니다.

평가자DD-trace 버전LLM 공급자적용 대상 스팬
답변 실패완전 지원모든 타사 LLM 공급자모든 스팬 유형
환각완전 지원모든 타사 LLM 공급자LLM 전용
감성완전 지원모든 타사 LLM 공급자모든 스팬 유형
유해성완전 지원모든 타사 LLM 공급자모든 스팬 유형
프롬프트 인젝션완전 지원모든 타사 LLM 공급자모든 스팬 유형
주제 관련성완전 지원모든 타사 LLM 공급자모든 스팬 유형
도구 선택완전 지원모든 타사 LLM 공급자LLM 전용
도구 인수 정확성완전 지원모든 타사 LLM 공급자LLM 전용
목표 완결성완전 지원모든 타사 LLM 공급자LLM 전용