Agent Observability 메트릭

이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().

Agent Observability로 애플리케이션을 계측한 후, 대시보드와 모니터에서 사용할 Agent Observability 메트릭에 액세스할 수 있습니다. 이러한 메트릭은 LLM 애플리케이션의 스팬 수, 오류 수, 토큰 사용량 및 지연 시간 측정값을 캡처합니다. 이 메트릭은 애플리케이션 트래픽의 100%를 기준으로 계산됩니다.

여기에서 ml_obs.* 이 페이지의 항목은 Datadog 메트릭입니다. 이는 LLM 스팬(비용, 토큰, 지연 시간, 오류의 카운트 및 분포)에서 파생되어 시간 경과에 따른 LLM 애플리케이션의 측면을 설명하는 수치 값입니다. 이 메트릭은 100% 샘플링되며, 표준 Datadog 메트릭 보존 정책(전체 세분성에서 15개월)을 따르고, 다른 Datadog 메트릭과 마찬가지로 대시보드, 모니터 및 노트북에서 쿼리할 수 있습니다.

이는 Agent Observability의 다른 두 가지 항목과는 구별됩니다.
  • 스팬별 운영 데이터(각 개별 트레이스나 스팬의 비용, 토큰, 지연 시간, 오류): 이러한 메트릭이 집계되는 원시 값입니다. 스팬과 함께 저장되며 Agent Observability 트레이스 보존 정책을 따르고, 메트릭이 아닌 트레이스 탐색기에서 쿼리됩니다.
  • 평가 점수(\"evals\"라고도 함): 개별 스팬이나 실험 행에 첨부된 품질 및 안전성 판단(예: 환각, 충실도, 사용자 지정 LLM-as-a-judge)입니다. 이는 운영 텔레메트리에서 파생되지 않으며, Datadog 메트릭 보존 정책이 아닌 Agent Observability 트레이스 및 실험 보존 정책을 따릅니다.
스팬에 설정된 다른 태그는 Agent Observability 메트릭의 태그로 사용할 수 없습니다.

스팬 메트릭

메트릭 이름설명메트릭 유형태그
ml_obs.span특정 스팬 종류의 총 개수개수env, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.duration스팬의 총 지속 시간(초 단위)분포env, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.error스팬에서 발생한 오류 수개수env, error, ml_app, model_name, model_provider, service, span_kind, version

LLM 토큰 메트릭

메트릭 이름설명메트릭 유형태그
ml_obs.span.llm.input.tokensLLM으로 전송된 입력의 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.tokens출력의 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.tokens출력의 추론 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.prompt.tokens프롬프트에 사용된 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.completion.tokens스팬 동안 완료(completion)로 생성된 토큰분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.total.tokens스팬 동안 소비된 총 토큰 수(입력+출력+프롬프트)분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.tokensLLM 스팬에서 프롬프트 캐시에 기록된 입력 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.tokensLLM 스팬에서 프롬프트 캐시로부터 제공된 입력 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.tokensLLM 스팬에서 프롬프트 캐시와 상호작용하지 않은 입력 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.charactersLLM으로 전송된 입력의 문자 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.characters출력의 문자 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

임베딩 메트릭

메트릭 이름설명메트릭 유형태그
ml_obs.span.embedding.input.tokens임베딩 생성에 사용된 입력 토큰 수분포env, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

LLM 비용 메트릭

Agent Observability 을 위한 추정 비용 메트릭의 단위는 나노달러입니다.
메트릭 이름설명메트릭 유형태그
ml_obs.span.llm.input.costLLM 스팬 추정 입력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.embedding.input.cost임베딩 스팬 추정 입력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.costLLM 스팬 예상 추론 출력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.costLLM 스팬 예상 출력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.total.costLLM 또는 임베딩 스팬 예상 총 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.costLLM 스팬 예상 캐시 쓰기 입력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.costLLM 스팬 예상 캐시 읽기 입력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.costLLM 스팬의 예상 비캐시 입력 비용분포env, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider

트레이스 메트릭

메트릭 이름설명메트릭 유형태그
ml_obs.trace트레이스 수개수env, error, ml_app, service, span_kind, version
ml_obs.trace.duration모든 스팬에 걸친 모든 트레이스의 총 지속 시간분포env, error, ml_app, service, span_kind, version
ml_obs.trace.error트레이스 중에 발생한 오류 수개수env, error, ml_app, service, span_kind, version

예상 사용량 메트릭

메트릭 이름설명메트릭 유형태그
ml_obs.estimated_usage.llm.input.tokens예상 사용 입력 토큰 수분포evaluation_name, ml_app, model_name, model_provider, model_server

지원 중단 메트릭

다음 메트릭은 지원이 중단되었으며, 이전 버전과의 호환성을 위해서만 유지됩니다. Datadog은 모든 토큰 사용량 측정 사용 사례에 대해 지원이 중단되지 않은 토큰 메트릭을 사용할 것을 강력히 권장합니다.
메트릭 이름설명메트릭 유형태그
ml_obs.estimated_usage.llm.output.tokens예상 생성된 출력 토큰 수분포evaluation_name, ml_app, model_name, model_provider, model_server
ml_obs.estimated_usage.llm.total.tokens총 예상 사용된 토큰(입력+출력)분포evaluation_name, ml_app, model_name, model_provider, model_server

다음 단계

Agent Observability 메트릭을 활용하세요.


추가 자료

추가적인 유용한 설명서, 링크 및 기사:

Agent Observability에 대해 더 자세히 알아보세요.설명서 more more 중요할 때 팀에게 알림을 보낼 수 있도록 모니터 생성 및 관리설명서 more more Datadog LLM Observability를 통해 LLM 프롬프트를 추적, 비교 및 최적화하세요.블로그 more more LLM Observability로 조사하기학습 센터 more more