Métricas de Agent Observability

Esta traducción no está actualizada. Para consultar la última versión en inglés, haz clic aquí
Este producto no es compatible con el sitio Datadog seleccionado. ().

Después de instrumentar su aplicación con Agent Observability, puede acceder a las métricas de Agent Observability para su uso en dashboards y monitores. Estas métricas capturan recuentos de tramos, recuentos de errores, uso de tokens y medidas de latencia para sus aplicaciones LLM. Estas métricas se calculan en función del 100% del tráfico de la aplicación.

El ml_obs.* Las entradas en esta página son Métricas de Datadog: valores numéricos que describen un aspecto de su aplicación LLM a lo largo del tiempo, derivados de sus tramos de LLM (recuentos, distribuciones de costo, tokens, latencia, errores). Están muestreadas al 100%, siguen la retención de métricas de Datadog estándar (15 meses con granularidad completa) y se pueden consultar desde dashboards, monitores y notebooks como cualquier otra métrica de Datadog.

Son distintos de otras dos cosas en Agent Observability:
  • Datos operativos por tramo (costo, tokens, latencia, errores en cada traza o tramo individual): los valores sin procesar que estas métricas consolidan. Se almacenan con los tramos, siguen la retención de trazas de Agent Observability y se consultan desde el explorador de trazas en lugar de como métricas.
  • Puntuaciones de evaluación (también llamadas "evals"): juicios de calidad y seguridad (por ejemplo, alucinación, fidelidad, LLM-as-a-judge personalizado) adjuntos a tramos individuales o filas de experimentos. Estos no se derivan de la telemetría operativa y siguen la retención de trazas y experimentos de Agent Observability en lugar de la retención de métricas de Datadog.
Otras etiquetas establecidas en los tramos no están disponibles como etiquetas en las métricas de Agent Observability.

Métricas de tramos

Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.spanNúmero total de tramos con un tipo de tramoRecuentoenv, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.durationDuración total de los tramos en segundosDistribuciónenv, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.errorNúmero de errores que ocurrieron en el tramoRecuentoenv, error, ml_app, model_name, model_provider, service, span_kind, version

Métricas de tokens de LLM

Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.span.llm.input.tokensNúmero de tokens en la entrada enviada al LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.tokensNúmero de tokens en la salidaDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.tokensNúmero de tokens de razonamiento en la salidaDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.prompt.tokensNúmero de tokens utilizados en el promptDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.completion.tokensTokens generados como finalización durante el tramoDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.total.tokensTotal de tokens consumidos durante el tramo (entrada + salida + prompt)Distribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.tokensNúmero de tokens de entrada escritos en la caché de prompts en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.tokensNúmero de tokens de entrada servidos desde la caché de prompts en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.tokensNúmero de tokens de entrada que no interactuaron con la caché de prompts en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.charactersNúmero de caracteres en la entrada enviada al LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.charactersNúmero de caracteres en la salidaDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

Métricas de incrustación

Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.span.embedding.input.tokensNúmero de tokens de entrada utilizados para generar una incrustaciónDistribuciónenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

Métricas de costo de LLM

La unidad para las métricas de costo estimado de Agent Observability es nanodólares.
Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.span.llm.input.costCosto estimado de entrada en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.embedding.input.costCosto estimado de entrada en un tramo de incrustaciónDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.costCosto estimado de salida de razonamiento en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.costCosto estimado de salida en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.total.costCosto total estimado en un tramo de LLM o de incrustaciónDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.costCosto estimado de entrada de escritura en caché en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.costCosto estimado de entrada de lectura de caché en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.costCosto estimado de entrada sin caché en un tramo de LLMDistribuciónenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider

Métricas de traza

Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.traceCantidad de trazasRecuentoenv, error, ml_app, service, span_kind, version
ml_obs.trace.durationDuración total de todas las trazas en todos los tramosDistribuciónenv, error, ml_app, service, span_kind, version
ml_obs.trace.errorCantidad de errores que ocurrieron durante la trazaRecuentoenv, error, ml_app, service, span_kind, version

Métricas de uso estimado

Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.estimated_usage.llm.input.tokensNúmero estimado de tokens de entrada usadosDistribuciónevaluation_name, ml_app, model_name, model_provider, model_server

Métricas obsoletas

Las siguientes métricas están obsoletas y se mantienen solo por compatibilidad con versiones anteriores. Datadog recomienda encarecidamente utilizar métricas de tokens que no estén obsoletas para todos los casos de uso de medición de consumo de tokens.
Nombre de la métricaDescripciónTipo de métricaEtiquetas
ml_obs.estimated_usage.llm.output.tokensNúmero estimado de tokens de salida generadosDistribuciónevaluation_name, ml_app, model_name, model_provider, model_server
ml_obs.estimated_usage.llm.total.tokensTotal de tokens estimados (entrada + salida) usadosDistribuciónevaluation_name, ml_app, model_name, model_provider, model_server

Próximos pasos

Utilice sus métricas de Agent Observability:


Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Obtenga más información sobre Agent ObservabilityDOCUMENTACIÓN more more Cree y administre monitores para notificar a sus equipos cuando sea importante.DOCUMENTACIÓN more more Realice un seguimiento, compare y optimice sus prompts de LLM con Datadog LLM ObservabilityBLOG more more Investigue con LLM ObservabilityCENTRO DE APRENDIZAJE more more