Métriques Agent Observability.

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Une fois que vous avez instrumenté votre application avec Agent Observability, vous pouvez accéder aux métriques Agent Observability pour les utiliser dans des dashboards et des monitors. Ces métriques capturent le nombre de spans, le nombre d’erreurs, l’utilisation des jetons et les mesures de latence pour vos applications LLM. Ces métriques sont calculées sur la base de 100 % du trafic de l’application.

Le ml_obs.* Les entrées sur cette page sont Datadog Metrics : des valeurs numériques qui décrivent un aspect de votre application LLM au fil du temps, dérivées de vos spans LLM (comptes, distributions de coûts, jetons, latence, erreurs). Elles sont échantillonnées à 100 %, suivent la rétention des métriques Datadog standard (15 mois à granularité complète) et peuvent être interrogées depuis des dashboards, des monitors et des notebooks comme n'importe quelle autre métrique Datadog.

Elles se distinguent de deux autres éléments dans Agent Observability :
  • Données opérationnelles par span (coût, jetons, latence, erreurs sur chaque trace ou span individuel) : les valeurs brutes à partir desquelles ces métriques sont agrégées. Stockées avec les spans, elles suivent la rétention des traces d'Agent Observability et sont interrogées depuis le Trace Explorer plutôt qu'en tant que métriques.
  • Scores d'évaluation (également appelés « evals ») : jugements de qualité et de sécurité (par exemple, hallucination, fidélité, LLM-as-a-judge personnalisé) associés à des spans individuels ou à des lignes d'expérience. Celles-ci ne sont pas dérivées de la télémétrie opérationnelle et suivent la rétention des traces et des expériences d'Agent Observability plutôt que la rétention des métriques de Datadog.
Les autres tags définis sur les spans ne sont pas disponibles en tant que tags sur les métriques d'Agent Observability.

Métriques de span

Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.spanNombre total de spans avec un type de spanCompteurenv, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.durationDurée totale des spans en secondesDistributionenv, error, ml_app, model_name, model_provider, service, span_kind, version
ml_obs.span.errorNombre d’erreurs survenues dans le spanCompteurenv, error, ml_app, model_name, model_provider, service, span_kind, version

Métriques de jetons LLM

Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.span.llm.input.tokensNombre de jetons dans l’entrée envoyée au LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.tokensNombre de jetons dans la sortieDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.tokensNombre de jetons de raisonnement dans la sortieDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.prompt.tokensNombre de jetons utilisés dans le promptDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.completion.tokensJetons générés en tant que complétion pendant l’intervalleDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.total.tokensNombre total de jetons consommés pendant le span (entrée + sortie + prompt)Distributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.tokensNombre de jetons d’entrée écrits dans le cache de prompt dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.tokensNombre de jetons d’entrée servis depuis le cache de prompt dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.tokensNombre de jetons d’entrée n’ayant pas interagi avec le cache de prompt dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.input.charactersNombre de caractères dans l’entrée envoyée au LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider
ml_obs.span.llm.output.charactersNombre de caractères dans la sortieDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

Métriques d’embedding

Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.span.embedding.input.tokensNombre de jetons d’entrée utilisés pour générer un embeddingDistributionenv, error, ml_app, model_name, model_provider, service, version, matched_model_name, matched_model_provider

Métriques de coût LLM

L'unité pour les métriques de coût estimé pour Agent Observability est le nanodollars.
Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.span.llm.input.costCoût d’entrée estimé dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.embedding.input.costCoût d’entrée estimé dans un span d’embeddingDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.reasoning.costCoût estimé du raisonnement en sortie dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.output.costCoût estimé en sortie dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.total.costCoût total estimé dans un span LLM ou d’embeddingDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_write.costCoût estimé d’entrée d’écriture en cache dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.cache_read.costCoût estimé d’entrée de lecture en cache dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider
ml_obs.span.llm.input.non_cached.costCoût estimé d’entrée non mis en cache dans un span LLMDistributionenv, error, ml_app, model_name, model_provider, service, version, source, matched_model_name, matched_model_provider

Métriques de trace

Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.traceNombre de tracesCompteurenv, error, ml_app, service, span_kind, version
ml_obs.trace.durationDurée totale de toutes les traces sur tous les spansDistributionenv, error, ml_app, service, span_kind, version
ml_obs.trace.errorNombre d’erreurs survenues pendant la traceCompteurenv, error, ml_app, service, span_kind, version

Métriques d’utilisation estimées

Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.estimated_usage.llm.input.tokensNombre estimé de jetons d’entrée utilisésDistributionevaluation_name, ml_app, model_name, model_provider, model_server

Métriques obsolètes

Les métriques suivantes sont obsolètes et ne sont conservées que pour des raisons de compatibilité ascendante. Datadog recommande vivement d'utiliser les métriques de jetons non obsolètes pour tous les cas d'utilisation de mesure de consommation de jetons.
Nom de la métriqueDescriptionType de métriqueÉtiquettes
ml_obs.estimated_usage.llm.output.tokensNombre estimé de jetons de sortie générésDistributionevaluation_name, ml_app, model_name, model_provider, model_server
ml_obs.estimated_usage.llm.total.tokensNombre total estimé de jetons (entrée + sortie) utilisésDistributionevaluation_name, ml_app, model_name, model_provider, model_server

Étapes suivantes

Utilisez vos métriques d'Agent Observability :


Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

En savoir plus sur Agent Observability.DOCUMENTATION more more Créer et gérer des monitors pour informer vos équipes dès que nécessaireDOCUMENTATION more more Suivez, comparez et optimisez vos prompts LLM avec Datadog LLM Observability.BLOG more more Enquêter avec le LLM ObservabilityCENTRE D'APPRENTISSAGE more more