Agent Observability メトリクス

This product is not supported for your selected Datadog site. ().

Agent Observability でアプリケーションをインスツルメントした後、ダッシュボードやモニターで使用する Agent Observability メトリクスにアクセスできます。これらのメトリクスは、LLM アプリケーションのスパン数、エラー数、トークン使用量、およびレイテンシーの測定値をキャプチャします。これらのメトリクスは、アプリケーションのトラフィックの 100% に基づいて計算されます。

このページの ml_obs.* エントリは Datadog メトリクスです。これらは、LLM アプリケーションの各側面の推移を表す数値で、LLM スパン (カウント、コストの分布、トークン、レイテンシー、エラー) から導出されます。サンプリング率は 100% で、標準の Datadog メトリクス保持期間 (詳細な粒度で 15 か月) に従っており、他の Datadog メトリクスと同様にダッシュボード、モニター、ノートブックからクエリ可能です。

これらは、Agent Observability の以下の 2 つとは異なります。
  • スパンごとの運用データ (個々のトレースまたはスパンのコスト、トークン、レイテンシー、エラー): これらのメトリクスが集計される元の生の値です。スパンと共に保存され、Agent Observability のトレース保持期間に従い、メトリクスとしてではなく Traces エクスプローラーからクエリされます。
  • 評価スコア (“evals”とも呼ばれます): 個々のスパンや実験行に付加された品質および安全性の判断 (例: ハルシネーション、忠実性、カスタム LLM-as-a-judge など)。これらは、運用テレメトリから導出されたものではありません。Datadog メトリクスの保持期間ではなく、Agent Observability のトレースおよび実験の保持期間に従います。
スパンに設定されたその他のタグは、Agent Observability メトリクスのタグとしては使用できません。

スパンメトリクス

メトリクス名説明メトリクスタイプタグ
ml_obs.spanスパンの種類ごとのスパンの合計数カウントenv、error、ml_app、model_name、model_provider、service、span_kind、version
ml_obs.span.durationスパンの合計期間 (秒)分布env、error、ml_app、model_name、model_provider、service、span_kind、version
ml_obs.span.errorスパン内で発生したエラーの数カウントenv、error、ml_app、model_name、model_provider、service、span_kind、version

LLM トークンメトリクス

メトリクス名説明メトリクスタイプタグ
ml_obs.span.llm.input.tokensLLM に送信された入力のトークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.output.tokens出力のトークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.output.reasoning.tokens出力の推論トークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.prompt.tokensプロンプトで使用されたトークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.completion.tokensスパン中に補完として生成されたトークン分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.total.tokensスパン中に消費された合計トークン数 (入力 + 出力 + プロンプト)分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.input.cache_write.tokensLLM スパン内でプロンプトキャッシュに書き込まれた入力トークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.input.cache_read.tokensLLM スパン内でプロンプトキャッシュから提供された入力トークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.input.non_cached.tokensLLM スパン内でプロンプトキャッシュとやり取りしなかった入力トークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.input.charactersLLM に送信された入力の文字数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider
ml_obs.span.llm.output.characters出力の文字数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider

埋め込みメトリクス

メトリクス名説明メトリクスタイプタグ
ml_obs.span.embedding.input.tokens埋め込みの生成に使用された入力トークン数分布env、error、ml_app、model_name、model_provider、service、version、matched_model_name、matched_model_provider

LLM コストメトリクス

Agent Observability の推定コストメトリクスの単位はナノドルです。
メトリクス名説明メトリクスタイプタグ
ml_obs.span.llm.input.costLLM スパンにおける推定入力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.embedding.input.cost埋め込みスパンにおける推定入力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.output.reasoning.costLLM スパンにおける推定推論出力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.output.costLLM スパンにおける推定出力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.total.costLLM または埋め込みのスパンにおける推定合計コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.input.cache_write.costLLM スパンにおける推定キャッシュ書き込み入力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.input.cache_read.costLLM スパンにおける推定キャッシュ読み取り入力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider
ml_obs.span.llm.input.non_cached.costLLM スパンにおける推定非キャッシュ入力コスト分布env、error、ml_app、model_name、model_provider、service、version、source、matched_model_name、matched_model_provider

トレースメトリクス

メトリクス名説明メトリクスタイプタグ
ml_obs.traceトレース数カウントenv、error、ml_app、service、span_kind、version
ml_obs.trace.durationすべてのスパンにわたる全トレースの合計期間分布env、error、ml_app、service、span_kind、version
ml_obs.trace.errorトレース中に発生したエラー数カウントenv、error、ml_app、service、span_kind、version

推定使用量メトリクス

メトリクス名説明メトリクスタイプタグ
ml_obs.estimated_usage.llm.input.tokens推定入力トークン使用数分布evaluation_name、ml_app、model_name、model_provider、model_server

非推奨メトリクス

以下のメトリクスは非推奨であり、後方互換性のためにのみ維持されています。Datadog では、すべてのトークン使用量測定ユースケースにおいて、非推奨ではないトークンメトリクスを使用することを強く推奨しています。
メトリクス名説明メトリクスタイプタグ
ml_obs.estimated_usage.llm.output.tokens推定出力トークン生成数分布evaluation_name、ml_app、model_name、model_provider、model_server
ml_obs.estimated_usage.llm.total.tokens推定合計トークン使用数 (入力 + 出力)分布evaluation_name、ml_app、model_name、model_provider、model_server

次のステップ

Agent Observability メトリクスを活用します。


参考資料

役立つドキュメント、リンク、記事:

Agent Observability の詳細ドキュメント more more 重要なときにチームに通知するためのモニターの作成および管理ドキュメント more more Datadog LLM Observability を使用した LLM プロンプトの追跡、比較、最適化ブログ more more LLM Observability で調査します。ラーニングセンター more more