調査

概要

トレース、クラスター、その他のリソース全体のデータをクエリ、可視化、相関分析、調査するためのツールを使用して、本番環境の LLM アプリケーションを探索および分析します。

トレース、メトリクス、オンライン評価全体にわたる統合された可視性により、LLM を活用したシステムのパフォーマンス監視、問題のデバッグ、品質評価、セキュリティ保護を行います。

リアルタイムパフォーマンスモニタリング

組み込みのメトリクスとダッシュボードを使用して、LLM アプリケーションの運用健全性をモニタリングします。

さまざまなメトリクスと可視化を表示する Agent Observability Operational Insights ダッシュボード。トレースとスパンの総数、成功率とエラー率などを含む概要セクション、およびモデル使用量のドーナツチャート、呼び出しごとの平均入力トークン数と出力トークン数などを含む LLM 呼び出しセクションが含まれています。

リクエスト量とレイテンシー: さまざまなモデル、操作、エンドポイント全体で、1 秒あたりのリクエスト数、応答時間、パフォーマンスのボトルネックを追跡します。
エラー追跡: 詳細なエラーコンテキストを使用して、HTTP エラー、モデルのタイムアウト、失敗したリクエストをモニタリングします。
トークン消費量: プロンプトトークン、キャッシュトークン、完了トークン、総使用量を追跡して、コストを最適化します。
モデル使用状況分析: 呼び出されているモデル、その頻度、およびパフォーマンス特性をモニタリングします。

すぐに使用できる Agent Observability Operational Insights ダッシュボードは、トレースレベルおよびスパンレベルのメトリクス、エラー率、レイテンシーの内訳、トークン消費の傾向、トリガーされたモニターの統合ビューを提供します。

本番環境のデバッグとトラブルシューティング

詳細な実行可視化により、複雑な LLM ワークフローをデバッグします。

Agent Observability におけるトレースの詳細ビュー。各サービス呼び出しを視覚的に表現するフレームグラフを備えています。'OpenAI.createResponse' が選択され、入力メッセージや出力メッセージを含む詳細なスパンビューが表示されます。

エンドツーエンドのトレース分析: ユーザー入力からモデル呼び出し、ツール呼び出し、応答生成までの完全なリクエストフローを可視化します。
スパンレベルのデバッグ: 前処理ステップ、モデル呼び出し、後処理ロジックなど、チェーン内の個々の操作を調査します。
エラーの根本原因の特定: 詳細なエラーコンテキストとタイミング情報を使用して、マルチステップチェーン、ワークフロー、または Agent 操作における障害箇所を特定します。
パフォーマンスのボトルネックの特定: 低速な操作を見つけ、ワークフローコンポーネント全体のレイテンシーの内訳に基づいて最適化します。

品質および安全性の評価

Agent Observability の [Evaluations] タブにおけるスパンの詳細ビュー。[Confirmed Contradiction]、フラグが付けられた出力、コンテキスト引用、およびフラグが付けられた理由の説明を含む [Hallucination evaluation] を表示します。

オンライン評価を使用して、LLM Agent またはアプリケーションが品質基準を満たしていることを確認します。Datadog でホストおよび管理される評価、カスタム評価の取り込み、および安全性モニタリング機能に関する包括的な情報については、評価ドキュメントを参照してください。

LLM アプリケーションのトレースとスパンをクエリする

Agent Observability > Traces view。ユーザーがクエリ `ml_app:shopist-chat-v2 'purchase' -'discount' @trace.total_tokens:>=20` を入力し、さまざまなトレースが表示されています。

Agent Observability のクエリインターフェースを使用して、LLM アプリケーションによって生成されたトレースとスパンを検索、フィルタリング、分析する方法を学びます。クエリドキュメントでは、以下の方法について説明しています。

検索バーを使用して、モデル、ユーザー、エラー状態などの属性でトレースとスパンをフィルタリングします。
高度なフィルターを適用して、特定の LLM 操作や期間に焦点を絞ります。
トレースの詳細を可視化および調査して、LLM ワークフローのトラブルシューティングと最適化を行います。

これにより、問題を迅速に特定し、パフォーマンスを監視し、本番環境における LLM アプリケーションの動作に関するインサイトを得ることができます。

APM と Agent Observability の相関付け

Datadog APM のトレース。[Overview] タブには [LLM Observability] セクションが表示され、Agent Observability でスパンを表示するためのリンクと、入力テキストおよび出力テキストが含まれています。

Datadog APM でインスツルメンテーションされたアプリケーションでは、SDK を通じて APM と Agent Observability を相関付けることができます。APM と Agent Observability を相関付けることで、アプリケーションの問題から LLM 固有の根本原因に至るまで、完全なエンドツーエンドの可視性と詳細な分析が可能になります。

Patterns

Patterns は、LLM アプリケーションの本番トラフィックを階層的なトピックに自動的にクラスター化します。これにより、ユーザーが求めている内容を理解し、評価データセットのカバレッジギャップを特定し、障害モードを診断できます。

Agent 型システムのモニタリング

複数のツールや推論チェーンを使用する Agent 型 LLM アプリケーションを、Datadog の Agent Monitoring でモニタリングする方法を学びます。この機能は、Agent のアクション、ツールの使用状況、推論ステップを追跡し、複雑な LLM ワークフローに対する可視性を提供することで、Agent 型システムの効果的なトラブルシューティングと最適化を可能にします。詳細については、Agent Monitoring のドキュメントを参照してください。

Prompt Management

Prompt Management は、LLM アプリケーションで使用されるプロンプトの一元化されたレジストリを提供します。Datadog、Python SDK、または API を通じてプロンプトを作成およびバージョン管理し、実行時に SDK を使用して取得できます。これにより、プロンプトの反復作業をアプリケーションのデプロイサイクルから切り離すことができます。詳細については、Prompt Management のドキュメントを参照してください。