トレースクラスターマップ

概要

Clusters ページでトレースデータをクラスターとして可視化することで、LLM アプリケーションのドリフトを特定できます。LLM Observability が構成されたアプリケーションを選択して、クラスター情報を表示します。

クラスターマップは、トピックごとにグループ化された入力や出力を表示します。入力と出力は別々にクラスタリングされます。トピックは、選択した入力または出力を高次元テキスト埋め込み空間でクラスタリングし、その結果を 2 次元空間に投影することで決まります。

この散布図は、カラーコードされたトピックごとにトレースのクラスターを可視化し、クラスター一覧、トレース数、失敗率を示すパネルを表示します。

Box Packing または Scatter Plot レイアウトを使用してクラスターを可視化できます。

Box Packing を使用すると、各クラスターをグループ化したビューが得られ、すべてのトレース上に各種メトリクスや評価結果をオーバーレイできます。
一方、Scatter Plot を使用すると、高次元のテキスト埋め込みを 2 次元空間で表示できますが、射影による歪みのために各トレース間の距離は誤認を招く可能性があります。

クラスターマップは、エラータイプやレイテンシなどの運用メトリクスや、標準搭載/カスタム評価による結果を通じて各クラスターのパフォーマンスを概観でき、トピックドリフトやその他の品質上の問題などの傾向を把握するのに役立ちます。

クラスターの検索と管理

評価メトリクスや特定の期間などを基準にクラスターを絞り込むため、ソートオプションを選択して検索クエリをカスタマイズし、より的を絞った分析を行ってください。

ドロップダウンメニューから inputs または outputs を選択すると、トピックごとにグループ化された入力または出力のクラスターを表示できます。
評価タイプまたは評価スコアを選択してクラスターを色分けできます。例えば、Output Sentiment は出力の感情的傾向を、duration は LLM が出力を生成するのに要する時間 (ナノ秒単位) を示します。
クラスターを並べ替える基準として time、duration、または color を選び、続いて desc または asc を選択して並び順を設定します。

リストからトピッククラスターを選ぶと、その特定トピックに関する入力・出力が、各メトリクスや評価で他のトピックと比較してどのようなパフォーマンスを示すか確認できます。また、各クラスター内の個々のプロンプトやレスポンスも参照可能です。たとえば、duration をオーバーレイすれば、最も処理が遅いトピックを概観できます。