Azure OpenAI

To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.

To initiate an exception request to enable this integration for your organization, email support@ddog-gov.com.

概要

Azure OpenAI を使用して、チャット ボットやデータ抽出ツールなどの LLM 駆動アプリケーションを監視、トラブルシュート、評価します。

LLM アプリケーションを構築している場合は、LLM Observability を使用して問題の根本原因を調査し、運用パフォーマンスを監視し、LLM アプリケーションの品質、プライバシー、安全性を評価してください。

トレースの調査方法の例については、LLM Observability のトレース ビューの動画 を参照してください。

Azure OpenAI は、OpenAI のモデル ライブラリを使用したコパイロットや生成 AI アプリケーションの開発を可能にします。Datadog インテグレーションを使用して、Azure OpenAI API とデプロイのパフォーマンスと使用状況を追跡します。

セットアップ

LLM Observability: Azure OpenAI を使用した LLM アプリケーションのエンド ツー エンドの可視性

LLM Observability はさまざまな環境で有効化できます。ご利用のシナリオに応じて適切なセットアップに従ってください。

Python 向けのインストール

Datadog Agent がない場合:
  1. ddtrace パッケージをインストール:
  pip install ddtrace
  1. Agentless モードを有効にして、次のコマンドでアプリケーションを起動:
  DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_AGENTLESS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME> ddtrace-run python <YOUR_APP>.py
すでに Datadog Agent をインストール済みの場合:
  1. Agent が実行中で、APM と StatsD が有効になっていることを確認します。たとえば、Docker では次のコマンドを使用します:
docker run -d \
  --cgroupns host \
  --pid host \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  -v /proc/:/host/proc/:ro \
  -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro \
  -e DD_API_KEY=<DATADOG_API_KEY> \
  -p 127.0.0.1:8126:8126/tcp \
  -p 127.0.0.1:8125:8125/udp \
  -e DD_DOGSTATSD_NON_LOCAL_TRAFFIC=true \
  -e DD_APM_ENABLED=true \
  gcr.io/datadoghq/agent:latest
  1. まだでなければ、ddtrace パッケージをインストール:
  pip install ddtrace
  1. ddtrace-run コマンドでアプリケーションを起動して、トレーシングを自動的に有効化:
   DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME> ddtrace-run python <YOUR_APP>.py

注: Agent がカスタム ホストまたはポートで実行されている場合は、DD_AGENT_HOST と DD_TRACE_AGENT_PORT を適切に設定してください。

サーバーレス環境 (Azure Functions) で LLM Observability を実行している場合:

次の環境変数を設定して LLM Observability を有効化:

DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>

注: サーバーレス環境では、Azure 関数の実行が終了すると Datadog が自動的にスパンをフラッシュします。

Azure OpenAI の自動トレーシング

LLM Observability が構成されている場合、Azure OpenAI インテグレーションは自動的に有効化されます。これにより、レイテンシ、エラー、入力および出力メッセージに加えて、Azure OpenAI 呼び出しのトークン使用量が取得されます。

同期および非同期の Azure OpenAI 操作の両方で、次のメソッドがトレースされます:

  • AzureOpenAI().completions.create()
  • AsyncAzureOpenAI().completions.create()
  • AzureOpenAI().chat.completions.create()
  • AsyncAzureOpenAI().chat.completions.create()

これらのメソッドに追加のセットアップは不要です。

検証

アプリケーション ログでスパンが正常に作成されていることを確認し、LLM Observability がスパンを正しく取得していることを検証します。ddtrace インテグレーションの状態を確認するには、次のコマンドを実行します:

ddtrace-run --info

セットアップが正しいことを確認するため、次のメッセージを探してください:

Agent error: None
デバッグ

セットアップ時に問題が発生した場合は、--debug フラグを指定してデバッグ ロギングを有効化してください:

ddtrace-run --debug

これにより、データ送信やインスツルメンテーションに関連するエラー (Azure OpenAI のトレースに関する問題を含む) が表示されます。

Infrastructure Monitoring: Azure OpenAI リソースのメトリクスと可視性

Microsoft Azure インテグレーションをまだセットアップしていない場合は、最初にセットアップします。それ以上のインストール手順はありません。

Datadog の Azure OpenAI インテグレーション向け LLM 評価の構成

概要

Datadog の LLM Observability は、Azure OpenAI のモデルを使用して LLM アプリケーションを評価できます。以下の手順に従って、Azure OpenAI リソースをセットアップし、評価用に構成します。

前提条件

  • Azure OpenAI サービスにアクセスできる Azure アカウント。
  • Azure Portal にデプロイ済みの Azure OpenAI リソース。
  • OpenAI モデルにアクセスするための必要な API キー。
  • Azure Portal にログインしていること。

セットアップ

Datadog の LLM Observability を構成する

  1. Integrations > Azure OpenAI に移動します。
  2. Configure タブで Add New をクリックします。
  3. 次の詳細を入力します:
  • Name
    1. 設定する Azure OpenAi アカウントを識別するための Datadog Account Name を選択します。
  • Deployment ID
    1. Azure Open AI Foundry Portal で Model Deployments に移動します。
    2. モデルをデプロイするときに設定した Deployment ID をコピーして入力します。
  • Resource name
    1. All resources に移動し、Azure OpenAI リソースを見つけます。
    2. リソース名をクリックして、その Overview ページを開きます。
    3. resource name をコピーして入力します。
  • API version
    1. Azure Portal の Deployments Page から Endpoint セクションに移動します。
    2. Target URI にカーソルを合わせ、api-version= の後の値をコピーします。
  • API key
    1. Azure Portal の Azure OpenAI リソース内で、Resource Management の下にある Keys and Endpoint に移動します。
    2. Key 1 または Key 2 のいずれかを API key としてコピーして入力します。

  1. チェック マークをクリックして保存します。

  2. インスツルメント済み LLM アプリケーションの評価を作成して実行するには、LLM Observability > Settings に移動します。

追加リソース

収集データ

メトリクス

サービス チェック

Azure OpenAI インテグレーションには、サービス チェックは含まれません。

イベント

Azure OpenAI インテグレーションには、イベントは含まれません。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問い合わせください。