Información general

Monitoriza, soluciona problemas y evalúa tus aplicaciones impulsadas por LLM, como chatbots o herramientas de extracción de datos, mediante Azure OpenAI.

Si creas aplicaciones de LLM, usa la observabilidad de LLM para investigar la causa raíz de los problemas, monitorizar el rendimiento operativo y evaluar la calidad, la privacidad y la seguridad de tus aplicaciones de LLM.

Consulta el video de vista de rastreo de LLM Observability para ver un ejemplo de cómo puedes investigar una trace (traza).

Azure OpenAI permite el desarrollo de copilotos y aplicaciones de IA generativa utilizando la biblioteca de modelos de OpenAI. Utiliza la integración de Datadog para realizar un seguimiento del rendimiento y el uso de la API y los despliegues de Azure OpenAI.

Configuración

LLM Observability: visibilidad de extremo a extremo en tu aplicación de LLM mediante Azure OpenAI.

Puedes activar LLM Observability en diferentes entornos. Sigue la configuración adecuada en función de tu escenario:

Instalación para Python

Si no tienes el Datadog Agent:

1. Instala el paquete ddtrace:

  pip install ddtrace

2. Inicia tu aplicación con el siguiente comando, habilitando el modo Agentless:

  DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_AGENTLESS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME> ddtrace-run python <YOUR_APP>.py

Si ya tienes instalado el Datadog Agent:

1. Asegúrate de que el Agent se está ejecutando, y que APM y StatsD están activados. Por ejemplo, utiliza el siguiente comando con Docker:

docker run -d \
  --cgroupns host \
  --pid host \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  -v /proc/:/host/proc/:ro \
  -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro \
  -e DD_API_KEY=<DATADOG_API_KEY> \
  -p 127.0.0.1:8126:8126/tcp \
  -p 127.0.0.1:8125:8125/udp \
  -e DD_DOGSTATSD_NON_LOCAL_TRAFFIC=true \
  -e DD_APM_ENABLED=true \
  gcr.io/datadoghq/agent:latest

2. Si aún no lo hiciste, instala el paquete ddtrace:

  pip install ddtrace

3. Inicia tu aplicación utilizando el comando ddtrace-run para habilitar automáticamente el rastreo:

   DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME> ddtrace-run python <YOUR_APP>.py

Nota: Si el Agent se ejecuta en un puerto o host personalizado, configura DD_AGENT_HOST y DD_TRACE_AGENT_PORT en consecuencia.

Si estás ejecutando LLM Observability en un entorno serverless (funciones de Azure):

Activa LLM Observability configurando las siguientes variables de entorno:

DD_SITE=<YOUR_DATADOG_SITE> DD_API_KEY=<YOUR_API_KEY> DD_LLMOBS_ENABLED=1 DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>

Nota: En entornos serverless, Datadog vacía de manera automática los tramos (spans) cuando la función de Azure termina de ejecutarse.

Rastreo automático de Azure OpenAI

La integración de Azure OpenAI se activa automáticamente cuando se configura LLM Observability. Esto captura la latencia, los errores, los mensajes de entrada y salida, así como el uso de tokens para las llamadas de Azure OpenAI.

Los siguientes métodos son rastreados tanto para operaciones síncronas como asíncronas de Azure OpenAI:

• AzureOpenAI().completions.create()
• AsyncAzureOpenAI().completions.create()
• AzureOpenAI().chat.completions.create()
• AsyncAzureOpenAI().chat.completions.create()

Estos métodos no requieren ninguna configuración adicional.

Validación

Comprueba si LLM Observability captura correctamente los tramos, verificando la creación exitosa de tramos en tus logs de aplicación. También puedes ejecutar el siguiente comando para comprobar el estado de la integración ddtrace:

ddtrace-run --info

Busca el siguiente mensaje para confirmar la configuración:

Agent error: None

Depuración

Si tienes problemas durante la configuración, activa el registro de depuración pasando el marcador --debug:

ddtrace-run --debug

Aquí se muestran todos los errores relacionados con la instrumentación o transmisión de datos, incluidos los problemas con las trazas de Azure OpenAI.

Monitorización de infraestructura: métricas y visibilidad sobre tus recursos de Azure OpenAI

Si aún no lo has hecho, configura primero la integración de Microsoft y Azure. No hay más pasos de instalación.

Configuración de evaluaciones de LLM para la integración Azure OpenAI de Datadog

Información general

LLM Observability de Detadog te permite evaluar tu aplicación LLM utilizando tus modelos de Azure OpenAI. Sigue los pasos que se indican a continuación para configurar tu recurso Azure OpenAI y configurarlo para las evaluaciones.

Requisitos previos

• Una cuenta Azure con acceso al servicio Azure OpenAI.
• Un recurso Azure OpenAI desplegado en tu portal Azure.
• Las claves de API necesarias para acceder a tus modelos OpenAI.
• Inicia sesión en el portal Azure

Configuración

Configura LLM Observability de Datadog

1. Ve a Integraciones > Azure OpenAI.
2. En la pestaña Configure (Configurar), haz clic en Add New (Añadir nueva).
3. Facilite los siguientes datos:

• Nombre
  1. Elige un nombre de cuenta de Datadog para identificar la cuenta de Azure OpenAi que se estás configurando.
• Identificación de despliegue
  1. Desde tu Azure Open AI Foundry Portal, ve a Model Deployments (Despliegues de modelos).
  2. Copia y proporciona el ID de despliegue que configuraste al desplegar el modelo.
• Nombre del recurso
  1. Ve a Todos los recursos y localiza tu recurso Azure OpenAI.
  2. Haz clic en el nombre del recurso para abrir tu page (página) de información general.
  3. Copia y proporciona el nombre del recurso.
• Versión de API
  1. Desde la Page (página) de despliegue en el Portal Azure, ve a la sección Endpoint.
  2. Pasa el ratón por encima de Target URI (URI del objetivo) y copia el valor después de api-version=.
• **Clave de API
  1. En el Portal Azure, ve a Keys and Endpoint (Claves y endpoint) en Resource Management (Gestión de recursos) en tu recurso Azure OpenAI.
  2. Copia y proporciona la Clave 1 o la Clave 2 como tu Clave de API.

4. Haz clic en la marca de verificación para guardar.

5. Ve a LLM Observability > Settings (LLM Observability > Parámetros) para crear y ejecutar evaluaciones para tu aplicación LLM instrumentada.

Recursos adicionales

• Documentación del servicio Azure OpenAI
• Generación de un token de API

Datos recopilados

Métricas

Checks de servicio

La integración de Azure OpenAI no incluye ningún check de servicio.

Eventos

La integración de Azure OpenAI no incluye ningún evento.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con asistencia técnica de Datadog.