Para comenzar con Agent Observability, instrumente su aplicación o agente(s) de LLM eligiendo entre varios enfoques según su lenguaje de programación y configuración. Datadog ofrece opciones de instrumentación integrales diseñadas para capturar trazas, métricas y evaluaciones detalladas de sus aplicaciones LLM y agentes con cambios mínimos en el código.

Opciones de instrumentación

Puede instrumentar su aplicación con los SDK de Python, Node.js o Java, o mediante el uso de la API de Agent Observability.

Instrumentación basada en SDK (recomendado)

Datadog proporciona SDK nativos que ofrecen las funciones de Agent Observability más completas:

Para instrumentar una aplicación de LLM con el SDK:

1. Instale el SDK de Agent Observability
2. Configure el SDK proporcionando las variables de entorno requeridas en el comando de inicio de su aplicación, o mediante programación en el código. Asegúrese de haber configurado su clave de Datadog API, su sitio de Datadog y el nombre de la aplicación de aprendizaje automático (ML).

Auto-instrumentación

La auto-instrumentación captura las llamadas a LLM para aplicaciones de Python, Node.js y Java sin requerir cambios en el código. Le permite obtener trazas y observabilidad listas para usar en frameworks y proveedores populares. Para obtener detalles adicionales y una lista completa de los frameworks y proveedores compatibles, consulte la Documentación de auto-instrumentación.

La auto-instrumentación captura automáticamente:

• Prompts de entrada y completaciones de salida
• Uso de tokens y costos
• Latencia e información de errores
• Parámetros del modelo (temperatura, max_tokens, etc.)
• Metadatos específicos del framework

Instrumentación personalizada

Todos los SDK compatibles ofrecen capacidades avanzadas para la instrumentación personalizada de sus aplicaciones LLM además de la auto-instrumentación, incluyendo:

• Creación manual de tramos mediante decoradores de funciones o administradores de contexto
• Rastreo de flujos de trabajo complejos para aplicaciones LLM de varios pasos
• Monitoreo de Agent para LLM Agents autónomos
• Evaluaciones personalizadas y mediciones de calidad
• Seguimiento de sesiones para interacciones de usuario

Para obtener más información, consulte la Documentación de referencia del SDK.

Instrumentación de la API HTTP

Si su lenguaje no es compatible con los SDK o está utilizando integraciones personalizadas, puede instrumentar su aplicación utilizando la API HTTP de Datadog.

La API le permite:

• Enviar tramos directamente a través de endpoints HTTP
• Enviar evaluaciones personalizadas asociadas con tramos
• Incluir jerarquías de trazas completas para aplicaciones complejas
• Anotar tramos con entradas, salidas, metadatos y métricas

Endpoints de la API:

• API de tramos: POST https://api./api/intake/llm-obs/v1/trace/spans
• API de evaluaciones: POST https://api./api/intake/llm-obs/v2/eval-metric

Para obtener más información, consulte la Documentación de la API HTTP.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Comience rápidamente con la instrumentación automáticaINSTRUMENTACIÓN AUTOMÁTICA Datadog LLM Observability admite de forma nativa las convenciones semánticas de GenAI de OpenTelemetryBLOG Introducción a Agent ObservabilityCENTRO DE APRENDIZAJE