Intenta comenzar con LLM Observability en el Centro de Aprendizaje

Aprende a monitorear el rendimiento, costos, trazas, uso de tokens y errores de tu aplicación LLM para identificar y resolver problemas.

INSCRÍBETE AHORA

Resumen

Con LLM Observability, puedes monitorear, solucionar problemas y evaluar tus aplicaciones impulsadas por LLM, como chatbots. Puedes investigar la causa raíz de los problemas, monitorear el rendimiento operativo y evaluar la calidad, privacidad y seguridad de tus aplicaciones LLM.

Cada solicitud cumplida por tu aplicación se representa como una traza en la página de LLM Observability en Datadog.

Una traza puede representar:

• Una inferencia individual de LLM, incluyendo tokens, información de errores y latencia.
• Un flujo de trabajo de LLM predeterminado, que es un agrupamiento de llamadas de LLM y sus operaciones contextuales, como llamadas a herramientas o pasos de preprocesamiento.
• Un flujo de trabajo dinámico de LLM ejecutado por un agente de LLM.

Cada traza contiene tramos que representan cada elección hecha por un agente o cada paso de un flujo de trabajo dado. Una traza dada también puede incluir entrada y salida, latencia, problemas de privacidad, errores y más. Para más información, consulta Términos y Conceptos.

Soluciona problemas con trazado de extremo a extremo

Visualiza cada paso de las cadenas y llamadas de tu aplicación LLM para detectar solicitudes problemáticas y encontrar la causa raíz de los errores.

Monitorea métricas operativas y optimiza costos

Monitorea el costo, la latencia, el rendimiento y las tendencias de uso de todas tus aplicaciones LLM con tableros listos para usar.

Evalúa la calidad y efectividad de tus aplicaciones LLM

Entiende lo que los usuarios están preguntando a tu aplicación LLM, identifica brechas de cobertura y monitorea la calidad de las respuestas a lo largo del tiempo con Patrones — agrupamiento jerárquico automatizado de temas de tu tráfico de producción.

Protege los datos sensibles e identifica a los usuarios maliciosos

Escanea y redacta automáticamente cualquier dato sensible en tus aplicaciones de IA e identifica inyecciones de prompts, entre otras evaluaciones.

Ve las anomalías resaltadas como Insights

LLM Observability Insights proporciona una experiencia de monitoreo que ayuda a los usuarios a identificar anomalías en sus métricas operativas, como la duración y la tasa de errores, y sus evaluaciones listas para usar (OOTB).

La detección de valores anómalos se realiza en dimensiones clave:

• Nombre del tramo
• Tipo de flujo de trabajo
• Temas de entrada/salida de patrones

Estos valores anómalos se analizan durante la semana pasada y se muestran automáticamente en la ventana de tiempo correspondiente seleccionada por el usuario. Esto permite a los equipos detectar proactivamente regresiones, desviaciones de rendimiento o comportamientos inesperados en sus aplicaciones LLM.

Utiliza integraciones con LLM Observability

El SDK de LLM Observability para Python se integra con marcos como OpenAI, LangChain, AWS Bedrock y Anthropic. Rastrea y anota automáticamente las llamadas a LLM, capturando latencia, errores y métricas de uso de tokens, sin cambios en el código.

Para más información, consulte la documentación de auto instrumentación.

¿Listo para comenzar?

Consulta la documentación de configuración para obtener instrucciones sobre cómo instrumentar tu aplicación LLM o sigue la guía para trazar una aplicación LLM para generar una traza utilizando el SDK de Observabilidad LLM para Python.

Lectura adicional

Más enlaces, artículos y documentación útiles:

Construyendo agentes de tableros confiables con Datadog LLM ObservabilityBLOG Impulsando el ROI de IA: Cómo Datadog conecta costo, rendimiento e infraestructura para que puedas escalar de manera responsableBLOG Datadog LLM Observability soporta nativamente las Convenciones Semánticas de OpenTelemetry GenAIBLOG Obtén visibilidad en los flujos de trabajo de los agentes de Strands con Datadog LLM ObservabilityBLOG Monitorea tus aplicaciones de Anthropic con Datadog LLM ObservabilityBLOG Mejores prácticas para monitorear ataques de inyección de prompts de LLM para proteger datos sensiblesBLOG Optimiza el rendimiento de la aplicación LLM con la integración vLLM de DatadogBLOG Optimiza y soluciona problemas de infraestructura de IA con Datadog GPU MonitoringBLOG Monitorea agentes construidos sobre Amazon Bedrock con Datadog LLM ObservabilityBLOG Identifica riesgos de seguridad comunes en servidores MCPBLOG Uso indebido de la infraestructura de IA: Cómo las credenciales y los recursos mal gestionados exponen las aplicaciones LLMBLOG Cómo redujimos nuestro tiempo de depuración del agente NLQ de horas a minutos con LLM ObservabilityBLOG Rastreo de aplicaciones LLMCENTRO DE APRENDIZAJE