Descripción general

Explore y analice sus aplicaciones de LLM en producción con herramientas para consultar, visualizar, correlacionar e investigar datos a través de trazas, clústeres y otros recursos.

Monitoree el rendimiento, depure problemas, evalúe la calidad y asegure sus sistemas basados en LLM con visibilidad unificada a través de trazas, métricas y evaluaciones en línea.

Monitoreo del rendimiento en tiempo real

Haga un seguimiento de la salud operativa de su aplicación de LLM con métricas y paneles integrados:

• Volumen de solicitudes y latencia: realice un seguimiento de las solicitudes por segundo, los tiempos de respuesta y los cuellos de botella de rendimiento en diferentes modelos, operaciones y puntos finales.
• Seguimiento de errores: haga un seguimiento de los errores HTTP, los tiempos de espera del modelo y las solicitudes fallidas con un contexto de error detallado.
• Consumo de tokens: realice un seguimiento de los tokens de prompt, tokens en caché, tokens de finalización y el uso total para optimizar los costos.
• Análisis de uso de modelos: haga un seguimiento de qué modelos se están llamando, su frecuencia y sus características de rendimiento.

El panel de información operativa de Agent Observability listo para usar proporciona vistas consolidadas de métricas a nivel de traza y de tramo, tasas de error, desgloses de latencia, tendencias de consumo de tokens y monitores activados.

Depuración y resolución de problemas en producción

Depure flujos de trabajo complejos de LLM con visibilidad detallada de la ejecución:

• Análisis de trazas de extremo a extremo: visualice flujos de solicitudes completos desde la entrada del usuario hasta las llamadas al modelo, llamadas a herramientas y generación de respuestas.
• Depuración a nivel de tramo: examine operaciones individuales dentro de las cadenas, incluidos los pasos de preprocesamiento, las llamadas al modelo y la lógica de posprocesamiento.
• Identificación de la causa raíz de los errores: identifique los puntos de falla en cadenas de varios pasos, flujos de trabajo u operaciones agénticas con contexto de error detallado e información de tiempo.
• Identificación de cuellos de botella en el rendimiento: encuentre operaciones lentas y optimice según los desgloses de latencia en los componentes del flujo de trabajo.

Evaluaciones de calidad y seguridad

Asegúrese de que sus agentes o aplicaciones LLM cumplan con los estándares de calidad con evaluaciones en línea. Para obtener información completa sobre las evaluaciones alojadas y gestionadas por Datadog, la ingesta de evaluaciones personalizadas y las capacidades de monitoreo de seguridad, consulte la documentación de Evaluations.

Consulte las trazas y tramos de su aplicación LLM

Aprenda a utilizar la interfaz de consulta de Agent Observability para buscar, filtrar y analizar trazas y tramos generados por sus aplicaciones LLM. La documentación de Querying cubre cómo:

• Utilice la barra de búsqueda para filtrar trazas y tramos por atributos como modelo, usuario o estado de error.
• Aplique filtros avanzados para centrarse en operaciones o marcos temporales específicos de LLM.
• Visualice e inspeccione los detalles de las trazas para solucionar problemas y optimizar sus flujos de trabajo de LLM.

Esto le permite identificar rápidamente problemas, hacer un seguimiento del rendimiento y obtener información sobre el comportamiento de su aplicación LLM en producción.

Correlacione APM y Agent Observability

Para aplicaciones instrumentadas con Datadog APM, puede correlacionar APM y Agent Observability a través del SDK. La correlación de APM con Agent Observability proporciona visibilidad completa de extremo a extremo y un análisis exhaustivo, desde problemas de la aplicación hasta causas raíz específicas de LLM.

Patrones

Patterns agrupa automáticamente el tráfico de producción de su aplicación de LLM en temas jerárquicos, lo que le ayuda a comprender lo que preguntan los usuarios, identificar brechas de cobertura en sus conjuntos de datos de evaluación y diagnosticar modos de falla.

Haga un seguimiento de sus sistemas agénticos

Aprenda a hacer un seguimiento de aplicaciones de LLM agénticas, que utilizan múltiples herramientas o cadenas de razonamiento, con Agent Monitoring de Datadog. Esta función le ayuda a realizar un seguimiento de las acciones de los agentes, el uso de herramientas y los pasos de razonamiento, proporcionando visibilidad sobre flujos de trabajo de LLM complejos y permitiéndole solucionar problemas y optimizar sistemas agénticos de manera efectiva. Consulte la documentación de Agent Monitoring para obtener más detalles.

Gestión de prompts

Prompt Management proporciona un registro centralizado para los prompts utilizados por sus aplicaciones de LLM. Cree y versione prompts en Datadog, a través del SDK de Python o a través de la API, y luego recupérelos en tiempo de ejecución con el SDK. Esto desacopla la iteración de prompts del ciclo de implementación de su aplicación. Consulte la documentación de Prompt Management para obtener más detalles.

Prompt Experimentation

Prompt Experimentation compara versiones de prompts gestionadas con pruebas A/B e implementa versiones de forma progresiva con Guarded Rollouts que se detienen cuando Datadog detecta una regresión.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Investigue con Agent ObservabilityCENTRO DE APRENDIZAJE