Este producto no es compatible con el sitio de Datadog seleccionado. ().
Descripción general
Patterns agrupa automáticamente el tráfico de producción de su aplicación de LLM en temas significativos, lo que le ayuda a comprender lo que preguntan los usuarios, identificar brechas de cobertura y diagnosticar modos de falla.
Puede crear múltiples Patterns con nombre, cada uno limitado a una aplicación, tipo de span o caso de uso diferente.
Cómo funciona
Patterns utiliza una combinación de llamadas a su cuenta de proveedor de LLM conectada e incrustaciones de texto para brindarle una vista interpretable del comportamiento de producción sin etiquetado manual.
Cuando ejecuta un Pattern, este:
Extrae las interacciones de LLM de su tráfico de producción según su configuración de filtro y muestreo
Resume cada interacción con texto generado por IA
Calcula la incrustación de texto de estos resúmenes utilizando un modelo de código abierto autoalojado
Forma clústeres utilizando aprendizaje automático (UMAP y HDBSCAN)
Revisa cada clúster y genera temas significativos con texto generado por IA
Asigna cada interacción a un solo tema
Crea una jerarquía utilizando IA al agrupar temas similares
Cada tema muestra su volumen de interacción y su parte del tráfico total. Las interacciones que no encajan en ningún clúster se recopilan en un grupo de Valores atípicos.
Configure un Pattern
En Datadog, navegue a AI Observability > Agent Observability > Patterns.
Haga clic en + New Pattern.
Ingrese un Name.
Use el selector múltiple Application para elegir una o más aplicaciones LLM para incluir los tramos. Seleccionar aplicaciones actualiza automáticamente la consulta de filtro de tramo subyacente, y editar la consulta actualiza las aplicaciones seleccionadas.
En Configuración:
Seleccione qué analizar**** con Patterns, Spans individuales o trazas.
(Opcional) Escriba una breve instrucción para agrupar que ofrezca una guía libre sobre cómo Patterns debe agrupar las interacciones y generar temas, como la intención del usuario, la tarea del Agent o el producto utilizado. Por ejemplo, para agrupar según la intención del usuario, puede escribir “Agrupar según la intención del usuario”. Cambiar este campo después de una primera ejecución exitosa eliminará los temas encontrados y persistidos en ejecuciones anteriores de Patterns. Deje esto en blanco para agrupar las interacciones por el objetivo principal de cada interacción.
Seleccione las variables de su interacción sobre las que desea que Patterns agrupe. Use {{variable}} syntax to reference any span field; for example, {{meta.input.value}} to analyze patterns by user input, or {{meta.span.kind}} para analizar por tipo de tramo.
Agregue filtros precisos**** para seleccionar mejor las interacciones que desea agrupar con Patterns.
Establezca el Time window para definir el período de retrospectiva para las interacciones a analizar.
Muestreo de las interacciones coincidentes es accesible haciendo clic en el botón Cambiar. Está limitado a 10 000 spans y 5 000 trazas. Si su filtro coincide con más que eso, Agent Observability muestrea aleatoriamente las interacciones hasta alcanzar ese número.
Haga clic en Select a model. Se abre la ventana de configuración del modelo, donde puede agregar detalles que Agent Observability utiliza para generar nombres de temas, resúmenes, jerarquía de temas y para atribuir cada interacción a un tema:
- LLM Provider: Los proveedores admitidos son OpenAI, Anthropic, Amazon Bedrock, Azure OpenAI y Vertex AI.
- Account
- Modelo: Prefiera usar modelos recomendados etiquetados, para requisitos de rendimiento y costos.
Haga clic en Confirmar para guardar sus cambios y cerrar la ventana.
(Opcional) En Datasets:
Active el botón de opción para comparar su tráfico de producción con sus conjuntos de datos de evaluación fuera de línea.
Use el selector de Datasets para seleccionar el o los conjuntos de datos que usa para evaluar su AI Agent offline.
(Opcional) Habilite el botón de opción Curación automática para completar automáticamente las brechas de cobertura que detecte Patterns. Cuando está activado, Datadog crea un proyecto administrado (Patterns-coverage) y un conjunto de datos por patrón ({pattern-name}-pattern-curated) para recibir las interacciones sugeridas después de cada ejecución. El interruptor está activado de forma predeterminada para los nuevos Patterns.
En Horario, elija con qué frecuencia se ejecuta el Pattern. Las horas programadas utilizan su preferencia de zona horaria de Datadog. Las ejecuciones programadas utilizan la misma pipeline que una ejecución manual, por lo que los resultados aparecen en el mismo lugar y la página Patterns siempre muestra su ejecución más reciente.
Diariamente, Días de semana o Semanalmente (predeterminado): Ejecute automáticamente en el momento (y, para semanalmente, el día) que elija.
Bajo demanda: Ejecute el Pattern manualmente.
Personalizado: Ejecute automáticamente cada 1 a 7 días.
En Notifications Ingrese los correos y/o las Integrations de mensajería externa que habilitó en Datadog (consulte Integrations para habilitar Integrations en Datadog) para recibir notificaciones cuando los resultados del Pattern estén disponibles.
Haga clic en Create and Run Pattern, o en Create Pattern para crearlo sin ejecutarlo.
Explore your Patterns
Utilice el menú desplegable en el encabezado para cambiar entre sus Patterns nombrados. Cada Pattern muestra los resultados de su ejecución más reciente.
Lea las métricas de resumen
La parte superior de la página de Patterns muestra tres métricas de su ejecución más reciente:
Total interactions: Cuántas interacciones se analizaron
Identified topics: El número total de temas distintos encontrados, incluidos los temas principales y secundarios
Classified: El porcentaje de interacciones analizadas asignadas a un tema nombrado — las interacciones en Outliers cuentan como no clasificadas
Visualice patrones por dimensión
Sobre la tabla de temas, un gráfico de dispersión compara sus patrones entre sí. Cada burbuja representa un tema, con el eje Y mostrando el número de interacciones y el eje X mostrando la métrica seleccionada en el menú desplegable Dimension (por ejemplo, errores totales). Utilice este gráfico para detectar outliers: temas con tasas de error o latencia inesperadamente altas en relación con su volumen.
Navegue por la lista de temas
La tabla de temas proporciona una visualización jerárquica de todos los temas descubiertos. Cada tema muestra:
Pattern — nombre y descripción generados automáticamente según las interacciones en el clúster
Interactions — recuento y porcentaje del tráfico total
Cost — costo estimado de LLM para las interacciones en este tema
Tokens — uso de tokens para las interacciones en este tema
Errors — recuento y tasa de errores
Latency — latencia mediana para las interacciones en este tema
Evaluations — resultados de evaluación si los evaluadores en línea están configurados
Expanda los temas principales para ver sus subtemas y examinar áreas específicas del tráfico de su aplicación.
Profundice en un tema
Haga clic en cualquier nombre de tema para abrir su visualización de detalles. Utilice las rutas de navegación o haga clic en un nodo en el Topic Map para navegar por la jerarquía de temas. El mapa resalta la rama seleccionada y muestra el recuento de interacciones de cada tema y, cuando está disponible, el cambio de tráfico desde la ejecución anterior.
La visualización de detalles incluye:
Pattern Summary: Resalta las tendencias de tráfico, el estado de la evaluación en línea, los valores atípicos operativos, las brechas de cobertura del conjunto de datos y los siguientes pasos recomendados.
Scorecard: Resume el volumen y la participación del tráfico, el costo, la tasa de error, la latencia mediana y la cobertura del conjunto de datos.
Dataset Coverage Detail: Muestra el estado de cobertura y la atribución por conjunto de datos. Revise los casos recomendados para cerrar las brechas de cobertura o abra el conjunto de datos administrado cuando la curación automática de conjuntos de datos esté habilitada.
Evaluations: Resume cada evaluador en línea con su resultado clave y un gráfico a lo largo del tiempo. Abra los spans coincidentes para investigar resultados específicos.
Interactions: Enumera las entradas y salidas asignadas al tema, junto con su subtema, marca de tiempo, estado de recomendación y resultados de evaluación. Filtre con una consulta de texto completo o de faceta, configure las columnas de evaluación o haga clic en una fila para abrir los detalles de su traza.
Exporte y actúe sobre las interacciones
Seleccione una o más filas en la tabla de interacciones para actuar sobre esas interacciones:
Descargar como CSV: Exporte las interacciones como un archivo CSV.
Agregar al Dataset: Envíe las interacciones a un Dataset para crear pruebas de evaluación a partir del tráfico de producción real.
Agregar a la cola: Envíe las interacciones a una Annotation Queue para revisión y etiquetado humano.
Inicie una nueva ejecución
Para analizar su tráfico de producción, haga clic en Run analysis en el encabezado de Patterns. La canalización se ejecuta en segundo plano y muestra sus pasos completados, en ejecución y pendientes. Una ejecución tarda alrededor de 5 a 10 minutos. Haga clic en Notificarme para recibir una notificación por correo electrónico una vez que la canalización haya terminado. Puede cerrar la página y regresar más tarde; el encabezado muestra la fecha de la última ejecución y el período de retrospectiva cuando se completa la ejecución.
Si una ejecución falla, un modal explica la causa y qué acción tomar. La página continúa mostrando los resultados de la ejecución exitosa más reciente mientras que la ejecución fallida se muestra en el encabezado.
Use temas para mejorar su aplicación
Entienda su tráfico de producción
Utilice la lista de temas para ver lo que los usuarios están haciendo realmente con su aplicación.
Use el porcentaje de tráfico para identificar sus casos de uso más comunes. La jerarquía de padre-hijo le ayuda a pasar de un patrón de alto nivel a los subpatrones específicos que se encuentran debajo.
Encuentre brechas de cobertura de evaluación
Compare su distribución de temas con lo que sus conjuntos de datos dorados cubren realmente. Busque temas que representen un alto volumen de producción pero que no tengan casos de prueba de evaluación correspondientes: aquí es donde su cobertura de prueba tiene brechas y donde es menos probable que las regresiones del modelo se detecten antes de que lleguen a los usuarios.
Curar automáticamente conjuntos de datos de evaluación
Cuando la curación automática de conjuntos de datos está habilitada, cada ejecución de Patterns agrega interacciones sugeridas para temas con poca cobertura directamente en un conjunto de datos administrado ({pattern-name}-pattern-curated dentro del proyecto Patterns-coverage). Después de que se complete una ejecución, abra la visualización detallada de un tema y haga clic en Acceder al conjunto de datos para revisar los registros curados y utilizarlos como casos de prueba de evaluación.
Diagnosticar patrones de falla
Ajuste el filtro de su patrón al contexto de los spans con puntajes de calidad deficientes o evaluaciones fallidas, luego ejecute el análisis. La taxonomía de temas resultante muestra qué tipos de solicitudes están fallando más, brindándole una forma estructurada de priorizar las correcciones en lugar de depurar traza por traza.
Rastrear cómo evoluciona el tráfico
Vuelva a ejecutar su Pattern periódicamente y utilice el menú desplegable Compare to para comparar las distribuciones de temas entre ejecuciones. Cuando un tema marcado como NEW aparece cerca de la parte superior, eso indica que sus usuarios han encontrado una nueva incidencia de uso o un nuevo modo de falla.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales: