Rastrear un Mapa de clústeres
Este producto no es compatible con el
sitio Datadog seleccionado. (
).
Puedes identificar derivas en tus aplicaciones LLM visualizando los datos de rastreo en clústeres en la página Clústeres. Selecciona una aplicación configurada con LLM Observability para ver información de clúster.
Nota: La agrupación en clústeres puede tardar hasta 24 horas después de la ingesta de los datos para estar completamente procesada y visible en el mapa de clústeres. Durante este tiempo, los intervalos que aún no se han agrupado aparecerán en un clúster “Pendiente”.
Los mapas de clústeres muestran entradas o salidas agrupadas por tema. Las entradas y salidas se agrupan por separado. Los temas se determinan agrupando la entrada o salida seleccionada en incrustaciones de texto en altas dimensiones y proyectándolas después en un espacio 2D.
Puedes visualizar los clústeres utilizando un diseño Box Packing o Scatter Plot.
- Box Packing ofrece una vista agrupada de cada uno de los clústeres y superpone cualquier métrica o evaluación de cada traza (trace).
- Scatter Plot, por su parte, permite ver las incrustaciones de texto de alta dimensión en un espacio 2D, aunque la distancia entre cada trace puede ser engañosa debido a la distorsión de la proyección.
Los Mapas de clústeres ofrecen una visión general del rendimiento de cada clúster a través de métricas operativas, como los tipos de error y la latencia o evaluaciones predefinidas o personalizadas, lo que permite identificar tendencias como la desviación temática y otros problemas de calidad.
Creado con Llama: El mapa de clústeres utiliza Llama para generar etiquetas (labels) temáticas basadas en las entradas y salidas de tu aplicación LLM instrumentada.
Buscar y gestionar clústeres
Personaliza tu consulta de búsqueda seleccionando las opciones de clasificación para acotar los clústeres en función de tus criterios específicos, como las métricas de evaluación o los periodos de tiempo, para un análisis más específico.
- Selecciona
inputs o outputs en el menú desplegable para ver clústeres de entradas o salidas agrupadas por temas. - Selecciona un tipo de evaluación o una puntuación de evaluación para codificar por colores las agrupaciones. Por ejemplo,
Output Sentiment, para “¿Cuál es el sentimiento de la salida?”, o duration, para “¿Cuánto tarda un LLM en generar una salida (en nanosegundos)?”. - Selecciona un campo para ordenar los clústeres por: tiempo, duración o color. A continuación, selecciona desc o asc para establecer el orden.
Selecciona un clúster de tema en la lista para examinar cómo se comportan las entradas o las salidas con respecto a temas específicos, en comparación con otros temas de cada métrica o evaluación. También puedes ver los avisos y las respuestas individuales de cada clúster. Por ejemplo, puedes obtener información general de los temas más lentos, si superpones por duration.
Referencias adicionales
Más enlaces, artículos y documentación útiles:
