El Playground es una interfaz basada en navegador para probar y evaluar prompts de LLM. Puede probar un prompt con entrada arbitraria frente a cualquier proveedor de modelos conectado, o cargar un conjunto de datos, adjuntar evaluadores, obtener una vista previa de los resultados y guardar la configuración como un experimento reproducible, todo sin escribir código.
El Playground admite dos flujos:
Requisitos previos
Conecte al menos una integración de proveedor de modelos en AI Observability > Settings > Integrations antes de usar el Playground.
Proveedores admitidos:
- OpenAI
- Anthropic
- Azure OpenAI
- Amazon Bedrock
- Vertex AI
- Proveedor personalizado
Utilice el modo Prompts para iterar en un prompt con un conjunto fijo de entradas.
- Navegue a AI Observability > Playground.
- Escriba sus prompts de sistema y de usuario en el editor de mensajes. Para parametrizar las entradas, use
{{variable_name}} en cualquier mensaje. - Abra el panel Model configuration usando la barra superior.
- En el panel de configuración, seleccione un Provider, un Account y un Model.
- (Opcional) Haga clic en Edit Response Structure para solicitar una salida estructurada del modelo.
- (Opcional) Haga clic en Model Parameters para especificar los parámetros del modelo.
- (Opcional) Haga clic en Add New junto a Tools para agregar definiciones de herramientas en formato de esquema de función JSON. Utilice los ejemplos proporcionados (Clima, Búsqueda web, Correo electrónico, Precio de acciones) como puntos de partida.
- Puede ingresar valores para cada variable en la sección Variables para sustituir los parámetros que definió en sus prompts de usuario y de sistema.
- Haga clic en Done para guardar la configuración y cerrar el modal.
- Haga clic en Run para enviar el prompt y ver la respuesta del modelo.
Edite los mensajes, los valores de las variables o la configuración del modelo, luego haga clic en Run nuevamente para iterar.
Ejecute un experimento desde el Playground
Utilice el modo Experimentos para probar su prompt en un conjunto de datos, calificar los resultados con evaluadores y guardar la configuración como un experimento reproducible.
Escriba su prompt usando {{variable_name}} placeholders where dataset values will be substituted. Use dot notation to reference nested dataset fields—for example, {{input.question}} to reference a field named question en la sección de entrada de un registro.
1. Agregar un conjunto de datos
Seleccione un conjunto de datos de su proyecto. El conjunto de datos proporciona los registros con los que el Playground ejecuta su prompt.
Para crear un conjunto de datos, consulte Datasets.
2. Agregar variables
Asigne las columnas del conjunto de datos a las secciones disponibles en su prompt:
| Sección | Descripción |
|---|
| Input | Columnas de la sección de entrada de cada registro, utilizadas para completar {{input.*}} variables. If the input value is a JSON object, its top-level keys are exposed as individual variables (for example, {{input.question}} and {{input.category}}). If the input value is a plain string or number, the whole field is available as {{input}}. |
| Expected Output | Valores de referencia utilizados por los evaluadores para calificar la salida del modelo. Si el valor es un objeto JSON, las claves de nivel superior se exponen individualmente (por ejemplo, {{expected_output.answer}}). Available as {{expected_output}} for plain values. |
| Metadata | Columnas de contexto adicionales. Las claves de nivel superior de un objeto JSON están disponibles como Variables de {{metadata.*}}`. |
Haga clic en Use this dataset para proceder a la etapa de vista previa.
Si una variable hace referencia a una ruta que no existe en el conjunto de datos (por ejemplo, {{question}} en lugar de {{input.question}}—el modelo recibe la cadena de plantilla literal. Regrese a su prompt y corrija las rutas de las variables para que coincidan con las columnas que se muestran en la tabla anterior.
3. Agregar evaluadores
Los evaluadores califican cada fila después de una ejecución de vista previa. Haga clic en Add Evaluators en la barra de herramientas para abrir el modal de configuración del evaluador.
El Playground admite String Check evaluadores. Agregue varios evaluadores para calificar diferentes aspectos del resultado en una sola ejecución.
| Campo | Descripción |
|---|
| Operator | La comparación que se aplicará: equals, not equals o contains. |
| Case sensitive | Cuando está habilitado, la comparación distingue entre mayúsculas y minúsculas. |
| Strip whitespace | Cuando está habilitado, los espacios en blanco al principio y al final se eliminan antes de comparar. |
| Left operand | El valor a evaluar; el valor predeterminado es el resultado del modelo (output). |
| Right operand | El valor con el cual comparar; el valor predeterminado es el resultado esperado. Admite notación de puntos para campos anidados. |
| Name | Un alias que se muestra como el encabezado de columna en la tabla de resultados. |
4. Ejecutar una vista previa
Haga clic en Run Preview para ejecutar el prompt en hasta 20 registros del conjunto de datos.
Después de que se complete la vista previa:
- Cada fila muestra una insignia de PASS o FAIL para cada evaluador.
- El encabezado de la columna muestra los conteos totales de aprobados y reprobados.
- Un banner de resumen muestra el resultado general.
Haga clic en una insignia FAIL para expandir un elemento emergente que muestra la salida real, el operador, el valor esperado y una sugerencia contextual. Por ejemplo, cuando una verificación equals falla porque la salida contiene el valor esperado como subcadena, el elemento emergente sugiere cambiar a contains.
Itere en la configuración del prompt y del evaluador
Después de revisar los resultados, edite la configuración del prompt o del evaluador para mejorar las puntuaciones. Cualquier edición marca los resultados de la vista previa como obsoletos. Haga clic en Re-run Preview para ejecutar de nuevo con la configuración actualizada.
Patrones de iteración comunes:
- Si la mayoría de las filas fallan
equals, verifique si contains o la comparación que no distingue entre mayúsculas y minúsculas refleja mejor la tarea. - Si los valores de las variables aparecen como literales en la salida (por ejemplo,
{{input.question}}), corrija la ruta de la variable en el prompt. - Ajuste la redacción del prompt y vuelva a ejecutar para observar el efecto en las tasas de aprobación.
5. Guarde el experimento
Cuando los resultados de la vista previa cumplan con sus expectativas, haga clic en Save & Run as experiment en la barra de herramientas superior para ejecutar en el conjunto de datos completo.
En el cuadro de diálogo:
- Ingrese un Experiment name.
- Seleccione Project.
- Haga clic en Save.
El experimento se ejecuta en todos los registros del conjunto de datos, no solo en la muestra de vista previa de 20 registros. Cuando termine, visualice los resultados en AI Observability > Experiments.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales: