Este producto no es compatible con el sitio de Datadog seleccionado. ().

El Playground es una interfaz basada en navegador para probar y evaluar prompts de LLM. Puede probar un prompt con entrada arbitraria frente a cualquier proveedor de modelos conectado, o cargar un conjunto de datos, adjuntar evaluadores, obtener una vista previa de los resultados y guardar la configuración como un experimento reproducible, todo sin escribir código.

El Playground admite dos flujos:

Requisitos previos

Conecte al menos una integración de proveedor de modelos en AI Observability > Settings > Integrations antes de usar el Playground.

Proveedores admitidos:

  • OpenAI
  • Anthropic
  • Azure OpenAI
  • Amazon Bedrock
  • Vertex AI
  • Proveedor personalizado

Probar un prompt con entrada arbitraria

Playground de Agent Observability que muestra un mensaje del usuario con marcadores de posición de variables {{category}} y {{approach}}, y la respuesta del modelo en el panel de salida.

Utilice el modo Prompts para iterar en un prompt con un conjunto fijo de entradas.

  1. Navegue a AI Observability > Playground.
  2. Escriba sus prompts de sistema y de usuario en el editor de mensajes. Para parametrizar las entradas, use {{variable_name}} en cualquier mensaje.
  3. Abra el panel Model configuration usando la barra superior.
  4. En el panel de configuración, seleccione un Provider, un Account y un Model.
  5. (Opcional) Haga clic en Edit Response Structure para solicitar una salida estructurada del modelo.
  6. (Opcional) Haga clic en Model Parameters para especificar los parámetros del modelo.
  7. (Opcional) Haga clic en Add New junto a Tools para agregar definiciones de herramientas en formato de esquema de función JSON. Utilice los ejemplos proporcionados (Clima, Búsqueda web, Correo electrónico, Precio de acciones) como puntos de partida.
  8. Puede ingresar valores para cada variable en la sección Variables para sustituir los parámetros que definió en sus prompts de usuario y de sistema.
  9. Haga clic en Done para guardar la configuración y cerrar el modal.
  10. Haga clic en Run para enviar el prompt y ver la respuesta del modelo.

Edite los mensajes, los valores de las variables o la configuración del modelo, luego haga clic en Run nuevamente para iterar.

Ejecute un experimento desde el Playground

Agent Observability Playground en modo de experimento con todos los pasos completados y 'Guardar y ejecutar como experimento' activo. La tabla de vista previa del experimento muestra las columnas OUTPUT, EVAL_EXPECTED_OUTPUT, INPUT y EXPECTEDOUTPUT con insignias PASS y FAIL por fila y un banner de resumen que indica que 6 de 20 registros pasaron.

Utilice el modo Experimentos para probar su prompt en un conjunto de datos, calificar los resultados con evaluadores y guardar la configuración como un experimento reproducible.

Configure su prompt

Escriba su prompt usando {{variable_name}} placeholders where dataset values will be substituted. Use dot notation to reference nested dataset fields—for example, {{input.question}} to reference a field named question en la sección de entrada de un registro.

1. Agregar un conjunto de datos

Seleccione un conjunto de datos de su proyecto. El conjunto de datos proporciona los registros con los que el Playground ejecuta su prompt.

Para crear un conjunto de datos, consulte Datasets.

2. Agregar variables

Asigne las columnas del conjunto de datos a las secciones disponibles en su prompt:

SecciónDescripción
InputColumnas de la sección de entrada de cada registro, utilizadas para completar {{input.*}} variables. If the input value is a JSON object, its top-level keys are exposed as individual variables (for example, {{input.question}} and {{input.category}}). If the input value is a plain string or number, the whole field is available as {{input}}.
Expected OutputValores de referencia utilizados por los evaluadores para calificar la salida del modelo. Si el valor es un objeto JSON, las claves de nivel superior se exponen individualmente (por ejemplo, {{expected_output.answer}}). Available as {{expected_output}} for plain values.
MetadataColumnas de contexto adicionales. Las claves de nivel superior de un objeto JSON están disponibles como Variables de {{metadata.*}}`.

Haga clic en Use this dataset para proceder a la etapa de vista previa.

Si una variable hace referencia a una ruta que no existe en el conjunto de datos (por ejemplo, {{question}} en lugar de {{input.question}}—el modelo recibe la cadena de plantilla literal. Regrese a su prompt y corrija las rutas de las variables para que coincidan con las columnas que se muestran en la tabla anterior.

3. Agregar evaluadores

Los evaluadores califican cada fila después de una ejecución de vista previa. Haga clic en Add Evaluators en la barra de herramientas para abrir el modal de configuración del evaluador.

El Playground admite String Check evaluadores. Agregue varios evaluadores para calificar diferentes aspectos del resultado en una sola ejecución.

CampoDescripción
OperatorLa comparación que se aplicará: equals, not equals o contains.
Case sensitiveCuando está habilitado, la comparación distingue entre mayúsculas y minúsculas.
Strip whitespaceCuando está habilitado, los espacios en blanco al principio y al final se eliminan antes de comparar.
Left operandEl valor a evaluar; el valor predeterminado es el resultado del modelo (output).
Right operandEl valor con el cual comparar; el valor predeterminado es el resultado esperado. Admite notación de puntos para campos anidados.
NameUn alias que se muestra como el encabezado de columna en la tabla de resultados.

4. Ejecutar una vista previa

Haga clic en Run Preview para ejecutar el prompt en hasta 20 registros del conjunto de datos.

Después de que se complete la vista previa:

  • Cada fila muestra una insignia de PASS o FAIL para cada evaluador.
  • El encabezado de la columna muestra los conteos totales de aprobados y reprobados.
  • Un banner de resumen muestra el resultado general.

Haga clic en una insignia FAIL para expandir un elemento emergente que muestra la salida real, el operador, el valor esperado y una sugerencia contextual. Por ejemplo, cuando una verificación equals falla porque la salida contiene el valor esperado como subcadena, el elemento emergente sugiere cambiar a contains.

Itere en la configuración del prompt y del evaluador

Agent Observability Playground que muestra un estado de vista previa obsoleto después de una edición del prompt. Un banner de advertencia dice 'El prompt o la configuración cambiaron desde la última vista previa. Ejecute la vista previa de nuevo antes de ejecutar el conjunto de datos completo.' con un botón de Volver a ejecutar vista previa. La tabla de resultados muestra insignias de APROBADO y REPROBADO de la ejecución anterior.

Después de revisar los resultados, edite la configuración del prompt o del evaluador para mejorar las puntuaciones. Cualquier edición marca los resultados de la vista previa como obsoletos. Haga clic en Re-run Preview para ejecutar de nuevo con la configuración actualizada.

Patrones de iteración comunes:

  • Si la mayoría de las filas fallan equals, verifique si contains o la comparación que no distingue entre mayúsculas y minúsculas refleja mejor la tarea.
  • Si los valores de las variables aparecen como literales en la salida (por ejemplo, {{input.question}}), corrija la ruta de la variable en el prompt.
  • Ajuste la redacción del prompt y vuelva a ejecutar para observar el efecto en las tasas de aprobación.

5. Guarde el experimento

Cuando los resultados de la vista previa cumplan con sus expectativas, haga clic en Save & Run as experiment en la barra de herramientas superior para ejecutar en el conjunto de datos completo.

En el cuadro de diálogo:

  1. Ingrese un Experiment name.
  2. Seleccione Project.
  3. Haga clic en Save.

El experimento se ejecuta en todos los registros del conjunto de datos, no solo en la muestra de vista previa de 20 registros. Cuando termine, visualice los resultados en AI Observability > Experiments.

Lecturas adicionales