Conecte su cuenta de proveedor de LLM

Esta traducción no está actualizada. Para consultar la última versión en inglés, haz clic aquí
Este producto no es compatible con el sitio Datadog seleccionado. ().

Conecte su cuenta de proveedor de LLM

Configure el proveedor de LLM que desea utilizar para las evaluaciones de tipo bring-your-own-key (BYOK). Solo tiene que completar este paso una vez.

    Si está sujeto a HIPAA, es responsable de asegurarse de conectarse únicamente a una cuenta de OpenAI que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Conecte su cuenta de OpenAI a Agent Observability con su clave de API de OpenAI.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.
    2. Seleccione Connect en el mosaico de OpenAI.
    3. Siga las instrucciones en el mosaico.
      • Proporcione su clave de API de OpenAI. Asegúrese de que esta clave tenga el permiso write para model capabilities.
    4. Habilite Use this API key to evaluate your LLM applications.
    5. Agent Observability requiere que el punto de conexión de API complete/chat esté disponible para el modelo seleccionado. Consulte la página de descripción general de modelos de OpenAI para obtener detalles sobre qué modelos admiten este punto de conexión.
    El mosaico de configuración de OpenAI en Agent Observability. Enumera las instrucciones para configurar OpenAI y proporcionar su clave de API de OpenAI.

    Agent Observability no admite residencia de datos para OpenAI.

    Si está sujeto a HIPAA, usted es responsable de asegurarse de conectarse únicamente a una cuenta de Azure OpenAI que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Conecte su cuenta de Azure OpenAI a Agent Observability con su clave de API de OpenAI. Datadog recomienda encarecidamente utilizar el modelo GPT-4o mini para las evaluaciones. La versión del modelo seleccionada debe admitir salida estructurada y la API de Chat Completions debe estar disponible. Consulte una lista completa de modelos compatibles.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.
    2. Seleccione Connect en el mosaico de Azure OpenAI.
    3. Siga las instrucciones en el mosaico.
      • Proporcione su clave de API de Azure OpenAI. Asegúrese de que esta clave tenga el permiso write para model capabilities.
      • Proporcione el nombre del recurso, el ID de implementación y la versión de API para completar la integración.
    El mosaico de configuración de Azure OpenAI en Agent Observability. Enumera las instrucciones para configurar Azure OpenAI y proporcionar su clave de API, nombre del recurso, ID de implementación y versión de API.
    Si está sujeto a HIPAA, usted es responsable de asegurarse de conectarse únicamente a una cuenta de Anthropic que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Conecte su cuenta de Anthropic a Agent Observability con su clave de API de Anthropic.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.
    2. Seleccione Connect en el mosaico de Anthropic.
    3. Siga las instrucciones en el mosaico.
      • Proporcione su clave de API de Anthropic. Asegúrese de que esta clave tenga el permiso write para model capabilities.
    El mosaico de configuración de Anthropic en Agent Observability. Enumera las instrucciones para configurar Anthropic y proporcionar su clave de API de Anthropic.
    Si está sujeto a HIPAA, usted es responsable de asegurarse de conectarse únicamente a una cuenta de Amazon Bedrock que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Conecte su cuenta de Amazon Bedrock a Agent Observability con su cuenta de AWS.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.

    2. Seleccione Connect en el mosaico de Amazon Bedrock.

    3. Siga las instrucciones en el mosaico.

      El mosaico de configuración de Amazon Bedrock en Agent Observability. Enumera las instrucciones para configurar Amazon Bedrock.

    4. Asegúrese de configurar el rol Invoke models from Amazon Bedrock para ejecutar evaluaciones. Puede encontrar más detalles sobre la acción InvokeModel en la documentación de referencia de la API de Amazon Bedrock.

      El segundo paso para configurar Amazon Bedrock que requiere que los usuarios agreguen permisos a la cuenta de integración.
    Si está sujeto a HIPAA, usted es responsable de asegurarse de conectarse únicamente a una cuenta de Google Cloud Platform que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Conecte Vertex AI a Agent Observability con su cuenta de Google Cloud Platform.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.
    2. En el mosaico de Google Cloud Vertex AI, haga clic en Connect para agregar una nueva cuenta de GCP, o haga clic en Configure junto a donde aparecen sus cuentas existentes para comenzar el proceso de incorporación.
      • Verá todas las cuentas de GCP conectadas a Datadog en esta página. Sin embargo, aún debe completar el proceso de incorporación de una cuenta para usarla en Agent Observability.
    3. Siga las instrucciones de incorporación para configurar su cuenta.
    El flujo de trabajo de incorporación de Vertex AI. Siga los pasos para configurar su cuenta de servicio de GCP con los permisos de Vertex AI adecuados para su uso con Agent Observability.

    Nota: Cuando ejecuta evaluaciones, el selector de ubicación ofrece opciones de región única, multirregión y global. Para obtener detalles sobre cada opción, consulte la documentación de ubicaciones de Vertex AI de Google.

    Si está sujeto a HIPAA, usted es responsable de asegurarse de conectarse únicamente a una AI Gateway que esté sujeta a un acuerdo de asociación comercial (BAA) y que cumpla con todos los requisitos para el cumplimiento de HIPAA.

    Su AI Gateway debe ser compatible con la especificación de la API de OpenAI.

    Conecte su AI Gateway a Agent Observability con su URL base, clave de API y encabezados.

    1. En Datadog, navegue a Agent Observability > Settings > Integrations.
    2. Haga clic en la pestaña Configure, luego haga clic en New para crear una nueva puerta de enlace.
    3. Siga las instrucciones en el mosaico.
      • Proporcione un nombre para su puerta de enlace.
      • Seleccione su proveedor.
      • Proporcione su URL base.
      • Proporcione su clave de API y, opcionalmente, cualquier encabezado.
    El mosaico de configuración de AI Gateway en Agent Observability. Enumera las instrucciones para configurar AI Gateway.

    Si su proveedor de LLM restringe las direcciones IP, puede obtener los rangos de IP necesarios visitando la documentación de rangos de IP de Datadog, seleccionando su Datadog Site, pegando la URL GET en su navegador y copiando la sección webhooks.