Connectez votre compte de fournisseur LLM

Cette traduction n'est pas à jour. Pour consulter la dernière version en anglais, cliquez ici
Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Connectez votre compte de fournisseur LLM

Configurez le fournisseur LLM que vous souhaitez utiliser pour les évaluations avec votre propre clé (BYOK). Vous n’avez à effectuer cette étape qu’une seule fois.

    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à un compte OpenAI soumis à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Connectez votre compte OpenAI à Agent Observability avec votre clé d’API OpenAI.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.
    2. Sélectionnez Connect sur la tuile OpenAI.
    3. Suivez les instructions sur la tuile.
      • Fournissez votre clé d’API OpenAI. Assurez-vous que cette clé dispose de l’autorisation write pour model capabilities.
    4. Activez Use this API key to evaluate your LLM applications.
    5. Agent Observability nécessite que l’endpoint de l’API complete/chat soit disponible pour le modèle sélectionné. Consultez la page de présentation des modèles d’OpenAI pour plus de détails sur les modèles prenant en charge cet endpoint.
    La tuile de configuration OpenAI dans Agent Observability. Liste les instructions pour configurer OpenAI et fournir votre clé d'API OpenAI.

    Agent Observability ne prend pas en charge la résidence des données pour OpenAI.

    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à un compte Azure OpenAI soumis à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Connectez votre compte Azure OpenAI à Agent Observability avec votre clé d’API OpenAI. Datadog recommande vivement d’utiliser le modèle GPT-4o mini pour les évaluations. La version du modèle sélectionnée doit prendre en charge la sortie structurée, et l’API Chat Completions doit être disponible. Consultez la liste complète des modèles compatibles.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.
    2. Sélectionnez Connect sur la tuile Azure OpenAI.
    3. Suivez les instructions sur la tuile.
      • Fournissez votre clé d’API Azure OpenAI. Assurez-vous que cette clé dispose de l’autorisation write pour model capabilities.
      • Fournissez le nom de la ressource, l’ID de déploiement et la version de l’API pour terminer l’intégration.
    La tuile de configuration Azure OpenAI dans Agent Observability. Répertorie les instructions pour configurer Azure OpenAI et fournir votre clé d'API, le nom de la ressource, l'ID de déploiement et la version de l'API.
    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à un compte Anthropic soumis à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Connectez votre compte Anthropic à Agent Observability avec votre clé d’API Anthropic.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.
    2. Sélectionnez Connect sur la tuile Anthropic.
    3. Suivez les instructions sur la tuile.
      • Fournissez votre clé d’API Anthropic. Assurez-vous que cette clé dispose de l’autorisation write pour model capabilities.
    La tuile de configuration Anthropic dans Agent Observability. Répertorie les instructions pour configurer Anthropic et fournir votre clé d'API Anthropic.
    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à un compte Amazon Bedrock soumis à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Connectez votre compte Amazon Bedrock à Agent Observability avec votre compte AWS.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.

    2. Sélectionnez Connect sur la tuile Amazon Bedrock.

    3. Suivez les instructions sur la tuile.

      La tuile de configuration Amazon Bedrock dans Agent Observability. Liste les instructions pour configurer Amazon Bedrock.

    4. Assurez-vous de configurer le rôle Invoke models from Amazon Bedrock pour exécuter les évaluations. Plus de détails sur l’action InvokeModel sont disponibles dans la documentation de référence de l’API Amazon Bedrock.

      La deuxième étape de la configuration d'Amazon Bedrock consiste à ajouter des autorisations au compte d'intégration.
    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à un compte Google Cloud Platform soumis à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Connectez Vertex AI à Agent Observability avec votre compte Google Cloud Platform.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.
    2. Sur la tuile Google Cloud Vertex AI, cliquez sur Connect pour ajouter un nouveau compte GCP, ou cliquez sur Configure à côté de la liste de vos comptes existants pour commencer le processus d’intégration.
      • Vous verrez tous les comptes GCP connectés à Datadog sur cette page. Cependant, vous devez toujours suivre le processus d’intégration pour qu’un compte puisse être utilisé dans Agent Observability.
    3. Suivez les instructions d’intégration pour configurer votre compte.
    Le workflow d'intégration de Vertex AI. Suivez les étapes pour configurer votre compte de service GCP avec les autorisations Vertex AI appropriées pour une utilisation avec Agent Observability.

    Remarque : Lorsque vous exécutez des évaluations, le sélecteur d’emplacement propose des options pour une région unique, plusieurs régions et une option globale. Pour plus de détails sur chaque option, consultez la documentation sur les emplacements Vertex AI de Google.

    Si vous êtes soumis à la loi HIPAA, il vous incombe de vous assurer que vous vous connectez uniquement à une passerelle IA soumise à un accord d'association commerciale (BAA) et répondant à toutes les exigences de conformité HIPAA.

    Votre passerelle IA doit être compatible avec la spécification de l’API OpenAI.

    Connectez votre passerelle IA à Agent Observability avec votre URL de base, votre clé d’API et vos en-têtes.

    1. Dans Datadog, accédez à Agent Observability > Settings > Integrations.
    2. Cliquez sur l’onglet Configure, puis cliquez sur New pour créer une nouvelle passerelle.
    3. Suivez les instructions sur la tuile.
      • Indiquez un nom pour votre passerelle.
      • Sélectionnez votre fournisseur.
      • Indiquez votre URL de base.
      • Fournissez votre clé d’API et, éventuellement, tous les en-têtes.
    La tuile de configuration de la passerelle IA dans Agent Observability. Liste les instructions pour configurer une passerelle IA

    Si votre fournisseur de LLM restreint les adresses IP, vous pouvez obtenir les plages IP requises en consultant la documentation sur les plages IP de Datadog, en sélectionnant votre Datadog Site, en collant l’URL GET dans votre navigateur et en copiant la section webhooks.