Ce produit n'est pas pris en charge par le
site Datadog que vous avez sélectionné. (
).
Essayez de commencer avec LLM Observability dans le Centre d'apprentissage
Apprenez à surveiller la performance, les coûts, les traces, l'utilisation des jetons et les erreurs de votre application LLM pour identifier et résoudre les problèmes.
Aperçu
Avec LLM Observability, vous pouvez surveiller, dépanner et évaluer vos applications alimentées par LLM, telles que les chatbots. Vous pouvez enquêter sur la cause profonde des problèmes, surveiller la performance opérationnelle et évaluer la qualité, la confidentialité et la sécurité de vos applications LLM.
Chaque requête effectuée par votre application est représentée comme une trace sur la page LLM Observability dans Datadog.
Une trace peut représenter :
- Une inférence LLM individuelle, y compris les jetons, les informations d’erreur et la latence
- Un flux de travail LLM prédéterminé, qui est un regroupement d’appels LLM et de leurs opérations contextuelles, telles que les appels d’outils ou les étapes de prétraitement
- Un flux de travail LLM dynamique exécuté par un agent LLM
Chaque trace contient des spans représentant chaque choix effectué par un agent ou chaque étape d’un flux de travail donné. Une trace donnée peut également inclure des entrées et des sorties, la latence, des problèmes de confidentialité, des erreurs, et plus encore. Pour plus d’informations, voir Termes et Concepts.
Déboguer avec un traçage de bout en bout
Visualisez chaque étape des chaînes et des appels de vos applications LLM afin d’identifier les requêtes problématiques et de déterminer la cause profonde des erreurs.
Surveillez les indicateurs opérationnels et optimisez les coûts
Surveillez le coût, la latence, la performance et les tendances d’utilisation de toutes vos applications LLM avec tableaux de bord prêts à l’emploi.
Évaluez la qualité et l’efficacité de vos applications LLM
Comprenez ce que les utilisateurs demandent à votre application LLM, identifiez les lacunes de couverture et surveillez la qualité des réponses au fil du temps avec Patterns — regroupement thématique hiérarchique automatisé de votre trafic de production.
Protégez les données sensibles et identifiez les utilisateurs malveillants
Scannez automatiquement et masquez toute donnée sensible dans vos applications d’IA et identifiez les injections de prompt, parmi d’autres évaluations.
Consultez les anomalies mises en évidence sous forme d’insights
LLM Observability Insights offre une expérience de surveillance qui aide les utilisateurs à identifier les anomalies dans leurs métriques opérationnelles, telles que la durée et le taux d’erreur, ainsi que leurs évaluations prêtes à l’emploi (OOTB).
La détection des valeurs aberrantes est effectuée sur des dimensions clés :
Ces valeurs aberrantes sont analysées au cours de la semaine passée et mises en évidence automatiquement dans la fenêtre temporelle correspondante sélectionnée par l’utilisateur. Cela permet aux équipes de détecter de manière proactive les régressions, les dérives de performance ou les comportements inattendus dans leurs applications LLM.
Utilisez les intégrations avec LLM Observability
Le SDK LLM Observability pour Python s’intègre avec des frameworks tels qu’OpenAI, LangChain, AWS Bedrock et Anthropic. Il trace et annote automatiquement les appels LLM, capturant la latence, les erreurs et les métriques d’utilisation des tokens, sans modifications de code.
Datadog propose une variété de capacités d'intelligence artificielle (IA) et d'apprentissage automatique (ML). Les
intégrations IA/ML sur la page des intégrations et le marché Datadog sont des fonctionnalités Datadog à l'échelle de la plateforme.
Par exemple, APM propose une intégration native avec OpenAI pour surveiller votre utilisation d'OpenAI, tandis que la surveillance de l'infrastructure propose une intégration avec NVIDIA DCGM Exporter pour surveiller les charges de travail IA intensives en calcul. Ces intégrations sont différentes de l'offre d'observabilité LLM.
Pour plus d’informations, consultez la documentation sur l’auto-instrumentation.
Prêt à commencer ?
Consultez la documentation de configuration pour des instructions sur l’instrumentation de votre application LLM ou suivez le guide de traçage d’une application LLM pour générer une trace à l’aide du SDK LLM Observability pour Python.
Lectures complémentaires
Documentation, liens et articles supplémentaires utiles:
