Instrumentation d'Agent Observability

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Pour commencer avec Agent Observability, instrumentez votre application LLM ou vos agents en choisissant parmi plusieurs approches, en fonction de votre langage de programmation et de votre configuration. Datadog propose des options d’instrumentation complètes conçues pour capturer des traces, des métriques et des évaluations détaillées à partir de vos applications LLM et de vos agents avec un minimum de modifications de code.

Options d’instrumentation

Vous pouvez instrumenter votre application avec les SDK Python, Node.js ou Java, ou en utilisant l’Agent Observability API.

Datadog fournit des SDK natifs qui offrent les fonctionnalités les plus complètes d’Agent Observability:

LangageSDK disponibleInstrumentation automatiqueInstrumentation personnalisée
PythonPython 3.7+
Node.jsNode.js 16+
JavaJava 8+

Pour instrumenter une application LLM avec le SDK :

  1. Installez le SDK Agent Observability
  2. Configurez le SDK en fournissant les variables d’environnement requises dans la commande de démarrage de votre application, ou par programmation dans le code. Assurez-vous d’avoir configuré votre clé d’API Datadog, votre site Datadog et le nom de votre application d’apprentissage automatique (ML).

Instrumentation automatique

L’instrumentation automatique capture les appels LLM pour les applications Python, Node.js et Java sans nécessiter de modifications de code. Elle vous permet d’obtenir des traces et une observabilité prêtes à l’emploi pour les frameworks et fournisseurs populaires. Pour plus de détails et une liste complète des frameworks et fournisseurs pris en charge, consultez la Documentation sur l’instrumentation automatique.

L’instrumentation automatique capture automatiquement :

  • Prompts d’entrée et complétions de sortie
  • Utilisation des jetons et coûts
  • Informations sur la latence et les erreurs
  • Paramètres du modèle (température, max_tokens, etc.)
  • Métadonnées spécifiques au framework
Lors de l'utilisation de frameworks pris en charge, aucune création manuelle de span n'est requise pour les appels LLM. Le SDK crée automatiquement des spans appropriés avec des métadonnées enrichies.

Instrumentation personnalisée

Tous les SDK pris en charge offrent des fonctionnalités avancées pour l’instrumentation personnalisée de vos applications LLM en plus de l’instrumentation automatique, notamment :

  • Création manuelle de spans à l’aide de décorateurs de fonction ou de gestionnaires de contexte
  • Traçage de workflows complexes pour les applications LLM en plusieurs étapes
  • Surveillance d’Agents pour les agents LLM autonomes
  • Évaluations personnalisées et mesures de qualité
  • Suivi de session pour les interactions utilisateur

Pour en savoir plus, consultez la Documentation de référence du SDK.

Instrumentation de l’API HTTP

Si votre langage n’est pas pris en charge par les SDK ou si vous utilisez des intégrations personnalisées, vous pouvez instrumenter votre application à l’aide de l’API HTTP de Datadog.

L’API vous permet de :

  • Soumettre des spans directement via des endpoints HTTP
  • Envoyer des évaluations personnalisées associées aux spans
  • Inclure des hiérarchies de traces complètes pour les applications complexes
  • Annoter les spans avec des entrées, des sorties, des métadonnées et des métriques

Points de terminaison de l’API :

  • Spans API : POST https://api./api/intake/llm-obs/v1/trace/spans
  • Evaluations API : POST https://api./api/intake/llm-obs/v2/eval-metric

Pour en savoir plus, consultez la Documentation de l’API HTTP.

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Démarrez rapidement avec l'instrumentation automatiqueINSTRUMENTATION AUTOMATIQUE more more Datadog LLM Observability prend nativement en charge les conventions sémantiques GenAI d'OpenTelemetry.BLOG more more Prise en main de Agent ObservabilityCENTRE D'APPRENTISSAGE more more