This product is not supported for your selected
Datadog site. (
).
Cette page montre comment utiliser le SDK LLM Observability de Datadog pour instrumenter une application LLM en Python ou Node.js.
Prérequis
LLM Observability nécessite une clé d’API Datadog si vous n’avez pas d’Agent Datadog en cours d’exécution. Retrouvez votre clé d’API dans Datadog.
Configuration
Installez le SDK :
Préfixez votre commande de démarrage Python avec ddtrace-run :
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
ddtrace-run <your application command>
Remplacez <YOUR_DATADOG_API_KEY> par votre clé d’API Datadog.
Installez le SDK :
Ajoutez NODE_OPTIONS à votre commande de démarrage Node.js :
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
NODE_OPTIONS="--import dd-trace/initialize.mjs" <your application command>
Remplacez <YOUR_DATADOG_API_KEY> par votre clé d’API Datadog.
Afficher les traces
Envoyez des requêtes à votre application qui déclenchent des appels LLM, puis consultez les traces dans l’onglet Traces de la page LLM Observability dans Datadog. Si vous ne voyez aucune trace, assurez-vous d’utiliser une bibliothèque prise en charge. Sinon, vous devrez peut-être instrumenter manuellement les appels LLM de votre application.
Étapes suivantes
Une fois que des traces sont envoyées depuis votre application, vous pouvez :
Exemple d’application “Hello World”
Vous trouverez ci-dessous une application simple que vous pouvez utiliser pour commencer à explorer LLM Observability.
Installez OpenAI avec pip install openai.
Enregistrez l’exemple de script app.py.
import os
from openai import OpenAI
oai_client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
completion = oai_client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": "You are a helpful customer assistant for a furniture store."},
{"role": "user", "content": "I'd like to buy a chair for my living room."},
],
)
Exécutez l’application :
# Make sure you have the required environment variables listed above
DD_...= \
ddtrace-run app.py
Installez OpenAI avec npm install openai.
Enregistrez l’exemple de script sous app.js
const { OpenAI } = require('openai');
const oaiClient = new OpenAI(process.env.OPENAI_API_KEY);
async function main () {
const completion = await oaiClient.chat.completions.create({
model: 'gpt-4o-mini',
messages: [
{ role: 'system', content: 'You are a helpful customer assistant for a furniture store.' },
{ role: 'user', content: 'I\'d like to buy a chair for my living room.' },
]
});
return completion;
}
main().then(console.log)
Exécutez l’application :
# Make sure you have the required environment variables listed above
DD_...= \
NODE_OPTIONS="--import dd-trace/initialize.mjs" node app.js
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
