이 페이지는 Datadog의 Agent Observability SDK를 사용하여 Python, Node.js 또는 Java LLM 애플리케이션을 계측하는 방법을 보여줍니다.
전제 조건
Datadog Agent가 실행 중이지 않은 경우 Agent Observability에는 Datadog API 키가 필요합니다. Datadog에서 API 키를 찾으세요.
코딩 에이전트로 Agent Observability 계측
다음 프롬프트를 붙여넣으시어 원하는 코딩 에이전트로 Agent Observability를 계측하세요.
Follow the instructions at https://docs.datadoghq.com/llm_observability/instrument/agentic.md to instrument my application with Datadog Agent Observability. When configuring the environment, use the following values for variable entries:
DD_SITE=
참고: API 키를 프롬프트의 일부로 제공하는 것은 선택 사항이며, 코딩 에이전트가 애플리케이션을 계측하는 데 필수는 아닙니다.
수동 설정
대화형 퀵스타트 환경을 보려면 Datadog의 인앱 온보딩 흐름에 있는 설정 지침을 따르세요.
SDK 설치:
Python 시작 명령 앞에 ddtrace-run을 추가하세요.
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_SITE=<YOUR_DD_SITE> \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
ddtrace-run <your application command>
활성화 후 SDK는 OpenAI, LangChain, LangGraph, Bedrock, Anthropic 등 지원되는 Python 프레임워크에 대한 호출을 자동으로 트레이스합니다. 사용 중인 프레임워크가 목록에 없으면 수동 계측을 추가하여 LLM 호출을 직접 트레이스하세요.
SDK 설치:
애플리케이션 진입점에서 Agent Observability를 첫 번째 종속성으로 dd-trace를 가져오고 초기화하세요.
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_SITE=<YOUR_DD_SITE> \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
NODE_OPTIONS="--import dd-trace/initialize.mjs" <your application command>
활성화 후, SDK는 OpenAI, LangChain, Vercel AI SDK, Bedrock, Anthropic 등 지원되는 Node.js 프레임워크에 대한 호출을 자동으로 트레이스합니다. 프레임워크가 목록에 없는 경우, 수동 계측을 추가하여 LLM 호출을 직접 트레이스하세요.
Next.js: Agent Observability SDK로 Next.js 애플리케이션을 올바르게 구성하려면 Agent Observability를 위한 Next.js 애플리케이션 계측을 참조하세요.
SDK 설치:
wget -O dd-java-agent.jar 'https://dtdg.co/latest-java-tracer'
Java 시작 명령에 -javaagent JVM 인수를 추가하세요.
java -javaagent:/path/to/dd-java-agent.jar \
-Ddd.llmobs.enabled=true \
-Ddd.llmobs.ml.app=quickstart-app \
-Ddd.site=<YOUR_DD_SITE> \
-Ddd.api.key=<YOUR_DATADOG_API_KEY> \
-jar path/to/your/app.jar
활성화 후, SDK는 지원되는 Java 프레임워크에 대한 호출을 자동으로 트레이스합니다. Java 자동 계측은 OpenAI 및 Azure OpenAI를 지원합니다. Bedrock이나 LangChain4j와 같은 다른 라이브러리의 경우, 대신 수동 계측을 사용하세요.
Datadog 사이트는 <YOUR_DATADOG_API_KEY>를 Datadog API 키로 대체하세요.
트레이스 조회
애플리케이션에 요청을 전송해 LLM 호출을 트리거한 다음 Datadog Agent Observability 페이지의 Traces 탭에서 트레이스를 조회하세요.
트레이스가 보이지 않는 경우:
다음 단계
애플리케이션에서 트레이스가 제출되면 다음을 수행할 수 있습니다.
- 평가 구성을 통해 LLM 애플리케이션의 효과를 평가할 수 있습니다.
- 애플리케이션에 수동 계측을 추가하여 자동 계측으로 추출할 수 없는 데이터를 추출하세요.
예시 ‘Hello World’ 애플리케이션
Agent Observability 제품 탐색을 시작하는 데 사용할 수 있는 간단한 애플리케이션은 아래를 참조하세요.
OpenAI를 pip install openai로 설치합니다.
예시 스크립트 app.py를 저장합니다.
import os
from openai import OpenAI
oai_client = OpenAI(api_key=os.environ.get("OPENAI_API_KEY"))
completion = oai_client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": "You are a helpful customer assistant for a furniture store."},
{"role": "user", "content": "I'd like to buy a chair for my living room."},
],
)
애플리케이션을 실행합니다.
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
ddtrace-run app.py
OpenAI를 npm install openai로 설치합니다.
예시 스크립트 app.js를 저장합니다.
const { OpenAI } = require('openai');
const oaiClient = new OpenAI(process.env.OPENAI_API_KEY);
async function main () {
const completion = await oaiClient.chat.completions.create({
model: 'gpt-4o-mini',
messages: [
{ role: 'system', content: 'You are a helpful customer assistant for a furniture store.' },
{ role: 'user', content: 'I\'d like to buy a chair for my living room.' },
]
});
return completion;
}
main().then(console.log)
애플리케이션을 실행합니다.
DD_LLMOBS_ENABLED=1 \
DD_LLMOBS_ML_APP=quickstart-app \
DD_API_KEY=<YOUR_DATADOG_API_KEY> \
NODE_OPTIONS="--import dd-trace/initialize.mjs" node app.js
Lapdog을 사용하여 로컬에서 Agent Observability 체험
Agent Observability를 로컬에서 무료로 체험하려면 단계에 따라 애플리케이션을 계측하고 lapdog을 사용하여 로컬에서 데이터를 조회하세요.
추가 자료
