미리 보기
Agent Console은 현재 미리 보기 버전으로 제공되며 모든 Datadog 고객이 사용할 수 있습니다.
Agent Console은 조직 전반의 AI 에이전트를 중앙에서 모니터링할 수 있는 기능을 제공합니다. 코딩 에이전트와 Datadog의 자체 Bits AI 에이전트에서 로그 및 메트릭을 수집하고 이를 실시간으로 표시하여 사용량, 비용, 지연 시간, 생산성 영향 및 새롭게 발생하는 문제 패턴에 대한 가시성을 제공합니다.
Agent Console은 다음 코딩 에이전트를 지원합니다.
코딩 에이전트
Coding Agents 탭에서는 조직 전체의 코딩 에이전트 활동을 상위 수준에서 확인할 수 있습니다. 기본적으로 모든 코딩 에이전트의 데이터가 집계되어 표시되며, 특정 에이전트만 필터링하여 조회할 수도 있습니다.
에이전트 발견 사항
Agent Findings 패널은 선택한 기간에 대한 주요 활동(총 비용, 총 사용자 수, 세션 수, 병합 소요 시간, 코드 라인 수, 세션당 평균 턴 수 포함)을 요약하여 보여줍니다. 누적 차트는 에이전트(예: Claude Code, Cursor)별로 활동을 구분하여 표시하므로 시간 경과에 따른 도입 현황을 비교할 수 있습니다.
영향 지표
Impact Metrics 패널은 AI 지원 개발이 소프트웨어 배포 수명 주기에 미치는 영향을 DORA 스타일 메트릭을 사용하여 측정하며, AI 지원 작업과 비 AI 작업을 나란히 비교하여 보여줍니다.
- Adoption: AI 지원 커밋 및 AI 지원 PR을 포함하여 AI가 생성한 코드의 비율을 추적합니다.
- Velocity: 변경 사항이 프로덕션에 도달하는 속도를 측정하며, 변경 리드 타임 및 PR 검토 시간을 포함합니다.
- Stability: 배포 이후 변경 사항의 안정성을 추적하며, 변경 실패율 및 복구 시간을 포함합니다.
감지된 문제
Detected Problems 패널은 팀이 자주 겪는 문제 패턴을 강조 표시하고 해결 방법을 추천합니다. Sankey 다이어그램은 개별 에이전트에서 특정 리포지토리로 이어지는 문제 패턴(예: 검사 건너뛰기, 재시도 루프, 파일 재읽기)을 시각화하며 각 패턴에 대한 예상 월간 비용도 함께 제공합니다.
Problem Pattern 노드를 클릭하면 패턴 정의, 조직 전체의 예상 월간 비용, 플래그가 지정된 세션 목록 및 권장 수정 방법이 포함된 상세 보기가 열립니다.
개별 에이전트 대시보드
Coding Agents 탭에는 연결된 각 코딩 에이전트(예: Claude Code, GitHub Copilot, Cursor)에 대한 타일이 표시됩니다. 각 타일에는 총 사용자 수, 총 비용 및 코드 라인당 비용을 포함한 해당 에이전트 활동 요약이 표시됩니다.
에이전트 타일을 클릭하거나 페이지 상단의 All Coding Agents 드롭다운에서 선택하여 해당 에이전트 전용 대시보드를 엽니다. 전용 대시보드에는 총 비용, 세션, 커밋 및 추가된 코드 라인 수에 대한 요약 타일과 함께 요청 볼륨, 지연 시간, 모델 사용 패턴, 추가된 코드 라인 대비 제거된 코드 라인, 도구 수락 대비 거부에 대한 성능 차트가 포함됩니다.
에이전트 사용량 분석
Analytics 탭에서는 개인 및 팀 단위의 세부 정보를 제공하여 파워 유저, 이상치, 팀 수준의 도입 패턴을 파악할 수 있습니다.
팀 비교
Comparison 패널은 결과 대비 AI 도구에 과도하게 투자하거나 충분히 투자하지 않는 팀을 식별하는 데 도움이 됩니다. 팀별 비용, 코드 라인당 비용 및 모델 사용량을 조직 기준선과 비교하여 효율성 향상이 가능한 영역이나 예상보다 비용이 높은 영역을 찾습니다.
사용자 분석
User Analytics 패널은 조직 내 개별 엔지니어가 AI 도구를 어떻게 사용하고 있는지에 대한 가시성을 제공합니다. 이 패널을 사용하여 다음을 수행할 수 있습니다.
- 가장 많은 비용을 사용하는 사용자 및 가장 생산적인 기여자 식별
- 효율성 이상치 파악 — 비용은 높지만 산출물은 적거나 그 반대인 엔지니어 식별
- 사용자, 에이전트 및 모델별 전체 비용 분석 확인
- 개별 사용자의 비용, PR 이력 및 모델 구성을 검토
Bits AI 에이전트
Bits AI Agents 탭에서는 Datadog의 기본 제공 AI 에이전트 사용 현황을 코딩 에이전트와 함께 확인할 수 있습니다. 모든 Datadog 에이전트의 조사, 세션, 실행을 통합하여 표시하므로 Bits AI 활동을 조직 내 다른 활동과 상호 연계할 수 있습니다.
개별 카드에는 Bits Investigation, Bits Code 및 Bits Agent Builder를 포함한 각 Bits AI 에이전트의 활동이 요약되어 있습니다. 카드에서 View Details를 클릭하여 해당 에이전트를 자세히 살펴봅니다.
설정
Agent Console로 데이터 전송을 시작하려면 Agent Console 설정을 참조하세요.
추가 자료
