개요

Prometheus를 연결해 다음을 수행할 수 있습니다.

• Prometheus 엔드포인트에서 커스텀 메트릭 추출
• Datadog 이벤트 스트림에서 Prometheus Alertmanager 경고 확인

참고: Datadog은 더 효율적이고 Prometheus 텍스트 형식을 완벽하게 지원하는 OpenMetrics 점검 사용을 권장합니다. 메트릭 엔드포인트가 텍스트 형식을 지원하지 않는 경우에만 Prometheus 점검을 사용하세요.

Prometheus 점검을 구성하는 방법은 Prometheus 메트릭 수집 시작하기에서 확인하세요.

설정

아래 지침을 따라 호스트에서 실행되는 에이전트에 대해 이 점검을 설치하고 설정하세요. 컨테이너화된 환경의 경우 이러한 지침을 적용하는 데 가이드가 필요하면 자동탐지 통합 템플릿을 참조하세요.

설치

Prometheus 점검은 Datadog Agent 6.1.0 버전부터 패키지로 제공됩니다.

구성

OpenMetrics/Prometheus 엔드포인트를 노출하는 애플리케이션에서 메트릭을 검색하려면 prometheus.d/conf.yaml 파일을 편집하세요.

각 인스턴스는 최소한 다음으로 구성됩니다.

메트릭을 나열할 때 - <METRIC_NAME>*과 같이 * 와일드카드를 사용하여 일치하는 모든 메트릭을 검색할 수 있습니다. 참고: 와일드카드 사용 시 많은 커스텀 메트릭을 전송할 수 있으므로 주의하세요.

더 많은 고급 설정(ssl, 레이블 결합, 커스텀 태그 등)은 샘플 prometheus.d/conf.yaml에서 확인할 수 있습니다.

이 통합의 특성상 Datadog에 많은 수의 커스텀 메트릭을 제출할 수 있습니다. 사용자는 구성 오류 또는 입력 변경에 대해 전송되는 메트릭의 최대 수를 제어할 수 있습니다. 점검에서 기본 메트릭 한도는 2000개입니다. 이 한도를 늘리려면prometheus.d/conf.yaml 파일에서 max_returned_metrics 옵션을 설정하세요.

send_monotonic_counter: True이면 Agent는 해당 값의 델타를 보내고 앱 내 유형은 count로 설정됩니다(이것은 기본 동작입니다). send_monotonic_counter: False이면 Agent는 원시적이고 단조롭게 증가하는 값을 보내고 앱 내 유형은 gauge로 설정됩니다.

검증

Agent의 status 하위 명령을 실행하고 Checks 섹션에서 prometheus를 찾습니다.

수집한 데이터

메트릭

Prometheus 점검을 통해 수집된 모든 메트릭은 커스텀 메트릭으로 Datadog에 전달됩니다.

참고: <HISTOGRAM_METRIC_NAME> Prometheus 히스토그램 메트릭에 대한 버킷 데이터는 버킷 이름을 포함한 upper_bound 태그와 함께 Datadog 내의 <HISTOGRAM_METRIC_NAME>.count 메트릭에 저장됩니다. +Inf 버킷에 액세스하려면 upper_bound:none을 사용합니다.

이벤트

Prometheus Alertmanager 경고는 웹훅 구성에 따라 자동으로 Datadog 이벤트 스트림으로 전송됩니다.

서비스 점검

Prometheus 점검은 서비스 점검을 포함하지 않습니다.

Prometheus Alertmanager

이벤트 스트림에서 Prometheus Alertmanager 경고을 보내세요. 기본적으로 Alertmanager는 구성된 웹훅에 모든 경고를 동시에 보냅니다. Datadog에서 경고를 보려면 Alertmanager 인스턴스를 구성하여 한 번에 하나씩 경고를 보내야 합니다. route에서 그룹별 파라미터를 추가하여 경고 규칙의 실제 이름으로 경고를 그룹화할 수 있습니다.

설정

1. Alertmanager 구성 파일, alertmanager.yml을 편집하여 다음을 포함합니다.

receivers:
- name: datadog
  webhook_configs: 
  - send_resolved: true
    url: https://app.datadoghq.com/intake/webhook/prometheus?api_key=<DATADOG_API_KEY>
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 5m
  receiver: datadog
  repeat_interval: 3h

참고: 이 엔드포인트는 페이로드에서 한 번에 하나의 이벤트만 허용합니다.

2. Prometheus와 Alertmanager 서비스를 다시 시작합니다.

sudo systemctl restart prometheus.service alertmanager.service

트러블슈팅

도움이 필요하신가요? Datadog 지원팀에 문의하세요.

참고 자료

• Datadog Agent 6에 대한 Prometheus 지원 소개
• Prometheus 점검 구성하기
• 커스텀 Prometheus 점검 작성하기