개요

이 점검은 Datadog Agent를 통해 Confluent Platform 및 Kafka 컴포넌트를 모니터링합니다.

이 통합은 다음 컴포넌트에 대한 JMX 메트릭을 수집합니다.

• Broker
• Connect
• Replicator
• Schema Registry
• ksqlDB Server
• Streams
• REST Proxy

설정

설치

Confluent Platform 점검은 Datadog Agent 패키지에 포함되어 있습니다. Confluent Platform 컴포넌트 서버에는 추가 설치가 필요하지 않습니다.

참고: 이 점검은 JMX를 사용하여 메트릭을 수집합니다. Agent가 jmxfetch를 실행하려면 각 노드에 JVM이 필요합니다. Oracle에서 제공하는 JVM 사용을 권장합니다.

구성

1. Confluent Platform 성능 데이터를 수집하려면 Agent 설정 디렉터리 루트의 conf.d/ 폴더에서 confluent_platform.d/conf.yaml 파일을 편집합니다. 사용 가능한 모든 설정 옵션은 샘플 confluent_platform.d/conf.yaml을 참조하세요.

   각 컴포넌트에 대해 JMX 메트릭을 수집하려면 별도의 인스턴스를 생성해야 합니다. 수집된 기본 메트릭 목록은 다음 예와 같이 metrics.yaml 파일에 나타납니다.

   instances:
    - host: localhost
      port: 8686
      name: broker_instance
      user: username
      password: password
    - host: localhost
      port: 8687
      name: schema_registry_instance
    - host: localhost
      port: 8688
      name: rest_proxy_instance
   

2. Agent를 재시작합니다.

로그 수집

Agent 버전 6.0 이상에서 사용 가능

1. Datadog Agent에서는 로그 수집이 기본적으로 비활성화되어 있습니다. datadog.yaml 파일에서 활성화해야 합니다.

   logs_enabled: true
   

2. Confluent Platform 컴포넌트 로그 수집을 시작하려면 confluent_platform.d/conf.yaml 파일에 다음 구성 블록을 추가합니다.

     logs:
       - type: file
         path: <CONFLUENT_COMPONENT_PATH>/logs/*.log
         source: confluent_platform
         service: <SERVICE_NAME>
         log_processing_rules:
           - type: multi_line
             name: new_log_start_with_date
             pattern: \[\d{4}\-\d{2}\-\d{2}
   

   path 및 service 파라미터 값을 변경하고 환경에 맞게 구성합니다. 사용 가능한 모든 구성 옵션은 샘플 confluent_platform.d/conf.yaml을 참조하세요.

3. Agent를 재시작합니다.

메트릭 수집

컨테이너화된 환경의 경우 JMX를 통한 자동탐지 가이드를 참조하세요.

검증

Agent의 상태 하위 명령을 실행하고 JMXFetch에서 confluent_platform을 찾습니다.

    ========
    JMXFetch
    ========

      Initialized checks
      ==================
        confluent_platform
          instance_name : confluent_platform-localhost-31006
          message :
          metric_count : 26
          service_check_count : 0
          status : OK

수집한 데이터

메트릭

이벤트

Confluent Platform 점검에는 이벤트가 포함되지 않습니다.

서비스 점검

confluent.can_connect
Returns CRITICAL if the Agent is unable to connect to and collect metrics from the monitored Confluent Platform component instance, WARNING if no metrics are collected, and OK otherwise.
Statuses: ok, critical, warning

트러블슈팅

도움이 필요하신가요? Datadog 고객 지원팀에 문의해주세요.