개요

이 점검은 Datadog Agent를 통해 Kubeflow를 모니터링합니다.

설정

아래 지침에 따라 호스트에서 실행 중인 Agent에 이 점검을 설치하고 설정하세요. 컨테이너화된 환경의 경우 Autodiscovery 통합 템플릿에서 해당 지침을 적용하는 방법에 관한 가이드를 참고하세요.

설치

Kubeflow 점검은 Datadog Agent 패키지에 포함되어 있습니다. 서버에 추가 설치가 필요하지 않습니다.

설정

1. Agent 구성 디렉터리 루트의 conf.d/ 폴더에 있는 kubeflow.d/conf.yaml 파일을 편집하여 kubeflow 성능 데이터 수집을 시작하세요. 사용 가능한 모든 구성 옵션은 샘플 kubeflow.d/conf.yaml을 참조하세요.

2. Agent를 다시 시작합니다.

메트릭 수집

kubeflow 구성 요소에 Prometheus 형식의 메트릭이 노출되어 있는지 확인하세요. Agent에서 메트릭 수집을 시작하려면 kubeflow 포드에 주석을 달아야 합니다.

Kubeflow에는 포트 9090에서 액세스할 수 있는 메트릭 엔드포인트가 있습니다.

Prometheus을 통해 Kubeflow에서 메트릭 노출을 활성화하려면 해당 구성 요소에 약속 서비스 모니터링을 활성화해야 할 수 있습니다.

Kube-Prometheus-Stack 또는 사용자 정의 Prometheus 설치를 사용할 수 있습니다.

Kube-Prometheus-Stack 설치 방법:

1. Helm 리포지토리 추가:

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

2. 차트 설치:

helm install prometheus-stack prometheus-community/kube-prometheus-stack

3. Prometheus 서비스 외부 노출:

kubectl port-forward prometheus-stack 9090:9090

Kubeflow 구성 요소에 대한 ServiceMonitor 설정:

Prometheus 메트릭을 노출하려면 Kubeflow 구성 요소에 대한 ServiceMonitors를 구성해야 합니다. Kubeflow 구성 요소가 기본적으로 Prometheus 메트릭을 노출하는 경우 이러한 메트릭을 스크래핑하도록 Prometheus를 구성하기만 하면 됩니다.

서비스 모니터는 다음과 같이 표시됩니다.

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: <kubeflow-component>-monitor
  labels:
    release: prometheus-stack
spec:
  selector:
    matchLabels:
      app: <kubeflow-component-name>
  endpoints:
  - port: http
    path: /metrics

<kubeflow-component>는 pipelines, kserve 또는 katib로, <kubeflow-component-name>은ml-pipeline, kserve 또는 katib로 대체됩니다.

참고: 안내된 메트릭은 사용 가능한 경우에만 수집할 수 있습니다(버전에 따라 다름). 일부 메트릭은 특정 작업이 실행될 때만 생성됩니다.

kubeflow 점검을 구성하는 데 필요한 유일한 파라미터는 openmetrics_endpoint입니다. 이 파라미터는 Prometheus 형식의 메트릭이 노출되는 위치로 설정해야 합니다. 기본 포트는 9090입니다. 컨테이너화된 환경에서는 [호스트 자동 감지]에 %%host%%를 사용해야 합니다(https://docs.datadoghq.com/agent/kubernetes/integrations/).

apiVersion: v1
kind: Pod
# (...)
metadata:
  name: '<POD_NAME>'
  annotations:
    ad.datadoghq.com/controller.checks: |
      {
        "kubeflow": {
          "init_config": {},
          "instances": [
            {
              "openmetrics_endpoint": "http://%%host%%:9090/metrics"
            }
          ]
        }
      }
    # (...)
spec:
  containers:
    - name: 'controller'
# (...)

검증

Agent 상태 하위 명령을 실행하고 Checks 섹션에서 kubeflow를 찾습니다.

수집한 데이터

Metrics

이벤트

Kubeflow 통합에는 이벤트가 포함되지 않습니다.

서비스 점검

kubeflow.openmetrics.health

Agent가 Kuberflow에 연결할 수 없는 경우 CRITICAL을 반환하고, 그러지 않으면 OK를 반환합니다.

상태: ok, critical

트러블슈팅

도움이 필요하세요? Datadog 지원 팀에 문의하세요.