Databricks용 Data Observability: Jobs Monitoring 활성화

문서 > Data Observability Overview > Data Observability: Jobs Monitoring > Databricks용 Data Observability: Jobs Monitoring 활성화

Data Observability: Jobs Monitoring은 클러스터 또는 서버리스 컴퓨트에서 실행되는 Databricks 작업 및 워크플로의 성능과 안정성을 가시화합니다.

설정

Databricks 작업 공간에 네트워킹 제한이 활성화된 경우 Datadog의 IP 주소를 webhook IP ranges 허용 목록에 추가하세요. 작업 공간에서 Private Link를 사용하는 경우 아래의 Private Link Connectivity 탭을 참조하세요.

다음 단계에 따라 Databricks용 Data Observability: Jobs Monitoring을 활성화합니다.

Databricks 작업 공간에 대해 1. Datadog-Databricks 통합을 구성합니다. 작업 공간의 Databricks 클러스터에 1. Datadog Agent를 설치합니다.

Datadog-Databricks 통합 구성

새 작업 공간 통합은 OAuth를 사용하여 인증해야 합니다. 이미 개인 액세스 토큰으로 통합된 작업 공간은 계속 작동하며 언제든지 OAuth로 전환할 수 있습니다. 작업 공간이 OAuth 사용을 시작하면 다시 개인 액세스 토큰으로 되돌릴 수 없습니다.

Databricks에서 서비스 주체 생성 및 구성

Databricks 작업 공간 관리자 권한으로 작업 공간 오른쪽 상단의 프로필을 클릭하여 Settings으로 이동합니다.
Identity and access 탭에서 Service principals 옆의 Manage를 클릭합니다.
Add service principal을 클릭한 다음 Add new를 클릭합니다.
이름을 입력한 후 Add를 클릭합니다.
Azure Databricks의 경우 관리 유형으로 “Databricks managed”를 선택하세요. Datadog은 "Microsoft Entra ID managed" 서비스 주체를 지원하지 않습니다.
새로 생성한 서비스 주체의 이름을 클릭합니다. Secrets 탭에서 Generate secret을 클릭합니다.
1. Lifetime (days) 값을 허용되는 최대값(730)으로 설정합니다.
2. Generate를 클릭합니다.
3. 클라이언트 ID와 클라이언트 시크릿을 기록해 둡니다.
Permissions 탭에서 Grant access를 클릭합니다. 새 서비스 주체를 검색한 후 Manage 권한을 부여하고 Save를 클릭합니다.
Identity and access 탭으로 돌아가 Groups 옆의 Manage를 클릭합니다.
admins 그룹을 클릭한 후 Add members를 클릭하여 새 서비스 주체를 추가합니다.

Databricks 작업 공간을 Datadog에 추가

Datadog에서 Databricks 통합 타일을 엽니다.
Configure 탭에서 Add Databricks Workspace를 클릭합니다.
작업 공간 이름, Databricks 작업 공간 URL, 그리고 생성한 클라이언트 ID 및 시크릿을 입력합니다.
Data Observability: Jobs Monitoring 또는 Cloud Cost Management에서 Databricks 비용을 확인하려면 Datadog이 시스템 테이블을 쿼리하는 데 사용할 수 있는 Databricks SQL Warehouse의 ID를 제공하세요.
- 서비스 주체는 SQL Warehouse에 대한 액세스 권한이 있어야 합니다. Warehouse 구성 페이지에서 Permissions(오른쪽 상단)으로 이동하여 CAN USE 권한을 부여합니다.
- 다음 명령을 실행하여 서비스 주체에 Unity Catalog 시스템 테이블에 대한 읽기 권한을 부여합니다.
```
GRANT USE CATALOG ON CATALOG system TO <service_principal>;
GRANT SELECT ON CATALOG system TO <service_principal>;
GRANT USE SCHEMA ON CATALOG system TO <service_principal>;
```
이 권한을 부여하는 사용자는 CATALOG system에 대한 MANAGE 권한을 보유해야 합니다.
- SQL Warehouse는 Pro 또는 Serverless 유형이어야 합니다. Classic Warehouse는 지원되지 않습니다. 비용 절감을 위해 Auto Stop을 5~10분으로 설정한 2XS Warehouse 사용을 권장합니다.
Select products to set up integration 섹션에서 Data Observability: Jobs Monitoring이 Enabled 상태인지 확인합니다.
Datadog Agent Setup 섹션에서 다음 중 하나를 선택합니다.
- Datadog에서 관리(권장): Datadog이 작업 공간에 전역 초기화 스크립트를 설치하고 Agent를 관리합니다.
- 수동: 특정 Databricks 클러스터 또는 전체 환경에 Agent를 설치하기 위한 초기화 스크립트를 설치 및 관리하려면 아래의 지침을 따르세요.

Databricks 작업 공간이 Private Link Connectivity를 사용하여 배포된 경우 Datadog은 Databricks API에 직접 액세스할 수 없습니다. 이 경우 사용자 환경에 배포된 Private Action Runner를 사용해야 합니다.

전체 설정 방법은 Private Link Connectivity (Preview)를 참조하세요.

이 옵션은 2025년 7월 7일 이전에 생성된 작업 공간 통합에서만 사용할 수 있습니다. 새 작업 공간 통합은 OAuth를 사용하여 인증해야 합니다.

Databricks 작업 공간에서 오른쪽 상단의 프로필을 클릭한 후 Settings로 이동합니다. 왼쪽 사이드바에서 Developer를 선택합니다. Access tokens 옆의 Manage를 클릭합니다.
Generate new token을 클릭한 후, Comment 필드에 “Datadog Integration”을 입력하고, Lifetime (days) 값을 허용된 최대값(730일)으로 설정한 다음, 토큰 만료 전에 갱신할 수 있도록 알림을 생성합니다. 그런 다음 Generate를 클릭합니다. 생성된 토큰을 기록해 둡니다.
중요:
- Datadog 관리 초기화 스크립트 설치(권장)를 사용하는 경우, 토큰의 주체가 Workspace Admin이어야 합니다.
- 초기화 스크립트를 수동으로 설치하는 경우, 토큰의 주체에 모니터링하려는 Databricks 작업 및 클러스터에 대한 CAN VIEW 액세스 권한이 있어야 합니다.
대안으로, Databricks 공식 문서를 따라 서비스 주체용 액세스 토큰을 생성할 수 있습니다. 서비스 주체에는 작업 공간 액세스 권한이 활성화되어 있어야 하며, 위에서 설명한 Workspace Admin 또는 CAN VIEW 액세스 권한이 있어야 합니다.
Datadog에서 Databricks 통합 타일을 엽니다.
Configure 탭에서 Add Databricks Workspace를 클릭합니다.
작업 공간 이름, Databricks 작업 공간 URL 및 생성한 Databricks 토큰을 입력합니다.
Data Observability: Jobs Monitoring 또는 Cloud Cost Management에서 Databricks 비용을 확인하려면 Datadog이 시스템 테이블을 쿼리하는 데 사용할 수 있는 Databricks SQL Warehouse의 ID를 제공하세요.
- 토큰의 주체는 SQL Warehouse에 대한 액세스 권한이 있어야 합니다. Warehouse 구성 페이지 오른쪽 상단의 권한에서 CAN USE 권한을 부여합니다.
- 다음 명령을 실행하여 서비스 주체에 Unity Catalog 시스템 테이블에 대한 읽기 권한을 부여합니다.
```
GRANT USE CATALOG ON CATALOG system TO <token_principal>;
GRANT SELECT ON CATALOG system TO <token_principal>;
GRANT USE SCHEMA ON CATALOG system TO <token_principal>;
```
이 권한을 부여하는 사용자는 CATALOG system에 대한 MANAGE 권한을 보유해야 합니다.
- SQL Warehouse는 Pro 또는 Serverless 유형이어야 합니다. Classic Warehouse는 지원되지 않습니다. 비용 최소화를 위해 Auto Stop을 5~10분으로 설정한 2XS 크기의 Warehouse 사용을 권장합니다.
Select products to set up integration 섹션에서 Data Observability: Jobs Monitoring 제품이 Enabled 상태인지 확인합니다.
Datadog Agent Setup 섹션에서 다음 중 하나를 선택합니다.
- Datadog에서 관리(권장): Datadog이 작업 공간에 전역 초기화 스크립트를 설치하고 Agent를 관리합니다.
- 수동: 특정 Databricks 클러스터 또는 전체 환경에 Agent를 설치하기 위한 초기화 스크립트를 설치 및 관리하려면 아래의 지침을 따르세요.

Datadog Agent 설치

Databricks 작업 클러스터 또는 범용 클러스터에서 실행되는 Databricks 작업을 모니터링하려면 Datadog Agent를 Databricks 클러스터에 설치해야 합니다. 이 단계는 서버리스 컴퓨트에서 실행되는 작업을 모니터링하는 경우에는 필요하지 않습니다.

Datadog은 Databricks 작업 공간에 전역 초기화 스크립트를 설치하고 관리할 수 있습니다. Datadog Agent는 작업 공간 내의 모든 클러스터가 시작될 때 자동으로 설치됩니다.

이 설정은 Standard 액세스 모드의 Databricks 클러스터에서는 작동하지 않습니다. 해당 클러스터에는 전역 초기화 스크립트를 설치할 수 없기 때문입니다. Standard 액세스 모드를 사용하는 클러스터의 경우 Datadog은 여러 클러스터에 대해 클러스터 정책 수동 구성 또는 특정 클러스터에 수동 설치를 권장합니다.
Datadog이 전역 초기화 스크립트를 설치하고 관리하는 이 설치 방식은 Workspace Admin 권한이 있는 Databricks 액세스 토큰을 필요로 합니다. CAN VIEW 권한만 있는 토큰으로는 Datadog이 Databricks 계정의 전역 초기화 스크립트를 관리할 수 없습니다.

Datadog과 작업 공간을 통합할 때

Select products to set up integration 섹션에서 Data Observability: Jobs Monitoring 제품이 Enabled 상태인지 확인합니다.
Datadog Agent Setup 섹션에서 Managed by Datadog 토글 버튼을 선택합니다.
Select API Key를 클릭하여 기존 Datadog API 키를 선택하거나 새 Datadog API 키를 생성합니다.
(선택 사항) 작업과의 연관 분석을 위해 드라이버 및 워커 로그를 수집하지 않으려면 Enable Log Collection을 비활성화합니다.
Save Databricks Workspace를 클릭합니다.

이미 Datadog과 통합된 Databricks 작업 공간에 초기화 스크립트를 추가할 때

Configure 탭에서 작업 공간 목록의 해당 작업 공간을 클릭합니다.
Configured Products 탭을 클릭합니다.
Data Observability: Jobs Monitoring 제품이 Enabled 상태인지 확인합니다.
Datadog Agent Setup 섹션에서 Managed by Datadog 토글 버튼을 선택합니다.
Select API Key를 클릭하여 기존 Datadog API 키를 선택하거나 새 Datadog API 키를 생성합니다.
(선택 사항) 작업과의 연관 분석을 위해 드라이버 및 워커 로그를 수집하지 않으려면 Enable Log Collection을 비활성화합니다.
브라우저 창 하단의 Save Databricks Workspace을 클릭합니다.

선택적으로, Databricks UI에서 클러스터의 Advanced Configuration 섹션에서 다음 환경 변수를 구성하거나 Databricks API를 통해 Spark 환경 변수로 구성하면, Databricks 클러스터 및 Spark 성능 메트릭에 태그를 추가할 수 있습니다.

변수	설명
DD_TAGS	Databricks 클러스터 및 Spark 성능 메트릭에 태그를 추가합니다. 쉼표 또는 공백으로 구분된 키:값 쌍을 사용합니다. Datadog 태그 규칙을 따르세요. 예시: `env:staging,team:data_engineering`
DD_ENV	이 클러스터에서 생성되는 메트릭, 트레이스 및 로그에 `env` 환경 태그를 설정합니다.
DD_LOGS_CONFIG_PROCESSING_RULES	처리 규칙을 사용하여 수집되는 로그를 필터링합니다 자세한 내용은 고급 로그 수집을 참조하세요.

이 방법은 Standard 액세스 모드의 클러스터에 권장됩니다.

초기화 스크립트 생성

Databricks에서 다음 내용을 포함하는 초기화 스크립트 파일을 Unity Catalog 볼륨에 생성합니다. 볼륨 경로(예: /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh)를 기록해 두세요.
```
#!/bin/bash

# Download and run the latest init script
curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
bash djm-install-script || true
```
The script above downloads and runs the latest init script for Data Observability: Jobs Monitoring in Databricks. If you want to pin your script to a specific version, you can replace the filename in the URL with install-databricks-0.14.0.sh to use version 0.14.0, for example. The source code used to generate this script, and the changes between script versions, can be found on the Datadog Agent repository.
초기화 스크립트에 읽기 전용 권한 부여:
1. 볼륨 수준에서 모든 계정 사용자에게 READ VOLUME 권한을 부여합니다.
2. 카탈로그 수준에서 모든 계정 사용자에게 USE CATALOG 권한을 부여합니다.
초기화 스크립트를 허용 목록에 추가: Standard 액세스 모드 클러스터의 경우 초기화 스크립트 경로를 Unity Catalog 허용 목록에 추가해야 합니다. 초기화 스크립트 경로를 허용 목록에 추가하려면 Databricks 설명서의 지침을 따르세요.

컴퓨팅 정책 구성

Compute에서 Policies 탭으로 이동합니다. 이미 클러스터에 적용된 정책이 있는 경우 해당 정책을 열어 편집합니다. 이 방법이 더 간단한 이유는 해당 정책을 사용하는 모든 클러스터에 자동으로 적용되기 때문입니다. 그렇지 않은 경우 Create Policy를 클릭하여 새 정책을 생성합니다.
클러스터 정책에 초기화 스크립트를 추가하려면 Definition 섹션에서 Add Definition를 클릭합니다. 열리는 모달 창에서 다음 필드를 입력합니다.
1. Field 드롭다운에서 init_scripts를 선택합니다.
2. Source 드롭다운에서 Volume을 선택합니다.
3. Destination에 초기화 스크립트의 볼륨 경로를 입력합니다.
4. Add를 클릭합니다.

환경 변수를 구성합니다. 생성한 클러스터 정책에 다음 환경 변수를 각각 추가해야 합니다.

키	설명
DD_API_KEY	Datadog API 키.
DD_SITE	Datadog 사이트.
DATABRICKS_WORKSPACE	Databricks Workspace 이름입니다. Datadog-Databricks 통합 단계에서 제공한 이름과 일치해야 합니다. 공백이 포함된 경우 이름을 큰따옴표로 묶으세요.

위 변수 각각에 대해 Definition 섹션에서 Add Definition을 클릭합니다. 열리는 모달 창에서 다음 필드를 입력합니다.
1. Field 드롭다운에서 spark_env_vars를 선택합니다.
2. Key 필드에 환경 변수 키를 입력합니다.
3. Value 필드에 환경 변수 값을 입력합니다.
4. Type 드롭다운에서 Fixed를 선택합니다.
5. 민감한 값 노출을 줄이기 위해 Hidden 확인란을 선택합니다.

선택적으로 DD_ENV, DD_SERVICE 등의 다른 초기화 스크립트 파라미터와 Datadog 환경 변수를 설정할 수 있습니다. 다음 파라미터를 사용하여 스크립트를 구성할 수 있습니다.

변수	설명	기본값
DRIVER_LOGS_ENABLED	Datadog에서 Spark 드라이버 로그를 수집합니다.	false
WORKER_LOGS_ENABLED	Datadog에서 Spark 워커 로그를 수집합니다.	false
DD_TAGS	쉼표 또는 공백으로 구분된 key:value 쌍을 사용하여 Databricks 클러스터 및 Spark 성능 메트릭에 태그를 추가합니다 Datadog 태그 규칙을 따르세요. 예시: `env:staging,team:data_engineering`
DD_ENV	이 클러스터에서 생성되는 메트릭, 트레이스 및 로그에 `env` 환경 태그를 설정합니다.
DD_LOGS_CONFIG_PROCESSING_RULES	처리 규칙을 사용하여 수집되는 로그를 필터링합니다 자세한 내용은 고급 로그 수집을 참조하세요.

새 정책을 생성하는 경우 Create를 클릭하고, 기존 정책을 업데이트하는 경우 Save를 클릭합니다. 기존 정책을 업데이트하면 해당 정책을 사용하는 모든 클러스터에 다음 재시작 시 변경 사항이 자동으로 적용됩니다. 새 정책을 생성한 경우 아래 단계에 따라 클러스터에 적용하세요.

클러스터에 정책 적용

Compute에서 업데이트할 클러스터를 선택하거나 새 클러스터를 생성하려면 Create Compute를 클릭합니다.
상단의 Policy 드롭다운에서 생성한 정책을 선택합니다.
Confirm을 클릭하여 변경 사항을 저장합니다. 정책이 적용되려면 클러스터를 다시 시작해야 합니다.

이 설정은 Standard 액세스 모드의 Databricks 클러스터에서는 작동하지 않습니다. 해당 클러스터에는 전역 초기화 스크립트를 설치할 수 없기 때문입니다. Standard 액세스 모드를 사용하는 클러스터의 경우 Datadog은 클러스터 정책 수동 구성 또는 특정 클러스터에 수동 설치를 권장합니다.

Databricks에서 페이지 오른쪽 상단의 표시 이름(이메일 주소)을 클릭합니다.
Settings을 선택한 다음 Compute 탭을 클릭합니다.
All purpose clusters 섹션에서 Global init scripts 옆의 Manage을 클릭합니다.
Add를 클릭합니다. 스크립트 이름을 입력합니다. 그런 다음 Script 필드에 아래 스크립트를 복사하여 붙여넣고, 자리 표시자를 실제 파라미터 값으로 교체합니다.
```
#!/bin/bash

# Required parameters
export DD_API_KEY=<YOUR API KEY>
export DD_SITE=<YOUR DATADOG SITE>
export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"

# Download and run the latest init script
curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
bash djm-install-script || true
```
위 스크립트는 필수 파라미터를 설정하고 Databricks용 Data Observability: Jobs Monitoring의 최신 초기화 스크립트를 다운로드하여 실행합니다. 특정 버전에 고정하려면 URL의 파일 이름을 예를 들어 install-databricks-0.14.0.sh로 변경하여 버전 0.14.0를 사용할 수 있습니다. 이 스크립트를 생성하는 데 사용된 소스 코드와 스크립트 버전 간 변경 사항은 Datadog Agent 리포지토리에서 확인할 수 있습니다.
새로 생성되거나 재시작되는 모든 클러스터에서 스크립트를 활성화하려면 Enabled를 켭니다.
Add를 클릭합니다.

필수 초기화 스크립트 파라미터 설정

전역 초기화 스크립트의 시작 부분에 초기화 스크립트 파라미터 값을 입력합니다.

export DD_API_KEY=<YOUR API KEY>
export DD_SITE=<YOUR DATADOG SITE>
export DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"

선택적으로 DD_ENV, DD_SERVICE와 같은 다른 초기화 스크립트 파라미터 및 Datadog 환경 변수도 설정할 수 있습니다. 스크립트는 다음 파라미터를 사용하여 구성할 수 있습니다.

변수	설명	기본값
DD_API_KEY	Datadog API 키.
DD_SITE	Datadog 사이트.
DATABRICKS_WORKSPACE	Databricks Workspace 이름입니다. Datadog-Databricks 통합 단계에서 제공한 이름과 일치해야 합니다. 공백이 포함된 경우 이름을 큰따옴표로 묶으세요.
DRIVER_LOGS_ENABLED	Datadog에서 Spark 드라이버 로그를 수집합니다.	false
WORKER_LOGS_ENABLED	Datadog에서 Spark 워커 로그를 수집합니다.	false
DD_TAGS	Databricks 클러스터 및 Spark 성능 메트릭에 태그를 추가합니다. 쉼표 또는 공백으로 구분된 키:값 쌍을 사용합니다. Datadog 태그 규칙을 따르세요. 예시: `env:staging,team:data_engineering`
DD_ENV	이 클러스터에서 생성되는 메트릭, 트레이스 및 로그에 `env` 환경 태그를 설정합니다.
DD_LOGS_CONFIG_PROCESSING_RULES	처리 규칙을 사용하여 수집되는 로그를 필터링합니다 자세한 내용은 고급 로그 수집을 참조하세요.

Databricks에서 다음 내용을 포함하는 초기화 스크립트 파일을 Unity Catalog 볼륨에 생성합니다. 볼륨 경로(예: /Volumes/catalog_name/schema_name/volume_name/datadog-init-script.sh)를 기록해 두세요.
```
#!/bin/bash

# Download and run the latest init script
curl -L https://install.datadoghq.com/scripts/install-databricks.sh > djm-install-script
bash djm-install-script || true
```
위 스크립트는 Databricks용 Data Observability: Jobs Monitoring의 최신 초기화 스크립트를 다운로드하여 실행합니다. 특정 버전에 고정하려면 URL의 파일 이름(예: install-databricks-0.14.0.sh)을 변경하여 버전 0.14.0를 사용할 수 있습니다. 이 스크립트를 생성하는 데 사용된 소스 코드와 스크립트 버전 간 변경 사항은 Datadog Agent 리포지토리에서 확인할 수 있습니다.
초기화 스크립트를 허용 목록에 추가 (Standard 액세스 모드 클러스터의 경우 필수): 클러스터가 Standard 액세스 모드를 사용하는 경우 초기화 스크립트 경로를 Unity Catalog 허용 목록에 추가해야 합니다. 초기화 스크립트 경로를 허용 목록에 추가하려면 Databricks 설명서의 지침을 따르세요.
클러스터 구성 페이지에서 Advanced options 토글을 클릭합니다.
페이지 하단에서 Init Scripts 탭으로 이동합니다.
- Destination 드롭다운에서 Volume을 선택합니다.
- Init script path에 초기화 스크립트의 볼륨 경로를 입력합니다.
- Add를 클릭합니다.

필수 초기화 스크립트 파라미터 설정

Databricks의 클러스터 구성 페이지에서 Advanced options 토글을 클릭합니다.
페이지 하단에서 Spark 탭으로 이동합니다.
Environment variables 텍스트 상자에 초기화 스크립트 파라미터 값을 입력합니다.
```
DD_API_KEY=<YOUR API KEY>
DD_SITE=<YOUR DATADOG SITE>
DATABRICKS_WORKSPACE="<YOUR WORKSPACE NAME>"
```
선택적으로 DD_ENV, DD_SERVICE와 같은 다른 초기화 스크립트 파라미터 및 Datadog 환경 변수도 설정할 수 있습니다. 스크립트는 다음 파라미터를 사용하여 구성할 수 있습니다.

변수	설명	기본값
DD_API_KEY	Datadog API 키.
DD_SITE	Datadog 사이트.
DATABRICKS_WORKSPACE	Databricks Workspace 이름입니다. Datadog-Databricks 통합 단계에서 제공한 이름과 일치해야 합니다. 공백이 포함된 경우 이름을 큰따옴표로 묶으세요.
DRIVER_LOGS_ENABLED	Datadog에서 Spark 드라이버 로그를 수집합니다.	false
WORKER_LOGS_ENABLED	Datadog에서 Spark 워커 로그를 수집합니다.	false
DD_TAGS	Databricks 클러스터 및 Spark 성능 메트릭에 태그를 추가합니다. 쉼표 또는 공백으로 구분된 키:값 쌍을 사용합니다. Datadog 태그 규칙을 따르세요. 예시: `env:staging,team:data_engineering`
DD_ENV	이 클러스터에서 생성되는 메트릭, 트레이스 및 로그에 `env` 환경 태그를 설정합니다.
DD_LOGS_CONFIG_PROCESSING_RULES	처리 규칙을 사용하여 수집되는 로그를 필터링합니다 자세한 내용은 고급 로그 수집을 참조하세요.

Confirm을 클릭합니다.

이미 실행 중인 클러스터 재시작

초기화 스크립트는 클러스터가 시작될 때 Agent를 설치합니다.

이미 실행 중인 범용 클러스터 또는 장기간 실행되는 작업 클러스터는 Datadog Agent를 설치하기 위해 수동으로 재시작해야 합니다.

작업 클러스터에서 실행되는 예약 작업의 경우, 초기화 스크립트가 다음 실행 시 Datadog Agent를 자동으로 설치합니다.

검증

Datadog에서 Data Observability: Jobs Monitoring 페이지를 열어 Databricks 작업 목록을 확인합니다.

일부 작업이 보이지 않는 경우 원인을 확인하기 위해 Configuration 페이지로 이동하세요. 이 페이지에는 아직 클러스터에 Agent가 구성되지 않은 Databricks 작업 목록과 설정 완료를 위한 안내가 표시됩니다.

문제 해결

제품 설치 후 DJM에 데이터가 보이지 않으면 다음 단계를 따르세요.

API 키 검증: 초기화 스크립트를 수동으로 설치했지만 DJM 제품에 클러스터 데이터가 여전히 표시되지 않는 경우 API 키 엔드포인트 검증을 사용하여 스크립트에 지정된 Datadog API 키가 유효한지 확인합니다.
Agent 검증: 초기화 스크립트는 Datadog Agent를 설치합니다. Agent가 올바르게 설치되었는지 확인하려면 SSH를 통해 클러스터에 연결한 후 다음 Agent 상태 명령을 실행합니다.

sudo datadog-agent status

고급 구성

클러스터의 로그 수집 필터링

개별 클러스터에서 모든 로그 수집 제외

Databricks UI에서 클러스터의 Advanced Configuration 섹션에서 다음 환경 변수를 구성하거나 Databricks API에서 Spark 환경 변수로 구성합니다.

DD_LOGS_CONFIG_PROCESSING_RULES=[{\"type\": \"exclude_at_match\",\"name\": \"drop_all_logs\",\"pattern\": \".*\"}]

권한

Databricks 작업 공간에 연결하는 사용자 또는 서비스 주체에 Workspace Admin 권한을 부여합니다. 이렇게 하면 Datadog이 초기화 스크립트 설치 및 업데이트를 자동으로 관리할 수 있어 구성 오류 위험을 줄일 수 있습니다.

보다 세분화된 제어가 필요한 경우에도 작업 공간 내의 모든 작업, 클러스터 및 쿼리를 모니터링할 수 있도록 다음 작업 공간 수준 객체에 최소 권한을 부여하세요.

객체	권한
Job	CAN VIEW
Compute	CAN ATTACH TO
Lakeflow Declarative Pipelines	CAN VIEW
Query	CAN VIEW
SQL warehouse	CAN MONITOR

또한 Data Observability: Jobs Monitoring 또는 Cloud Cost Management에서 Datadog이 Databricks 비용 데이터에 액세스할 수 있으려면 시스템 테이블을 조회하는 데 사용되는 사용자 또는 서비스 주체에 다음 권한이 있어야 합니다. SQL Warehouse에 대한 - CAN USE 권한

Unity Catalog 내 시스템 테이블에 대한 읽기 권한 다음 명령을 사용하여 권한을 부여할 수 있습니다.

GRANT USE CATALOG ON CATALOG system TO <service_principal>;
GRANT SELECT ON CATALOG system TO <service_principal>;
GRANT USE SCHEMA ON CATALOG system TO <service_principal>;

이 권한을 부여하는 사용자는 CATALOG system에 대한 MANAGE 권한을 보유해야 합니다.

런타임 시 스팬 태그 지정

You can set tags on Spark spans at runtime. These tags are applied only to spans that start after the tag is added.

// Add tag for all next Spark computations
sparkContext.setLocalProperty("spark.datadog.tags.key", "value")
spark.read.parquet(...)

To remove a runtime tag:

// Remove tag for all next Spark computations
sparkContext.setLocalProperty("spark.datadog.tags.key", null)

일회성 작업 실행의 클러스터 메트릭 집계

이 구성은 일회성 실행 API 엔드포인트를 통해 각 실행마다 새로운 작업과 클러스터를 생성하면서 작업의 클러스터 리소스 사용률 데이터를 수집하려는 경우에 적용됩니다(Airflow 또는 Azure Data Factory와 같은 Databricks 외부 오케스트레이션 도구를 사용하는 경우에 일반적입니다).

일회성 실행 API 엔드포인트를 통해 Databricks 작업을 제출하는 경우 각 작업 실행에는 고유한 작업 ID가 할당됩니다. 이로 인해 일시적 클러스터를 사용하는 작업의 클러스터 메트릭을 그룹화하고 분석하기 어려울 수 있습니다. 동일한 작업의 클러스터 사용률을 집계하고 여러 실행에 걸친 성능을 평가하려면 모든 new_cluster의 spark_env_vars 내부에 있는 DD_JOB_NAME 변수를 요청 페이로드의 run_name과 동일한 값으로 설정해야 합니다.

다음은 일회성 작업 실행 요청 본문의 예입니다.

{
   "run_name": "Example Job",
   "idempotency_token": "8f018174-4792-40d5-bcbc-3e6a527352c8",
   "tasks": [
      {
         "task_key": "Example Task",
         "description": "Description of task",
         "depends_on": [],
         "notebook_task": {
            "notebook_path": "/Path/to/example/task/notebook",
            "source": "WORKSPACE"
         },
         "new_cluster": {
            "num_workers": 1,
            "spark_version": "13.3.x-scala2.12",
            "node_type_id": "i3.xlarge",
            "spark_env_vars": {
               "DD_JOB_NAME": "Example Job"
            }
         }
      }
   ]
}

Databricks Networking Restrictions 환경에서 Data Observability: Jobs Monitoring 설정

Databricks Networking Restrictions를 사용하는 경우 Datadog이 Databricks API에 액세스하지 못할 수 있습니다. Databricks 작업 실행에 대한 트레이스와 태그 및 기타 메타데이터를 수집하려면 Databricks API 액세스가 필요합니다.

IP 액세스 목록를 사용하여 Databricks API 액세스를 제어하는 경우 Datadog의 특정 IP 범위를 허용 webhook IP addresses 목록에 추가하면 Datadog이 작업 공간의 Databricks API에 연결할 수 있습니다. Datadog에 API 액세스 권한을 부여하기 위한 개별 작업 공간의 IP 액세스 목록 구성 방법은 Databricks의 개별 작업 공간 설명서를 참조하세요.

Databricks Private Link 연결을 사용하는 작업 공간을 모니터링하려면 Private Link Connectivity (Preview)를 참조하세요.