Databricks の Data Jobs Monitoring を有効にする

Data Jobs Monitoring は非公開ベータ版です。ウェイティングリストに参加するには、このフォームにご記入ください。

Data Jobs Monitoring は、Apache Spark と Databricks のジョブのパフォーマンスと信頼性を視覚化します。

計画と使用

以下の手順に従って、Databricks の Data Jobs Monitoring を有効にしてください。

Databricks ワークスペースで、Settings > Developer に移動します。Access tokens の横にある Manage をクリックします。
Generate new token をクリックし、コメントを入力して Generate をクリックします。トークンをメモしてください。
Datadog で、Databricks インテグレーションタイルを開きます。
Configure タブで、Add New をクリックします。
ワークスペース名、Databricks ワークスペース URL、生成した Databricks トークンを入力します。

以下の init スクリプトのいずれかを使用します。

Agent を全体的にインストールするか、特定の Databricks クラスターにインストールするかを選択できます。

Databricks で、Settings > Compute に進みます。All purpose clusters セクションの Global init scripts の横にある Manage をクリックします。
Add をクリックします。スクリプトに名前を付けます。次に、init スクリプトをコピーして Script フィールドに貼り付けます。
すべての新しいクラスターと再起動したクラスターでスクリプトを有効にするには、Enabled に切り替えます。
Add をクリックします。

init スクリプトをダウンロードします。
Databricks のクラスター構成ページで、Advanced options トグルをクリックします。
ページ下部の Init Scripts タブに移動します。
- Destination ドロップダウンで、Workspace を選択します。
- Init script path に、init スクリプトのパスを入力します。
- Add をクリックします。

Datadog で Data Jobs Monitoring ページを表示すると、Databricks の全ジョブのリストが表示されます。

You can set tags on Spark spans at runtime. These tags are applied only to spans that start after the tag is added.

// Add tag for all next Spark computations
sparkContext.setLocalProperty("spark.datadog.tags.key", "value")
spark.read.parquet(...)

To remove a runtime tag:

// Remove tag for all next Spark computations
sparkContext.setLocalProperty("spark.datadog.tags.key", null)

お役に立つドキュメント、リンクや記事: