Apache Spark メトリクス

概要

Spark ダッシュボードの OpenTelemetry Apache Spark メトリクス

Apache Spark レシーバーは、Apache Spark メトリクスの収集と Spark Overview ダッシュボードへのアクセスを可能にします。apachesparkreceiver の最新バージョンの仕様に従ってレシーバーを構成してください。

詳しくは、OpenTelemetry プロジェクトドキュメントの Apache Spark レシーバーを参照してください。

セットアップ

Datadog で使用するために OpenTelemetry で Apache Spark メトリクスを収集するには:

  1. OpenTelemetry Collector の構成で Apache Spark レシーバーを構成します。
  2. OpenTelemetry Collector が Datadog にエクスポートするように構成されていることを確認します。

詳細な構成オプションと要件については、Apache Spark レシーバーのドキュメントを参照してください。

収集されたデータ

OTELDATADOGDESCRIPTIONFILTERTRANSFORM
spark.driver.block_manager.disk.usagespark.driver.disk_usedDisk space used by the BlockManager.× 9.5367431640625e-07
spark.driver.block_manager.memory.usagespark.driver.memory_usedMemory usage for the driver’s BlockManager.× 9.5367431640625e-07
spark.driver.dag_scheduler.stage.countspark.stage.countNumber of stages the DAGScheduler is either running or needs to run.
spark.executor.disk.usagespark.rdd.disk_usedDisk space used by this executor for RDD storage.
spark.executor.disk.usagespark.executor.disk_usedDisk space used by this executor for RDD storage.
spark.executor.memory.usagespark.rdd.memory_usedStorage memory used by this executor.
spark.executor.memory.usagespark.executor.memory_usedStorage memory used by this executor.
spark.job.stage.activespark.job.num_active_stagesNumber of active stages in this job.
spark.job.stage.resultspark.job.num_failed_stagesNumber of stages with a specific result in this job.job_result: failed
spark.job.stage.resultspark.job.num_skipped_stagesNumber of stages with a specific result in this job.job_result: skipped
spark.job.stage.resultspark.job.num_completed_stagesNumber of stages with a specific result in this job.job_result: completed
spark.job.task.activespark.job.num_tasks{status: running}Number of active tasks in this job.
spark.job.task.resultspark.job.num_completed_tasksNumber of tasks with a specific result in this job.job_result: completed
spark.job.task.resultspark.job.num_failed_tasksNumber of tasks with a specific result in this job.job_result: failed
spark.job.task.resultspark.job.num_skipped_tasksNumber of tasks with a specific result in this job.job_result: skipped
spark.stage.io.recordsspark.stage.input_recordsNumber of records written and read in this stage.direction: in
spark.stage.io.recordsspark.stage.output_recordsNumber of records written and read in this stage.direction: out
spark.stage.io.sizespark.stage.input_bytesAmount of data written and read at this stage.direction: in
spark.stage.io.sizespark.stage.output_bytesAmount of data written and read at this stage.direction: out
spark.stage.shuffle.io.read.sizespark.stage.shuffle_read_bytesAmount of data read in shuffle operations in this stage.
spark.stage.shuffle.io.recordsspark.stage.shuffle_read_recordsNumber of records written or read in shuffle operations in this stage.direction: in
spark.stage.shuffle.io.recordsspark.stage.shuffle_write_recordsNumber of records written or read in shuffle operations in this stage.direction: out

詳細は OpenTelemetry メトリクス マッピング を参照してください。

参考資料

お役に立つドキュメント、リンクや記事:

OpenTelemetry Collector のセットアップドキュメント more more