gcp_dataproc_cluster

ancestors

タイプ: UNORDERED_LIST_STRING

cluster_name

タイプ: STRING
プロバイダー名: clusterName
説明: 必須。クラスター名。プロジェクト内で一意である必要があります。小文字で始まり、小文字、数字、ハイフンを最大 51 文字まで含めることができます。ハイフンで終わることはできません。削除したクラスターの名前を再利用することができます。

cluster_uuid

タイプ: STRING
プロバイダー名: clusterUuid
説明: 出力のみ。クラスターの UUID (Unique Universal Identifier)。Dataproc はクラスターを作成するときにこの値を生成します。

config

タイプ: STRUCT
プロバイダー名: config
説明: オプション。Compute Engine Instances のクラスター構成。Dataproc はデフォルト値を設定することがあり、クラスターが更新されると値が変更される可能性があることに注意してください。ClusterConfig または VirtualClusterConfig のどちらかを正確に指定する必要があります。

  • autoscaling_config
    タイプ: STRUCT
    プロバイダー名: autoscalingConfig
    説明: オプション。クラスターに関連付けられたポリシーのオートスケール構成。このフィールドが設定されていない場合、クラスターはオートスケールを行いません。
    • policy_uri
      タイプ: STRING
      プロバイダー名: policyUri
      説明: オプション。クラスターが使用するオートスケーリングポリシーです。projectid と location (リージョン) を含むリソース名のみが有効です。例:

      ポリシーは、同じプロジェクトおよび Dataproc リージョンに存在する必要があることに注意してください。

  • auxiliary_node_groups
    タイプ: UNORDERED_LIST_STRUCT
    プロバイダー名: auxiliaryNodeGroups
    説明: オプション。ノードグループの設定です。
    • node_group
      タイプ: STRUCT
      プロバイダー名: nodeGroup
      説明: 必須。ノードグループの構成です。
      • name
        タイプ: STRING
        プロバイダー名: name
        説明: ノードグループリソース名。
      • node_group_config
        タイプ: STRUCT
        プロバイダー名: nodeGroupConfig
        説明: オプション。ノードグループインスタンスグループの構成です。
        • accelerators
          タイプ: UNORDERED_LIST_STRUCT
          プロバイダー名: accelerators
          説明: オプション。これらのインスタンスに対する Compute Engine のアクセラレーター構成。
          • accelerator_count
            タイプ: INT32
            プロバイダー名: acceleratorCount
            説明: このインスタンスに公開されている、このタイプのアクセラレーターカードの数。
          • accelerator_type_uri
            タイプ: STRING
            プロバイダー名: acceleratorTypeUri
            説明: このインスタンスに公開するアクセラレータータイプリソースの完全な URL、部分的な URI、または短い名前。Compute Engine AcceleratorTypes を参照してください。例:

            オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、アクセラレータータイプのリソースの短い名前 (例えば、nvidia-tesla-k80) を使用する必要があります。

        • disk_config
          タイプ: STRUCT
          プロバイダー名: diskConfig
          説明: オプション。ディスクオプション構成設定。
          • boot_disk_size_gb
            タイプ: INT32
            プロバイダー名: bootDiskSizeGb
            説明: オプション。起動ディスクのサイズ (GB) (デフォルトは 500GB)。
          • boot_disk_type
            タイプ: STRING
            プロバイダー名: bootDiskType
            説明: オプション。起動ディスクの種類 (デフォルトは pd-standard)。有効な値: pd-balanced (Persistent Disk Balanced Solid State Drive)、pd-ssd (Persistent Disk Solid State Drive)、または pd-standard (Persistent Disk Hard Disk Drive)。ディスクの種類を参照してください。
          • local_ssd_interface
            タイプ: STRING
            プロバイダー名: localSsdInterface
            説明: オプション。ローカル SSD のインターフェイスの種類 (デフォルトは scsi)。有効な値: scsi (Small Computer System Interface)、nvme (Non-Volatile Memory Express)。ローカル SSD のパフォーマンスを参照してください。
          • num_local_ssds
            タイプ: INT32
            プロバイダー名: numLocalSsds
            説明: オプション。アタッチする SSD の数を 0 から 8 の間で指定します (デフォルトは 0)。SSD がアタッチされていない場合、ブートディスクはランタイムログと HDFS データの保存に使用されます。1 台以上の SSD がアタッチされている場合、このランタイムバルクデータはそれらの SSD に分散され、ブートディスクには基本設定とインストール済みのバイナリのみが格納されます。注: ローカル SSD のオプションは、選択したマシンの種類と vCPU の数によって異なる場合があります。
        • image_uri
          タイプ: STRING
          プロバイダー名: imageUri
          説明: オプション。クラスターインスタンスに使用される Compute Engine のイメージリソースです。URI はイメージまたはイメージファミリーを表すことができます。イメージの例:

          イメージファミリーの例。Dataproc はそのファミリーの中で最も新しいイメージを使用します:

          URI が指定されていない場合は、SoftwareConfig.image_version またはシステムのデフォルトから推測されます。

        • instance_names
          タイプ: UNORDERED_LIST_STRING
          プロバイダー名: instanceNames
          説明: 出力のみ。インスタンス名のリスト。Dataproc は cluster_name、num_instances、そしてインスタンスグループからこの名前を導き出します。
        • instance_references
          タイプ: UNORDERED_LIST_STRUCT
          プロバイダー名: instanceReferences
          説明: 出力のみ。Compute Engine インスタンスへのリファレンスのリスト。
          • instance_id
            タイプ: STRING
            プロバイダー名: instanceId
            説明: Compute Engine インスタンスの一意な識別子。
          • instance_name
            タイプ: STRING
            プロバイダー名: instanceName
            説明: Compute Engine インスタンスのユーザーフレンドリーな名前。
          • public_ecies_key
            タイプ: STRING
            プロバイダー名: publicEciesKey
            説明: このインスタンスとデータを共有するために使用される公開 ECIES キー。
          • public_key
            タイプ: STRING
            プロバイダー名: publicKey
            説明: このインスタンスとデータを共有するために使用される公開 RSA キー。
        • is_preemptible
          タイプ: BOOLEAN
          プロバイダー名: isPreemptible
          説明: 出力のみ。このインスタンスグループがプリエンプト可能なインスタンスを含んでいることを指定します。
        • machine_type_uri
          タイプ: STRING
          プロバイダー名: machineTypeUri
          説明: オプション。クラスターインスタンスに使用される Compute Engine のマシンタイプです。完全な URL、部分的な URI、または短い名前が有効です。例:

          オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、マシンタイプのリソースの短い名前 (例えば、n1-standard-2) を使用する必要があります。

        • managed_group_config
          タイプ: STRUCT
          プロバイダー名: managedGroupConfig
          説明: 出力のみ。このグループを管理する Compute Engine Instance Group Manager の構成。これは、プリエンプト可能なインスタンスグループにのみ使用されます。
          • instance_group_manager_name
            タイプ: STRING
            プロバイダー名: instanceGroupManagerName
            説明: 出力のみ。このグループの Instance Group Manager の名前。
          • instance_template_name
            タイプ: STRING
            プロバイダー名: instanceTemplateName
            説明: 出力のみ。Managed Instance Group に使用される Instance Template の名前。
        • min_cpu_platform
          タイプ: STRING
          プロバイダー名: minCpuPlatform
          説明: オプション。インスタンスグループの最小 CPU プラットフォームを指定します。Dataproc -> Minimum CPU Platform を参照してください。
        • num_instances
          タイプ: INT32
          プロバイダー名: numInstances
          説明: オプション。インスタンスグループ内の VM インスタンスの数。HA クラスターの master_config グループでは 3 に設定する必要があります。標準的なクラスターの master_config グループでは、1 に設定する必要があります。
        • preemptibility
          タイプ: STRING
          プロバイダー名: preemptibility
          説明: オプション。インスタンスグループのプリエンプティを指定します。マスターとワーカーグループのデフォルト値は NON_PREEMPTIBLE です。このデフォルトは変更することができません。セカンダリーインスタンスのデフォルト値は PREEMPTIBLE です。
          可能な値:
          • PREEMPTIBILITY_UNSPECIFIED - プリエンプティが指定されていない場合、システムは各インスタンスグループに対して適切な設定を選択します。
          • NON_PREEMPTIBLE - インスタンスはノンプリエンプティブです。このオプションはすべてのインスタンスグループで許可され、マスターとワーカーのインスタンスグループに対してのみ有効な値です。
          • PREEMPTIBLE - インスタンスはプリエンプト可能です。このオプションはセカンダリワーカーグループにのみ許可されています。
          • SPOT - インスタンスはスポット VM です。このオプションは、セカンダリワーカーグループにのみ許可されています。スポット VM は、プリエンプト可能な VM の最新版で、追加機能を提供します。
      • roles
        タイプ: UNORDERED_LIST_STRING
        プロバイダー名: roles
        説明: 必須。ノードグループのロールです。
    • node_group_id
      タイプ: STRING
      プロバイダー名: nodeGroupId
      説明: オプション。ノードグループ ID です。ID には文字 (a-z、A-Z)、数字 (0-9)、アンダースコア (_)、ハイフン (-) のみを含める必要があります。アンダースコアやハイフンで始まったり終わったりすることはできません。3〜33 文字で構成されている必要があります。
  • config_bucket
    タイプ: STRING
    プロバイダー名: configBucket
    説明: オプション。ジョブの依存関係、構成ファイル、ジョブドライバーのコンソール出力をステージングするために使用される Cloud Storage バケット。ステージングバケットを指定しない場合、Cloud Dataproc はクラスターがデプロイされている Compute Engine ゾーンに従ってクラスタのステージングバケット用の Cloud Storage ロケーション (US、ASIA、EU) を決定し、このプロジェクトレベルのロケーションごとのバケットを作成して管理します (Dataproc のステージングと一時バケットを参照してください)。このフィールドは、Cloud Storage バケットへの gs://… URI ではなく、Cloud Storage バケット名を必要とします。
  • dataproc_metric_config
    タイプ: STRUCT
    プロバイダー名: dataprocMetricConfig
    説明: オプション。Dataproc メトリクスの構成。
    • metrics
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: metrics
      説明: 必須。有効にするメトリクスソース。
      • metric_overrides
        タイプ: UNORDERED_LIST_STRING
        プロバイダー名: metricOverrides
        説明: オプション。メトリクスコースで収集する 1 つ以上の利用可能な OSS メトリクスを指定します (SPARK メトリクスソースの場合、任意の Spark メトリクスを指定可能です)。以下のフォーマットでメトリクスを提供します: METRIC_SOURCE: INSTANCE:GROUP:METRIC キャメルケースを適宜使用します。例:
        • yarn:ResourceManager:QueueMetrics:AppsCompleted
        • spark:driver:DAGScheduler:job.allJobs
        • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
        • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
        注: 指定されたオーバーライドされたメトリクスのみがメトリクスソースのために収集されます。たとえば、1 つ以上の spark:executive メトリクスがメトリクスのオーバーライドとしてリストされている場合、他の SPARK メトリクスは収集されません。他の OSS メトリクスソースのデフォルトメトリクスの収集は影響を受けません。たとえば、SPARK と YARN の両方のメトリクスソースが有効で、Spark メトリクスのみにオーバーライドが提供されている場合、すべてのデフォルトの YARN メトリクスが収集されます。
      • metric_source
        タイプ: STRING
        プロバイダー名: metricSource
        説明: 必須。メトリクスソースに metricOverrides が指定されていない限り、デフォルトのメトリクスが収集されます (詳しくは利用可能な OSS メトリクスを参照してください)。
        可能な値:
        • METRIC_SOURCE_UNSPECIFIED - 必要な不特定多数のメトリクスソース。
        • MONITORING_AGENT_DEFAULTS - デフォルトのモニタリング Agent のメトリクス。このソースを有効にすると、Dataproc は Compute Engine でモニタリング Agent を有効にし、デフォルトのモニタリング Agent メトリクスを収集し、それは agent.googleapis.com のプレフィックスで公開されます。
        • HDFS - HDFS のメトリクスソース。
        • SPARK - Spark のメトリクスソース。
        • YARN - YARN のメトリクスソース。
        • SPARK_HISTORY_SERVER - Spark History Server のメトリクスソース。
        • HIVESERVER2 - Hiveserver2 のメトリクスソース。
  • encryption_config
    タイプ: STRUCT
    プロバイダー名: encryptionConfig
    説明: オプション。クラスターの暗号化設定。
    • gce_pd_kms_key_name
      タイプ: STRING
      プロバイダー名: gcePdKmsKeyName
      説明: オプション。クラスター内の全インスタンスの PD ディスク暗号化に使用する Cloud KMS キー名。
  • endpoint_config
    タイプ: STRUCT
    プロバイダー名: endpointConfig
    説明: オプション。このクラスターのポート/エンドポイント構成
    • enable_http_port_access
      タイプ: BOOLEAN
      プロバイダー名: enableHttpPortAccess
      説明: オプション。true の場合、クラスター上の特定のポートに対して、外部からの http アクセスを有効にします。デフォルトは false です。
  • gce_cluster_config
    タイプ: STRUCT
    プロバイダー名: gceClusterConfig
    説明: オプション。クラスター内の全インスタンスで共有される Compute Engine の構成設定。
    • confidential_instance_config
      タイプ: STRUCT
      プロバイダー名: confidentialInstanceConfig
      説明: オプション。Confidential VM を使用するクラスター用の Confidential Instance Config です。
      • enable_confidential_compute
        タイプ: BOOLEAN
        プロバイダー名: enableConfidentialCompute
        説明: オプション。インスタンスがコンフィデンシャルコンピューティングを有効にするかどうかを定義します。
    • internal_ip_only
      タイプ: BOOLEAN
      プロバイダー名: internalIpOnly
      説明: オプション。true の場合、クラスター内のすべてのインスタンスは内部 IP アドレスのみを持つようになります。デフォルトでは、クラスターは内部 IP アドレスに制限されず、各インスタンスに割り当てられたエフェメラルな外部 IP アドレスを持つことになります。この internal_ip_only 制限はサブネットワークが有効なネットワークに対してのみ有効で、クラスター外の依存関係はすべて、外部 IP アドレスなしでアクセスできるように構成する必要があります。
    • network_uri
      タイプ: STRING
      プロバイダー名: networkUri
      説明: オプション。マシン通信に使用する Compute Engine のネットワーク。subnetwork_uri と一緒に指定することはできません。network_uri も subnetwork_uri も指定しない場合、プロジェクトの “default” ネットワークが存在すれば、それが使用されます。“Custom Subnet Network” にはできません (詳しくはサブネットワークの使用を参照してください)。完全な URL、部分的な URI、短い名前のいずれかが有効です。例:
    • node_group_affinity
      タイプ: STRUCT
      プロバイダー名: nodeGroupAffinity
      説明: オプション。ソールテナントクラスターのノードグループアフィニティ。
    • private_ipv6_google_access
      タイプ: STRING
      プロバイダー名: privateIpv6GoogleAccess
      説明: オプション。クラスターの IPv6 アクセスのタイプ。
      可能な値:
      • PRIVATE_IPV6_GOOGLE_ACCESS_UNSPECIFIED - 未指定の場合、Compute Engine のデフォルトの動作が適用され、INHERIT_FROM_SUBNETWORK と同じになります。
      • INHERIT_FROM_SUBNETWORK - サブネットワーク構成から継承された Google Services 構成からのプライベートアクセス。これは、Compute Engine のデフォルトの動作です。
      • OUTBOUND - Dataproc クラスターから Google Services へのアウトバウンドプライベート IPv6 アクセスを有効にします。
      • BIDIRECTIONAL - Google Services と Dataproc クラスター間の双方向のプライベート IPv6 アクセスを可能にします。
    • reservation_affinity
      タイプ: STRUCT
      プロバイダー名: reservationAffinity
      説明: オプション。ゾーン予約を消費するための予約アフィニティ。
      • consume_reservation_type
        タイプ: STRING
        プロバイダー名: consumeReservationType
        説明: オプション。消費する予約のタイプ
        可能な値:
        • TYPE_UNSPECIFIED
        • NO_RESERVATION - 割り当てられた容量から消費しません。
        • ANY_RESERVATION - 利用できる予約を消費します。
        • SPECIFIC_RESERVATION - 特定の予約から消費する必要があります。予約を指定するためのキーバリューフィールドを指定しなければなりません。
      • key
        タイプ: STRING
        プロバイダー名: key
        説明: オプション。予約リソースのラベルキーに相当します。
      • values
        タイプ: UNORDERED_LIST_STRING
        プロバイダー名: values
        説明: オプション。予約リソースのラベル値に相当します。
    • service_account
      タイプ: STRING
      プロバイダー名: serviceAccount
      説明: オプション。Dataproc クラスター VM インスタンスが Google Cloud Platform のサービスにアクセスする際に使用する Dataproc サービスアカウント (VM Data Plane アイデンティティも参照)。指定しない場合は、Compute Engine のデフォルトのサービスアカウントが使用されます。
    • service_account_scopes
      タイプ: UNORDERED_LIST_STRING
      プロバイダー名: serviceAccountScopes
      説明: オプション。Compute Engine インスタンスに含まれるサービスアカウントスコープの URI。以下の基本スコープが常に含まれます。スコープが指定されない場合、以下のデフォルトも提供されます。
    • shielded_instance_config
      タイプ: STRUCT
      プロバイダー名: shieldedInstanceConfig
      説明: オプション。Compute Engine Shielded VM を使用するクラスター用の Shielded Instance Config です。
      • enable_integrity_monitoring
        タイプ: BOOLEAN
        プロバイダー名: enableIntegrityMonitoring
        説明: オプション。インスタンスの整合性監視が有効であるかどうかを定義します。
      • enable_secure_boot
        タイプ: BOOLEAN
        プロバイダー名: enableSecureBoot
        説明: オプション。インスタンスでセキュアブートが有効かどうかを定義します。
      • enable_vtpm
        タイプ: BOOLEAN
        プロバイダー名: enableVtpm
        説明: オプション。インスタンスで vTPM が有効になっているかどうかを定義します。
    • subnetwork_uri
      タイプ: STRING
      プロバイダー名: subnetworkUri
      説明: オプション。マシン通信に使用する Compute Engine のサブネットワークです。network_uri と一緒に指定することはできません。完全な URL、部分的な URI、短い名前のいずれかが有効です。例:
    • zone_uri
      タイプ: STRING
      プロバイダー名: zoneUri
      説明: オプション。Compute Engine クラスターが配置されるゾーン。作成リクエストでは、“グローバル” リージョンで必須となります。グローバルでない Dataproc リージョンで省略された場合、サービスは対応する Compute Engine リージョン内のゾーンを選択します。get リクエストでは、zone は常に存在します。完全な URL、部分的な URI、または短い名前が有効です。例:
  • gke_cluster_config
    タイプ: STRUCT
    プロバイダー名: gkeClusterConfig
    説明: オプション。ベータ版。Kubernetes にデプロイされた Dataproc クラスターの Kubernetes Engine 構成にデプロイされた Dataproc クラスターの Kubernetes Engine 構成。これらの構成は、gce_cluster_config、master_config、worker_config、secondary_worker_config、autoscaling_config などの Compute Engine ベースのオプションとは互いに排他的になります。
    • gke_cluster_target
      タイプ: STRING
      プロバイダー名: gkeClusterTarget
      説明: オプション。デプロイ先の GKE クラスター。Dataproc クラスターと同じプロジェクトおよびリージョンである必要があります (GKE クラスターはゾーンまたはリージョナルである可能性があります)。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster_id}’
    • namespaced_gke_deployment_target
      タイプ: STRUCT
      プロバイダー名: namespacedGkeDeploymentTarget
      説明: オプション。非推奨。gkeClusterTarget を使ってください。非推奨のベータ版でのみ使用されます。デプロイメントのターゲット。
      • cluster_namespace
        タイプ: STRING
        プロバイダー名: clusterNamespace
        説明: オプション。デプロイ先となる GKE クラスター内のネームスペース。
      • target_gke_cluster
        タイプ: STRING
        プロバイダー名: targetGkeCluster
        説明: オプション。デプロイ先となる GKE クラスター。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster_id}’
    • node_pool_target
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: nodePoolTarget
      説明: オプション。ワークロードがスケジュールされる GKE ノードプール。少なくとも 1 つのノードプールには、DEFAULT GkeNodePoolTarget.Role が割り当てられていなければなりません。GkeNodePoolTarget が指定されていない場合、Dataproc は DEFAULT GkeNodePoolTarget を作成します。各ロールは、1 つの GkeNodePoolTarget にのみ指定することができます。すべてのノードプールは、同じロケーション設定でなければなりません。
      • node_pool
        タイプ: STRING
        プロバイダー名: nodePool
        説明: 必須。対象の GKE ノードプール。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster}/nodePools/{node_pool}’
      • node_pool_config
        タイプ: STRUCT
        プロバイダー名: nodePoolConfig
        説明: 入力のみ。GKE ノードプールの構成。指定された場合、Dataproc は指定された形状を持つノードプールを作成しようとします。同名のものがすでに存在する場合は、指定されたすべてのフィールドと照合されます。フィールドが異なる場合、仮想クラスターの作成は失敗します。省略した場合は、指定された名前のノードプールが使用されます。指定された名前のノードプールが存在しない場合、Dataproc はデフォルト値でノードプールを作成します。これは入力専用フィールドです。API から返されることはありません。
        • autoscaling
          タイプ: STRUCT
          プロバイダー名: autoscaling
          説明: オプション。このノードプールのオートスケーラ構成。有効な構成が存在する場合にのみ、オートスケーラが有効になります。
          • max_node_count
            タイプ: INT32
            プロバイダー名: maxNodeCount
            説明: ノードプールの最大ノード数。min_node_count 以上で、かつ 0 よりも大きい値である必要があります。注: クォータはクラスターをスケールアップするのに十分な値でなければなりません。
          • min_node_count
            タイプ: INT32
            プロバイダー名: minNodeCount
            説明: ノードプールの最小ノード数。0 以上かつ max_node_count 以下でなければなりません。
        • config
          タイプ: STRUCT
          プロバイダー名: config
          説明: オプション。ノードプールの構成。
          • accelerators
            タイプ: UNORDERED_LIST_STRUCT
            プロバイダー名: accelerators
            説明: オプション。各ノードにアタッチするハードウェアアクセラレーターのリストです。
            • accelerator_count
              タイプ: INT64
              プロバイダー名: acceleratorCount
              説明: インスタンスに公開されるアクセラレーターカードの数。
            • accelerator_type
              タイプ: STRING
              プロバイダー名: acceleratorType
              説明: アクセラレータータイプのリソース名 (Compute Engine の GPU を参照)。
            • gpu_partition_size
              タイプ: STRING
              プロバイダー名: gpuPartitionSize
              説明: GPU 上に作成するパーティションのサイズ。有効な値は、NVIDIA 移行ユーザーガイドに記載されています。
          • boot_disk_kms_key
            タイプ: STRING
            プロバイダー名: bootDiskKmsKey
            説明: オプション。ノードプールの各ノードにアタッチされている起動ディスクを暗号化するための CMEK (Customer Managed Encryption Key。以下のフォーマットでキーを指定します: projects/KEY_PROJECT_ID/locations/LOCATION /keyRings/RING_NAME/cryptoKeys/KEY_NAME
          • local_ssd_count
            タイプ: INT32
            プロバイダー名: localSsdCount
            説明: オプション。ノードにアタッチするローカル SSD ディスクの数で、ゾーンごとに許容されるディスクの最大数によって制限されます (ローカル SSD の追加を参照してください)。
          • machine_type
            タイプ: STRING
            プロバイダー名: machineType
            説明: オプション。Compute Engine のマシンタイプの名前です。
          • min_cpu_platform
            タイプ: STRING
            プロバイダー名: minCpuPlatform
            説明: オプション。このインスタンスで使用される最小 CPU プラットフォームです。インスタンスは、指定された CPU プラットフォームまたはより新しい CPU プラットフォームでスケジュールされる可能性があります。“Intel Haswell” や “Intel Sandy Bridge” など、CPU プラットフォームのフレンドリーな名前を指定します。
          • preemptible
            タイプ: BOOLEAN
            プロバイダー名: preemptible
            説明: オプション。レガシーのプリエンプト可能 VM インスタンスとしてノードを作成するかどうか。最大寿命のないプリエンプト可能 VM インスタンス、スポット VM も参照してください。レガシーおよびスポットのプリエンプト可能ノードは、CONTROLLER ロールを持つノードプールや、CONTROLLER ロールが割り当てられていない場合は DEFAULT ノードプールで使用できません (DEFAULT ノードプールが CONTROLLER ロールを引き継ぎます)。
          • spot
            タイプ: BOOLEAN
            プロバイダー名: spot
            説明: オプション。スポット VM インスタンスとしてノードを作成するかどうか。スポット VM は、レガシーのプリエンプト可能 VM の最新のアップデートです。スポット VM には最大寿命はありません。レガシーおよびスポットのプリエンプト可能ノードは、CONTROLLER ロールを持つノードプールや、CONTROLLER ロールが割り当てられていない場合は DEFAULT ノードプールで使用できません (DEFAULT ノードプールが CONTROLLER ロールを引き継ぎます)。
        • locations
          タイプ: UNORDERED_LIST_STRING
          プロバイダー名: locations
          説明: オプション。Dataproc on GKE 仮想クラスターに関連付けられたノードプールノードが配置される Compute Engine ゾーンのリスト。注: 仮想クラスターに関連付けられたすべてのノードプールは、仮想クラスターと同じリージョンに配置され、そのリージョン内の同じゾーンに配置されなければなりません。ノードプール作成時に場所が指定されない場合、Dataproc on GKE がゾーンを選択します。
      • roles
        タイプ: UNORDERED_LIST_STRING
        プロバイダー名: roles
        説明: 必須。GKE ノードプールに関連するロール。
  • initialization_actions
    タイプ: UNORDERED_LIST_STRUCT
    プロバイダー名: initializationActions
    説明: オプション。構成完了後、各ノードで実行するコマンドです。デフォルトでは、マスターノードとすべてのワーカーノードで実行ファイルが実行されます。ノードのロールメタデータをテストして、以下のように curl を使ってマスターノードやワーカーノードで実行ファイルを実行することができます (wget でも可能です)。 ROLE=$(curl -H Metadata-Flavor:Google http://metadata/computeMetadata/v1/instance/attributes/dataproc-role) if [[ “${ROLE}” == ‘Master’ ]]; then … master specific actions … else … worker specific actions … fi
    • executable_file
      タイプ: STRING
      プロバイダー名: executableFile
      説明: 必須。実行ファイルのクラウドストレージ URI。
    • execution_timeout
      タイプ: STRING
      プロバイダー名: executionTimeout
      説明: オプション。実行ファイルが完成するまでの時間。デフォルトは 10 分です (Duration の JSON 表現を参照してください)。クラスター作成は、タイムアウト時間の終了時に実行ファイルが完了していない場合、説明のためのエラーメッセージ (エラーの原因となった実行ファイル名と超過したタイムアウト時間) を表示して失敗します。
  • lifecycle_config
    タイプ: STRUCT
    プロバイダー名: lifecycleConfig
    説明: オプション。クラスターのライフサイクルの設定。
    • auto_delete_time
      タイプ: TIMESTAMP
      プロバイダー名: autoDeleteTime
      説明: オプション。クラスターが自動削除される時間 (Timestamp の JSON 表現を参照してください)。
    • auto_delete_ttl
      タイプ: STRING
      プロバイダー名: autoDeleteTtl
      説明: オプション。クラスターの有効期間。この期間が終了すると、クラスターは自動削除されます。最小値は 10 分、最大値は 14 日です (Duration の JSON 表現を参照してください)。
    • idle_delete_ttl
      タイプ: STRING
      プロバイダー名: idleDeleteTtl
      説明: オプション。アイドル時 (ジョブが実行されていない時) にクラスターを存続させる期間。このしきい値を超えると、クラスターは削除されます。最小値は 5 分、最大値は 14 日です (Duration の JSON 表現を参照してください)。
    • idle_start_time
      タイプ: TIMESTAMP
      プロバイダー名: idleStartTime
      説明: 出力のみ。クラスターがアイドル状態 (直近のジョブが終了) になり、アイドル状態のため削除対象となった時間 (Timestamp の JSON 表現を参照してください)。
  • master_config
    タイプ: STRUCT
    プロバイダー名: masterConfig
    説明: オプション。クラスターのマスターインスタンスに対する Compute Engine の構成設定。
    • accelerators
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: accelerators
      説明: オプション。これらのインスタンスに対する Compute Engine のアクセラレーター構成。
      • accelerator_count
        タイプ: INT32
        プロバイダー名: acceleratorCount
        説明: このインスタンスに公開されている、このタイプのアクセラレーターカードの数。
      • accelerator_type_uri
        タイプ: STRING
        プロバイダー名: acceleratorTypeUri
        説明: このインスタンスに公開するアクセラレータータイプリソースの完全な URL、部分的な URI、または短い名前。Compute Engine AcceleratorTypes を参照してください。例:

        オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、アクセラレータータイプのリソースの短い名前 (例えば、nvidia-tesla-k80) を使用する必要があります。

    • disk_config
      タイプ: STRUCT
      プロバイダー名: diskConfig
      説明: オプション。ディスクオプション構成設定。
      • boot_disk_size_gb
        タイプ: INT32
        プロバイダー名: bootDiskSizeGb
        説明: オプション。起動ディスクのサイズ (GB) (デフォルトは 500GB)。
      • boot_disk_type
        タイプ: STRING
        プロバイダー名: bootDiskType
        説明: オプション。起動ディスクの種類 (デフォルトは pd-standard)。有効な値: pd-balanced (Persistent Disk Balanced Solid State Drive)、pd-ssd (Persistent Disk Solid State Drive)、または pd-standard (Persistent Disk Hard Disk Drive)。ディスクの種類を参照してください。
      • local_ssd_interface
        タイプ: STRING
        プロバイダー名: localSsdInterface
        説明: オプション。ローカル SSD のインターフェイスの種類 (デフォルトは scsi)。有効な値: scsi (Small Computer System Interface)、nvme (Non-Volatile Memory Express)。ローカル SSD のパフォーマンスを参照してください。
      • num_local_ssds
        タイプ: INT32
        プロバイダー名: numLocalSsds
        説明: オプション。アタッチする SSD の数を 0 から 8 の間で指定します (デフォルトは 0)。SSD がアタッチされていない場合、ブートディスクはランタイムログと HDFS データの保存に使用されます。1 台以上の SSD がアタッチされている場合、このランタイムバルクデータはそれらの SSD に分散され、ブートディスクには基本設定とインストール済みのバイナリのみが格納されます。注: ローカル SSD のオプションは、選択したマシンの種類と vCPU の数によって異なる場合があります。
    • image_uri
      タイプ: STRING
      プロバイダー名: imageUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のイメージリソースです。URI はイメージまたはイメージファミリーを表すことができます。イメージの例:

      イメージファミリーの例。Dataproc はそのファミリーの中で最も新しいイメージを使用します:

      URI が指定されていない場合は、SoftwareConfig.image_version またはシステムのデフォルトから推測されます。

    • instance_names
      タイプ: UNORDERED_LIST_STRING
      プロバイダー名: instanceNames
      説明: 出力のみ。インスタンス名のリスト。Dataproc は cluster_name、num_instances、そしてインスタンスグループからこの名前を導き出します。
    • instance_references
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: instanceReferences
      説明: 出力のみ。Compute Engine インスタンスへのリファレンスのリスト。
      • instance_id
        タイプ: STRING
        プロバイダー名: instanceId
        説明: Compute Engine インスタンスの一意な識別子。
      • instance_name
        タイプ: STRING
        プロバイダー名: instanceName
        説明: Compute Engine インスタンスのユーザーフレンドリーな名前。
      • public_ecies_key
        タイプ: STRING
        プロバイダー名: publicEciesKey
        説明: このインスタンスとデータを共有するために使用される公開 ECIES キー。
      • public_key
        タイプ: STRING
        プロバイダー名: publicKey
        説明: このインスタンスとデータを共有するために使用される公開 RSA キー。
    • is_preemptible
      タイプ: BOOLEAN
      プロバイダー名: isPreemptible
      説明: 出力のみ。このインスタンスグループがプリエンプト可能なインスタンスを含んでいることを指定します。
    • machine_type_uri
      タイプ: STRING
      プロバイダー名: machineTypeUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のマシンタイプです。完全な URL、部分的な URI、または短い名前が有効です。例:

      オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、マシンタイプのリソースの短い名前 (例えば、n1-standard-2) を使用する必要があります。

    • managed_group_config
      タイプ: STRUCT
      プロバイダー名: managedGroupConfig
      説明: 出力のみ。このグループを管理する Compute Engine Instance Group Manager の構成。これは、プリエンプト可能なインスタンスグループにのみ使用されます。
      • instance_group_manager_name
        タイプ: STRING
        プロバイダー名: instanceGroupManagerName
        説明: 出力のみ。このグループの Instance Group Manager の名前。
      • instance_template_name
        タイプ: STRING
        プロバイダー名: instanceTemplateName
        説明: 出力のみ。Managed Instance Group に使用される Instance Template の名前。
    • min_cpu_platform
      タイプ: STRING
      プロバイダー名: minCpuPlatform
      説明: オプション。インスタンスグループの最小 CPU プラットフォームを指定します。Dataproc -> Minimum CPU Platform を参照してください。
    • num_instances
      タイプ: INT32
      プロバイダー名: numInstances
      説明: オプション。インスタンスグループ内の VM インスタンスの数。HA クラスターの master_config グループでは 3 に設定する必要があります。標準的なクラスターの master_config グループでは、1 に設定する必要があります。
    • preemptibility
      タイプ: STRING
      プロバイダー名: preemptibility
      説明: オプション。インスタンスグループのプリエンプティを指定します。マスターとワーカーグループのデフォルト値は NON_PREEMPTIBLE です。このデフォルトは変更することができません。セカンダリーインスタンスのデフォルト値は PREEMPTIBLE です。
      可能な値:
      • PREEMPTIBILITY_UNSPECIFIED - プリエンプティが指定されていない場合、システムは各インスタンスグループに対して適切な設定を選択します。
      • NON_PREEMPTIBLE - インスタンスはノンプリエンプティブです。このオプションはすべてのインスタンスグループで許可され、マスターとワーカーのインスタンスグループに対してのみ有効な値です。
      • PREEMPTIBLE - インスタンスはプリエンプト可能です。このオプションはセカンダリワーカーグループにのみ許可されています。
      • SPOT - インスタンスはスポット VM です。このオプションは、セカンダリワーカーグループにのみ許可されています。スポット VM は、プリエンプト可能な VM の最新版で、追加機能を提供します。
  • metastore_config
    タイプ: STRUCT
    プロバイダー名: metastoreConfig
    説明: オプション。メタストアの構成。
    • dataproc_metastore_service
      タイプ: STRING
      プロバイダー名: dataprocMetastoreService
      説明: 必須。既存の Dataproc Metastore サービスのリソース名。例: projects/[project_id]/locations/[dataproc_region]/services/[service-name]
  • secondary_worker_config
    タイプ: STRUCT
    プロバイダー名: secondaryWorkerConfig
    説明: オプション。クラスターのセカンダリーワーカーインスタンスに対する Compute Engine の構成設定
    • accelerators
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: accelerators
      説明: オプション。これらのインスタンスに対する Compute Engine のアクセラレーター構成。
      • accelerator_count
        タイプ: INT32
        プロバイダー名: acceleratorCount
        説明: このインスタンスに公開されている、このタイプのアクセラレーターカードの数。
      • accelerator_type_uri
        タイプ: STRING
        プロバイダー名: acceleratorTypeUri
        説明: このインスタンスに公開するアクセラレータータイプリソースの完全な URL、部分的な URI、または短い名前。Compute Engine AcceleratorTypes を参照してください。例:

        オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、アクセラレータータイプのリソースの短い名前 (例えば、nvidia-tesla-k80) を使用する必要があります。

    • disk_config
      タイプ: STRUCT
      プロバイダー名: diskConfig
      説明: オプション。ディスクオプション構成設定。
      • boot_disk_size_gb
        タイプ: INT32
        プロバイダー名: bootDiskSizeGb
        説明: オプション。起動ディスクのサイズ (GB) (デフォルトは 500GB)。
      • boot_disk_type
        タイプ: STRING
        プロバイダー名: bootDiskType
        説明: オプション。起動ディスクの種類 (デフォルトは pd-standard)。有効な値: pd-balanced (Persistent Disk Balanced Solid State Drive)、pd-ssd (Persistent Disk Solid State Drive)、または pd-standard (Persistent Disk Hard Disk Drive)。ディスクの種類を参照してください。
      • local_ssd_interface
        タイプ: STRING
        プロバイダー名: localSsdInterface
        説明: オプション。ローカル SSD のインターフェイスの種類 (デフォルトは scsi)。有効な値: scsi (Small Computer System Interface)、nvme (Non-Volatile Memory Express)。ローカル SSD のパフォーマンスを参照してください。
      • num_local_ssds
        タイプ: INT32
        プロバイダー名: numLocalSsds
        説明: オプション。アタッチする SSD の数を 0 から 8 の間で指定します (デフォルトは 0)。SSD がアタッチされていない場合、ブートディスクはランタイムログと HDFS データの保存に使用されます。1 台以上の SSD がアタッチされている場合、このランタイムバルクデータはそれらの SSD に分散され、ブートディスクには基本設定とインストール済みのバイナリのみが格納されます。注: ローカル SSD のオプションは、選択したマシンの種類と vCPU の数によって異なる場合があります。
    • image_uri
      タイプ: STRING
      プロバイダー名: imageUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のイメージリソースです。URI はイメージまたはイメージファミリーを表すことができます。イメージの例:

      イメージファミリーの例。Dataproc はそのファミリーの中で最も新しいイメージを使用します:

      URI が指定されていない場合は、SoftwareConfig.image_version またはシステムのデフォルトから推測されます。

    • instance_names
      タイプ: UNORDERED_LIST_STRING
      プロバイダー名: instanceNames
      説明: 出力のみ。インスタンス名のリスト。Dataproc は cluster_name、num_instances、そしてインスタンスグループからこの名前を導き出します。
    • instance_references
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: instanceReferences
      説明: 出力のみ。Compute Engine インスタンスへのリファレンスのリスト。
      • instance_id
        タイプ: STRING
        プロバイダー名: instanceId
        説明: Compute Engine インスタンスの一意な識別子。
      • instance_name
        タイプ: STRING
        プロバイダー名: instanceName
        説明: Compute Engine インスタンスのユーザーフレンドリーな名前。
      • public_ecies_key
        タイプ: STRING
        プロバイダー名: publicEciesKey
        説明: このインスタンスとデータを共有するために使用される公開 ECIES キー。
      • public_key
        タイプ: STRING
        プロバイダー名: publicKey
        説明: このインスタンスとデータを共有するために使用される公開 RSA キー。
    • is_preemptible
      タイプ: BOOLEAN
      プロバイダー名: isPreemptible
      説明: 出力のみ。このインスタンスグループがプリエンプト可能なインスタンスを含んでいることを指定します。
    • machine_type_uri
      タイプ: STRING
      プロバイダー名: machineTypeUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のマシンタイプです。完全な URL、部分的な URI、または短い名前が有効です。例:

      オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、マシンタイプのリソースの短い名前 (例えば、n1-standard-2) を使用する必要があります。

    • managed_group_config
      タイプ: STRUCT
      プロバイダー名: managedGroupConfig
      説明: 出力のみ。このグループを管理する Compute Engine Instance Group Manager の構成。これは、プリエンプト可能なインスタンスグループにのみ使用されます。
      • instance_group_manager_name
        タイプ: STRING
        プロバイダー名: instanceGroupManagerName
        説明: 出力のみ。このグループの Instance Group Manager の名前。
      • instance_template_name
        タイプ: STRING
        プロバイダー名: instanceTemplateName
        説明: 出力のみ。Managed Instance Group に使用される Instance Template の名前。
    • min_cpu_platform
      タイプ: STRING
      プロバイダー名: minCpuPlatform
      説明: オプション。インスタンスグループの最小 CPU プラットフォームを指定します。Dataproc -> Minimum CPU Platform を参照してください。
    • num_instances
      タイプ: INT32
      プロバイダー名: numInstances
      説明: オプション。インスタンスグループ内の VM インスタンスの数。HA クラスターの master_config グループでは 3 に設定する必要があります。標準的なクラスターの master_config グループでは、1 に設定する必要があります。
    • preemptibility
      タイプ: STRING
      プロバイダー名: preemptibility
      説明: オプション。インスタンスグループのプリエンプティを指定します。マスターとワーカーグループのデフォルト値は NON_PREEMPTIBLE です。このデフォルトは変更することができません。セカンダリーインスタンスのデフォルト値は PREEMPTIBLE です。
      可能な値:
      • PREEMPTIBILITY_UNSPECIFIED - プリエンプティが指定されていない場合、システムは各インスタンスグループに対して適切な設定を選択します。
      • NON_PREEMPTIBLE - インスタンスはノンプリエンプティブです。このオプションはすべてのインスタンスグループで許可され、マスターとワーカーのインスタンスグループに対してのみ有効な値です。
      • PREEMPTIBLE - インスタンスはプリエンプト可能です。このオプションはセカンダリワーカーグループにのみ許可されています。
      • SPOT - インスタンスはスポット VM です。このオプションは、セカンダリワーカーグループにのみ許可されています。スポット VM は、プリエンプト可能な VM の最新版で、追加機能を提供します。
  • security_config
    タイプ: STRUCT
    プロバイダー名: securityConfig
    説明: オプション。クラスターのセキュリティ設定。

    • identity_config
      タイプ: STRUCT
      プロバイダー名: identityConfig
      説明: オプション。サービスアカウントに基づく安全なマルチテナンシーユーザーマッピングを含む、アイデンティティ関連の構成。

    • kerberos_config
      タイプ: STRUCT
      プロバイダー名: kerberosConfig
      説明: オプション。Kerberos 関連の構成。

      • cross_realm_trust_admin_server
        タイプ: STRING
        プロバイダー名: crossRealmTrustAdminServer
        説明: オプション。クロスレルムの信頼関係における、リモートの信頼できるレルムの管理サーバー (IP またはホスト名)。
      • cross_realm_trust_kdc
        タイプ: STRING
        プロバイダー名: crossRealmTrustKdc
        説明: オプション。クロスレルムの信頼関係における、リモートの信頼できるレルムの KDC (IP またはホスト名)。
      • cross_realm_trust_realm
        タイプ: STRING
        プロバイダー名: crossRealmTrustRealm
        説明: オプション。Dataproc on-cluster KDC が信頼するリモートレルム (ユーザーがクロスレルム信頼を有効にした場合)。
      • cross_realm_trust_shared_password_uri
        タイプ: STRING
        プロバイダー名: crossRealmTrustSharedPasswordUri
        説明: オプション。クラスター上の Kerberos レルムとリモートの信頼できるレルムとの間の共有パスワードを含む KMS 暗号化ファイルのクラウドストレージ URI で、クロスレルム信頼関係にあります。
      • enable_kerberos
        タイプ: BOOLEAN
        プロバイダー名: enableKerberos
        説明: オプション。クラスターを Kerberize するかどうかを示すフラグ (デフォルト: false)。クラスターで Kerberos を有効にするには、このフィールドを true に設定します。
      • kdc_db_key_uri
        タイプ: STRING
        プロバイダー名: kdcDbKeyUri
        説明: オプション。KDC データベースのマスターキーを含む KMS 暗号化ファイルのクラウドストレージ URI。
      • key_password_uri
        タイプ: STRING
        プロバイダー名: keyPasswordUri
        説明: オプション。ユーザー提供のキーのパスワードを含む、KMS 暗号化ファイルのクラウドストレージ URI。自己署名証明書の場合、このパスワードは Dataproc によって生成されます。
      • keystore_password_uri
        タイプ: STRING
        プロバイダー名: keystorePasswordUri
        説明: オプション。ユーザー提供のキーストアのパスワードを含む、KMS 暗号化ファイルのクラウドストレージ URI。自己署名証明書の場合、このパスワードは Dataproc によって生成されます。
      • keystore_uri
        タイプ: STRING
        プロバイダー名: keystoreUri
        説明: オプション。SSL 暗号化に使用するキーストアファイルのクラウドストレージ URI。提供されない場合、Dataproc は自己署名証明書を提供します。
      • kms_key_uri
        タイプ: STRING
        プロバイダー名: kmsKeyUri
        説明: オプション。各種機密ファイルを暗号化するために使用する KMS キーの uri。
      • realm
        タイプ: STRING
        プロバイダー名: realm
        説明: オプション。クラスター上の Kerberos レルムの名前。指定しない場合は、ホスト名の大文字のドメインがレルムとなります。
      • root_principal_password_uri
        タイプ: STRING
        プロバイダー名: rootPrincipalPasswordUri
        説明: オプション。ルートプリンシパルのパスワードを含む KMS 暗号化ファイルのクラウドストレージ URI。
      • tgt_lifetime_hours
        タイプ: INT32
        プロバイダー名: tgtLifetimeHours
        説明: オプション。チケット付与券の有効期限を時間単位で指定します。指定しない場合、またはユーザーが 0 を指定した場合は、デフォルト値 10 が使用されます。
      • truststore_password_uri
        タイプ: STRING
        プロバイダー名: truststorePasswordUri
        説明: オプション。ユーザー提供のトラストストアのパスワードを含む、KMS 暗号化ファイルのクラウドストレージ URI。自己署名証明書の場合、このパスワードは Dataproc によって生成されます。
      • truststore_uri
        タイプ: STRING
        プロバイダー名: truststoreUri
        説明: オプション。SSL 暗号化に使用するトラストストアファイルのクラウドストレージ URI。提供されない場合、Dataproc は自己署名証明書を提供します。
  • software_config
    タイプ: STRUCT
    プロバイダー名: softwareConfig
    説明: オプション。クラスターソフトウェアの構成設定。
    • image_version
      タイプ: STRING
      プロバイダー名: imageVersion
      説明: オプション。クラスター内のソフトウェアのバージョン。“1.2” (“1.2.29” のようなサブマイナー版を含む)、または “preview” バージョンのような、サポートされている Dataproc バージョンのいずれかでなければなりません。指定がない場合、デフォルトは最新の Debian バージョンになります。
    • optional_components
      タイプ: UNORDERED_LIST_STRING
      プロバイダー名: optionalComponents
      説明: オプション。クラスター上でアクティブにするコンポーネントのセット。
  • temp_bucket
    タイプ: STRING
    プロバイダー名: tempBucket
    説明: オプション。Spark や MapReduce の履歴ファイルなど、クラスターやジョブのエフェメラルデータを保存するために使用する Cloud Storage バケット。一時バケットを指定しない場合、Dataproc はクラスターがデプロイされている Compute Engine ゾーンに従って、クラスターの一時バケット用の Cloud Storage ロケーション (US、ASIA、EU) を決定し、このプロジェクトレベルのロケーションごとのバケットを作成して管理します。デフォルトのバケットの TTL は 90 日ですが、バケットを指定すれば、任意の TTL を使用できます (使用しないことも可能) (Dataproc のステージングと一時バケットを参照してください)。このフィールドには、Cloud Storage のバケット名ではなく、gs://… という Cloud Storage のバケットへの URI を指定する必要があります。
  • worker_config
    タイプ: STRUCT
    プロバイダー名: workerConfig
    説明: オプション。クラスターのワーカーインスタンスに対する Compute Engine の構成設定。
    • accelerators
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: accelerators
      説明: オプション。これらのインスタンスに対する Compute Engine のアクセラレーター構成。
      • accelerator_count
        タイプ: INT32
        プロバイダー名: acceleratorCount
        説明: このインスタンスに公開されている、このタイプのアクセラレーターカードの数。
      • accelerator_type_uri
        タイプ: STRING
        プロバイダー名: acceleratorTypeUri
        説明: このインスタンスに公開するアクセラレータータイプリソースの完全な URL、部分的な URI、または短い名前。Compute Engine AcceleratorTypes を参照してください。例:

        オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、アクセラレータータイプのリソースの短い名前 (例えば、nvidia-tesla-k80) を使用する必要があります。

    • disk_config
      タイプ: STRUCT
      プロバイダー名: diskConfig
      説明: オプション。ディスクオプション構成設定。
      • boot_disk_size_gb
        タイプ: INT32
        プロバイダー名: bootDiskSizeGb
        説明: オプション。起動ディスクのサイズ (GB) (デフォルトは 500GB)。
      • boot_disk_type
        タイプ: STRING
        プロバイダー名: bootDiskType
        説明: オプション。起動ディスクの種類 (デフォルトは pd-standard)。有効な値: pd-balanced (Persistent Disk Balanced Solid State Drive)、pd-ssd (Persistent Disk Solid State Drive)、または pd-standard (Persistent Disk Hard Disk Drive)。ディスクの種類を参照してください。
      • local_ssd_interface
        タイプ: STRING
        プロバイダー名: localSsdInterface
        説明: オプション。ローカル SSD のインターフェイスの種類 (デフォルトは scsi)。有効な値: scsi (Small Computer System Interface)、nvme (Non-Volatile Memory Express)。ローカル SSD のパフォーマンスを参照してください。
      • num_local_ssds
        タイプ: INT32
        プロバイダー名: numLocalSsds
        説明: オプション。アタッチする SSD の数を 0 から 8 の間で指定します (デフォルトは 0)。SSD がアタッチされていない場合、ブートディスクはランタイムログと HDFS データの保存に使用されます。1 台以上の SSD がアタッチされている場合、このランタイムバルクデータはそれらの SSD に分散され、ブートディスクには基本設定とインストール済みのバイナリのみが格納されます。注: ローカル SSD のオプションは、選択したマシンの種類と vCPU の数によって異なる場合があります。
    • image_uri
      タイプ: STRING
      プロバイダー名: imageUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のイメージリソースです。URI はイメージまたはイメージファミリーを表すことができます。イメージの例:

      イメージファミリーの例。Dataproc はそのファミリーの中で最も新しいイメージを使用します:

      URI が指定されていない場合は、SoftwareConfig.image_version またはシステムのデフォルトから推測されます。

    • instance_names
      タイプ: UNORDERED_LIST_STRING
      プロバイダー名: instanceNames
      説明: 出力のみ。インスタンス名のリスト。Dataproc は cluster_name、num_instances、そしてインスタンスグループからこの名前を導き出します。
    • instance_references
      タイプ: UNORDERED_LIST_STRUCT
      プロバイダー名: instanceReferences
      説明: 出力のみ。Compute Engine インスタンスへのリファレンスのリスト。
      • instance_id
        タイプ: STRING
        プロバイダー名: instanceId
        説明: Compute Engine インスタンスの一意な識別子。
      • instance_name
        タイプ: STRING
        プロバイダー名: instanceName
        説明: Compute Engine インスタンスのユーザーフレンドリーな名前。
      • public_ecies_key
        タイプ: STRING
        プロバイダー名: publicEciesKey
        説明: このインスタンスとデータを共有するために使用される公開 ECIES キー。
      • public_key
        タイプ: STRING
        プロバイダー名: publicKey
        説明: このインスタンスとデータを共有するために使用される公開 RSA キー。
    • is_preemptible
      タイプ: BOOLEAN
      プロバイダー名: isPreemptible
      説明: 出力のみ。このインスタンスグループがプリエンプト可能なインスタンスを含んでいることを指定します。
    • machine_type_uri
      タイプ: STRING
      プロバイダー名: machineTypeUri
      説明: オプション。クラスターインスタンスに使用される Compute Engine のマシンタイプです。完全な URL、部分的な URI、または短い名前が有効です。例:

      オートゾーンの例外: Dataproc Auto Zone Placement 機能を使用する場合は、マシンタイプのリソースの短い名前 (例えば、n1-standard-2) を使用する必要があります。

    • managed_group_config
      タイプ: STRUCT
      プロバイダー名: managedGroupConfig
      説明: 出力のみ。このグループを管理する Compute Engine Instance Group Manager の構成。これは、プリエンプト可能なインスタンスグループにのみ使用されます。
      • instance_group_manager_name
        タイプ: STRING
        プロバイダー名: instanceGroupManagerName
        説明: 出力のみ。このグループの Instance Group Manager の名前。
      • instance_template_name
        タイプ: STRING
        プロバイダー名: instanceTemplateName
        説明: 出力のみ。Managed Instance Group に使用される Instance Template の名前。
    • min_cpu_platform
      タイプ: STRING
      プロバイダー名: minCpuPlatform
      説明: オプション。インスタンスグループの最小 CPU プラットフォームを指定します。Dataproc -> Minimum CPU Platform を参照してください。
    • num_instances
      タイプ: INT32
      プロバイダー名: numInstances
      説明: オプション。インスタンスグループ内の VM インスタンスの数。HA クラスターの master_config グループでは 3 に設定する必要があります。標準的なクラスターの master_config グループでは、1 に設定する必要があります。
    • preemptibility
      タイプ: STRING
      プロバイダー名: preemptibility
      説明: オプション。インスタンスグループのプリエンプティを指定します。マスターとワーカーグループのデフォルト値は NON_PREEMPTIBLE です。このデフォルトは変更することができません。セカンダリーインスタンスのデフォルト値は PREEMPTIBLE です。
      可能な値:
      • PREEMPTIBILITY_UNSPECIFIED - プリエンプティが指定されていない場合、システムは各インスタンスグループに対して適切な設定を選択します。
      • NON_PREEMPTIBLE - インスタンスはノンプリエンプティブです。このオプションはすべてのインスタンスグループで許可され、マスターとワーカーのインスタンスグループに対してのみ有効な値です。
      • PREEMPTIBLE - インスタンスはプリエンプト可能です。このオプションはセカンダリワーカーグループにのみ許可されています。
      • SPOT - インスタンスはスポット VM です。このオプションは、セカンダリワーカーグループにのみ許可されています。スポット VM は、プリエンプト可能な VM の最新版で、追加機能を提供します。

gcp_status

タイプ: STRUCT
プロバイダー名: status
説明: 出力のみ。クラスターのステータスです。

  • detail
    タイプ: STRING
    プロバイダー名: detail
    説明: オプション。出力のみ。クラスターの状態の詳細。
  • state
    タイプ: STRING
    プロバイダー名: state
    説明: 出力のみ。クラスターの状態。
    可能な値:
    • UNKNOWN - クラスターの状態は不明です。
    • CREATING - クラスターを作成し、セットアップしているところです。使用する準備ができていません。
    • RUNNING - クラスターは現在稼働中で、健全な状態です。注: クラスターのステータスは、マスターノードと最初の 2 つのプライマリーワーカーノード (プライマリーワーカーが 2 つ以上の場合は最後のプライマリーワーカーノード) が稼働した後に ‘creating’ から ‘running’ ステータスに変更されます。
    • ERROR - クラスターにエラーが発生しました。使用する準備ができていません。
    • ERROR_DUE_TO_UPDATE - クラスターを更新中にエラーが発生しました。クラスターへのジョブの送信は可能ですが、クラスターを更新できません。
    • DELETING - クラスターは削除中です。使用できません。
    • UPDATING - クラスターは更新中です。ジョブの受け入れと処理は継続しています。
    • STOPPING - クラスターは停止中です。使用できません。
    • STOPPED - クラスターは現在停止中です。使用する準備ができていません。
    • STARTING - クラスターは起動中です。使用する準備ができていません。
    • REPAIRING - クラスターは修理中です。使用する準備ができていません。
  • state_start_time
    タイプ: TIMESTAMP
    プロバイダー名: stateStartTime
    説明: 出力のみ。この状態になった時間 (Timestamp の JSON 表現を参照してください)。
  • substate
    タイプ: STRING
    プロバイダー名: substate
    説明: 出力のみ。Agent から報告されたステータスを含む、追加の状態情報。
    可能な値:
    • UNSPECIFIED - クラスターのサブステートは不明です。
    • UNHEALTHY - クラスターが不健全な状態であることが判明しています (例えば、重要なデーモンが動作していない、HDFS の容量が枯渇しているなど)。RUNNING 状態に適用されます。
    • STALE_STATUS - Agent が報告したステータスが古くなっています (Dataproc が Agent との通信を失うと発生する可能性があります)。RUNNING 状態に適用されます。

labels

タイプ: UNORDERED_LIST_STRING

metrics

タイプ: STRUCT
プロバイダー名: metrics
説明: 出力のみ。HDFS や YARN の統計など、クラスターデーモンのメトリクスが含まれます。ベータ版機能。このレポートはテスト目的でのみ利用可能です。最終リリース前に変更される可能性があります。

organization_id

タイプ: STRING

parent

タイプ: STRING

project_id

タイプ: STRING

project_number

タイプ: STRING

resource_name

タイプ: STRING

status_history

タイプ: UNORDERED_LIST_STRUCT
プロバイダー名: statusHistory
説明: 出力のみ。前回のクラスターのステータス。

  • detail
    タイプ: STRING
    プロバイダー名: detail
    説明: オプション。出力のみ。クラスターの状態の詳細。
  • state
    タイプ: STRING
    プロバイダー名: state
    説明: 出力のみ。クラスターの状態。
    可能な値:
    • UNKNOWN - クラスターの状態は不明です。
    • CREATING - クラスターを作成し、セットアップしているところです。使用する準備ができていません。
    • RUNNING - クラスターは現在稼働中で、健全な状態です。注: クラスターのステータスは、マスターノードと最初の 2 つのプライマリーワーカーノード (プライマリーワーカーが 2 つ以上の場合は最後のプライマリーワーカーノード) が稼働した後に ‘creating’ から ‘running’ ステータスに変更されます。
    • ERROR - クラスターにエラーが発生しました。使用する準備ができていません。
    • ERROR_DUE_TO_UPDATE - クラスターを更新中にエラーが発生しました。クラスターへのジョブの送信は可能ですが、クラスターを更新できません。
    • DELETING - クラスターは削除中です。使用できません。
    • UPDATING - クラスターは更新中です。ジョブの受け入れと処理は継続しています。
    • STOPPING - クラスターは停止中です。使用できません。
    • STOPPED - クラスターは現在停止中です。使用する準備ができていません。
    • STARTING - クラスターは起動中です。使用する準備ができていません。
    • REPAIRING - クラスターは修理中です。使用する準備ができていません。
  • state_start_time
    タイプ: TIMESTAMP
    プロバイダー名: stateStartTime
    説明: 出力のみ。この状態になった時間 (Timestamp の JSON 表現を参照してください)。
  • substate
    タイプ: STRING
    プロバイダー名: substate
    説明: 出力のみ。Agent から報告されたステータスを含む、追加の状態情報。
    可能な値:
    • UNSPECIFIED - クラスターのサブステートは不明です。
    • UNHEALTHY - クラスターが不健全な状態であることが判明しています (例えば、重要なデーモンが動作していない、HDFS の容量が枯渇しているなど)。RUNNING 状態に適用されます。
    • STALE_STATUS - Agent が報告したステータスが古くなっています (Dataproc が Agent との通信を失うと発生する可能性があります)。RUNNING 状態に適用されます。

tags

タイプ: UNORDERED_LIST_STRING

virtual_cluster_config

タイプ: STRUCT
プロバイダー名: virtualClusterConfig
説明: オプション。仮想クラスター構成は、例えば Dataproc-on-GKE クラスターを作成するときなど、基盤となるコンピュートリソースを直接制御しない Dataproc クラスターを作成するときに使用されるものです。Dataproc はデフォルト値を設定することができ、クラスターが更新されると値が変更されることがあります。config または virtual_cluster_config のどちらか一方を正確に指定する必要があります。

  • auxiliary_services_config
    タイプ: STRUCT
    プロバイダー名: auxiliaryServicesConfig
    説明: オプション。このクラスターが使用する補助サービスの構成。
    • metastore_config
      タイプ: STRUCT
      プロバイダー名: metastoreConfig
      説明: オプション。このワークロードの Hive メタストア構成。
      • dataproc_metastore_service
        タイプ: STRING
        プロバイダー名: dataprocMetastoreService
        説明: 必須。既存の Dataproc Metastore サービスのリソース名。例: projects/[project_id]/locations/[dataproc_region]/services/[service-name]
    • spark_history_server_config
      タイプ: STRUCT
      プロバイダー名: sparkHistoryServerConfig
      説明: オプション。ワークロードの Spark History Server 構成。
      • dataproc_cluster
        タイプ: STRING
        プロバイダー名: dataprocCluster
        説明: オプション。ワークロードの Spark History Server として動作する、既存の Dataproc Cluster のリソース名。例: projects/[project_id]/regions/[region]/clusters/[cluster_name]
  • kubernetes_cluster_config
    タイプ: STRUCT
    プロバイダー名: kubernetesClusterConfig
    説明: 必須。Kubernetes 上で Dataproc クラスターを動作させるための構成。
    • gke_cluster_config
      タイプ: STRUCT
      プロバイダー名: gkeClusterConfig
      説明: 必須。GKE 上で Dataproc クラスターを動作させるための構成。
      • gke_cluster_target
        タイプ: STRING
        プロバイダー名: gkeClusterTarget
        説明: オプション。デプロイ先の GKE クラスター。Dataproc クラスターと同じプロジェクトおよびリージョンである必要があります (GKE クラスターはゾーンまたはリージョナルである可能性があります)。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster_id}’
      • namespaced_gke_deployment_target
        タイプ: STRUCT
        プロバイダー名: namespacedGkeDeploymentTarget
        説明: オプション。非推奨。gkeClusterTarget を使ってください。非推奨のベータ版でのみ使用されます。デプロイメントのターゲット。
        • cluster_namespace
          タイプ: STRING
          プロバイダー名: clusterNamespace
          説明: オプション。デプロイ先となる GKE クラスター内のネームスペース。
        • target_gke_cluster
          タイプ: STRING
          プロバイダー名: targetGkeCluster
          説明: オプション。デプロイ先となる GKE クラスター。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster_id}’
      • node_pool_target
        タイプ: UNORDERED_LIST_STRUCT
        プロバイダー名: nodePoolTarget
        説明: オプション。ワークロードがスケジュールされる GKE ノードプール。少なくとも 1 つのノードプールには、DEFAULT GkeNodePoolTarget.Role が割り当てられていなければなりません。GkeNodePoolTarget が指定されていない場合、Dataproc は DEFAULT GkeNodePoolTarget を作成します。各ロールは、1 つの GkeNodePoolTarget にのみ指定することができます。すべてのノードプールは、同じロケーション設定でなければなりません。
        • node_pool
          タイプ: STRING
          プロバイダー名: nodePool
          説明: 必須。対象の GKE ノードプール。フォーマット: ‘projects/{project}/locations/{location}/clusters/{cluster}/nodePools/{node_pool}’
        • node_pool_config
          タイプ: STRUCT
          プロバイダー名: nodePoolConfig
          説明: 入力のみ。GKE ノードプールの構成。指定された場合、Dataproc は指定された形状を持つノードプールを作成しようとします。同名のものがすでに存在する場合は、指定されたすべてのフィールドと照合されます。フィールドが異なる場合、仮想クラスターの作成は失敗します。省略した場合は、指定された名前のノードプールが使用されます。指定された名前のノードプールが存在しない場合、Dataproc はデフォルト値でノードプールを作成します。これは入力専用フィールドです。API から返されることはありません。
          • autoscaling
            タイプ: STRUCT
            プロバイダー名: autoscaling
            説明: オプション。このノードプールのオートスケーラ構成。有効な構成が存在する場合にのみ、オートスケーラが有効になります。
            • max_node_count
              タイプ: INT32
              プロバイダー名: maxNodeCount
              説明: ノードプールの最大ノード数。min_node_count 以上で、かつ 0 よりも大きい値である必要があります。注: クォータはクラスターをスケールアップするのに十分な値でなければなりません。
            • min_node_count
              タイプ: INT32
              プロバイダー名: minNodeCount
              説明: ノードプールの最小ノード数。0 以上かつ max_node_count 以下でなければなりません。
          • config
            タイプ: STRUCT
            プロバイダー名: config
            説明: オプション。ノードプールの構成。
            • accelerators
              タイプ: UNORDERED_LIST_STRUCT
              プロバイダー名: accelerators
              説明: オプション。各ノードにアタッチするハードウェアアクセラレーターのリストです。
              • accelerator_count
                タイプ: INT64
                プロバイダー名: acceleratorCount
                説明: インスタンスに公開されるアクセラレーターカードの数。
              • accelerator_type
                タイプ: STRING
                プロバイダー名: acceleratorType
                説明: アクセラレータータイプのリソース名 (Compute Engine の GPU を参照)。
              • gpu_partition_size
                タイプ: STRING
                プロバイダー名: gpuPartitionSize
                説明: GPU 上に作成するパーティションのサイズ。有効な値は、NVIDIA 移行ユーザーガイドに記載されています。
            • boot_disk_kms_key
              タイプ: STRING
              プロバイダー名: bootDiskKmsKey
              説明: オプション。ノードプールの各ノードにアタッチされている起動ディスクを暗号化するための CMEK (Customer Managed Encryption Key。以下のフォーマットでキーを指定します: projects/KEY_PROJECT_ID/locations/LOCATION /keyRings/RING_NAME/cryptoKeys/KEY_NAME
            • local_ssd_count
              タイプ: INT32
              プロバイダー名: localSsdCount
              説明: オプション。ノードにアタッチするローカル SSD ディスクの数で、ゾーンごとに許容されるディスクの最大数によって制限されます (ローカル SSD の追加を参照してください)。
            • machine_type
              タイプ: STRING
              プロバイダー名: machineType
              説明: オプション。Compute Engine のマシンタイプの名前です。
            • min_cpu_platform
              タイプ: STRING
              プロバイダー名: minCpuPlatform
              説明: オプション。このインスタンスで使用される最小 CPU プラットフォームです。インスタンスは、指定された CPU プラットフォームまたはより新しい CPU プラットフォームでスケジュールされる可能性があります。“Intel Haswell” や “Intel Sandy Bridge” など、CPU プラットフォームのフレンドリーな名前を指定します。
            • preemptible
              タイプ: BOOLEAN
              プロバイダー名: preemptible
              説明: オプション。レガシーのプリエンプト可能 VM インスタンスとしてノードを作成するかどうか。最大寿命のないプリエンプト可能 VM インスタンス、スポット VM も参照してください。レガシーおよびスポットのプリエンプト可能ノードは、CONTROLLER ロールを持つノードプールや、CONTROLLER ロールが割り当てられていない場合は DEFAULT ノードプールで使用できません (DEFAULT ノードプールが CONTROLLER ロールを引き継ぎます)。
            • spot
              タイプ: BOOLEAN
              プロバイダー名: spot
              説明: オプション。スポット VM インスタンスとしてノードを作成するかどうか。スポット VM は、レガシーのプリエンプト可能 VM の最新のアップデートです。スポット VM には最大寿命はありません。レガシーおよびスポットのプリエンプト可能ノードは、CONTROLLER ロールを持つノードプールや、CONTROLLER ロールが割り当てられていない場合は DEFAULT ノードプールで使用できません (DEFAULT ノードプールが CONTROLLER ロールを引き継ぎます)。
          • locations
            タイプ: UNORDERED_LIST_STRING
            プロバイダー名: locations
            説明: オプション。Dataproc on GKE 仮想クラスターに関連付けられたノードプールノードが配置される Compute Engine ゾーンのリスト。注: 仮想クラスターに関連付けられたすべてのノードプールは、仮想クラスターと同じリージョンに配置され、そのリージョン内の同じゾーンに配置されなければなりません。ノードプール作成時に場所が指定されない場合、Dataproc on GKE がゾーンを選択します。
        • roles
          タイプ: UNORDERED_LIST_STRING
          プロバイダー名: roles
          説明: 必須。GKE ノードプールに関連するロール。
    • kubernetes_namespace
      タイプ: STRING
      プロバイダー名: kubernetesNamespace
      説明: オプション。デプロイ先となる Kubernetes クラスター内のネームスペース。このネームスペースが存在しない場合、作成されます。存在する場合、Dataproc は別の Dataproc VirtualCluster がその中にインストールされていないことを確認します。指定しない場合は、Dataproc クラスターの名前が使用されます。
    • kubernetes_software_config
      タイプ: STRUCT
      プロバイダー名: kubernetesSoftwareConfig
      説明: オプション。Kubernetes 上で動作するこの Dataproc クラスターのソフトウェア構成。
  • staging_bucket
    タイプ: STRING
    プロバイダー名: stagingBucket
    説明: オプション。ジョブの依存関係、構成ファイル、ジョブドライバーのコンソール出力をステージングするために使用される Cloud Storage バケット。ステージングバケットを指定しない場合、Cloud Dataproc はクラスターがデプロイされている Compute Engine ゾーンに従ってクラスタのステージングバケット用の Cloud Storage ロケーション (US、ASIA、EU) を決定し、このプロジェクトレベルのロケーションごとのバケットを作成して管理します (Dataproc のステージングと一時バケットを参照してください)。このフィールドは、Cloud Storage バケットへの gs://… URI ではなく、Cloud Storage バケット名を必要とします。