Google BigQuery

概要

BigQuery は、Google が提供するフルマネージド型の企業向け分析用データウェアハウスです。ペタバイト規模の処理を低コストで行うことができます。

Google BigQuery からメトリクスを取得して、以下のことができます。

  • BigQuery クエリのパフォーマンスを視覚化。
  • BigQuery クエリのパフォーマンスをアプリケーションと関連付け。

セットアップ

インストール

Google Cloud Platform インテグレーションをまだセットアップしていない場合は、最初にセットアップします。これ以外に必要なインストール手順はありません。

ログの収集

Google BigQuery のログは Stackdriver により収集され、HTTP プッシュフォワーダーを使用して Cloud Pub/Sub へ送信されます。HTTP プッシュフォワーダーを使用した Cloud Pub/Sub をまだセットアップしていない場合は、これをセットアップしてください。

セットアップが完了したら、Google BigQuery のログを Stackdriver から Pub/Sub へエクスポートします。

  1. Stackdriver ページに移動し、Google BigQuery のログを絞り込みます。
  2. Create Export をクリックし、シンクに名前を付けます。
  3. エクスポート先として「Cloud Pub/Sub」を選択し、エクスポート用に作成された Pub/Sub を選択します。注: この Pub/Sub は別のプロジェクト内に配置することもできます。
  4. 作成をクリックし、確認メッセージが表示されるまで待ちます。

収集データ

メトリクス

gcp.bigquery.job.num_in_flight
(gauge)		Number of in flight jobs
Shown as job
gcp.bigquery.query.count
(gauge)		Queries in flight
Shown as query
gcp.bigquery.query.execution_times.avg
(gauge)		Average of query execution times
Shown as second
gcp.bigquery.query.execution_times.samplecount
(count)		Sample Count of query execution times
Shown as second
gcp.bigquery.query.execution_times.sumsqdev
(gauge)		Sum of Squared Deviation for query execution times
Shown as second
gcp.bigquery.query.scanned_bytes
(rate)		Number of scanned bytes. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.query.scanned_bytes_billed
(rate)		Number of scanned bytes billed. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.query.statement_scanned_bytes
(rate)		Scanned bytes broken down by statement type. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.query.statement_scanned_bytes_billed
(rate)		Scanned bytes billed broken down by statement type. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.slots.allocated
(gauge)		Number of BigQuery slots currently allocated for project, slot allocation can be broken down based on reservation and job type
gcp.bigquery.slots.allocated_for_project
(gauge)		Number of BigQuery slots currently allocated for the project
gcp.bigquery.slots.allocated_for_project_and_job_type
(gauge)		Number of BigQuery slots currently allocated for the project and job type
gcp.bigquery.slots.allocated_for_reservation
(gauge)		Number of BigQuery slots currently allocated for project in the reservation
gcp.bigquery.slots.total_allocated_for_reservation
(gauge)		Number of BigQuery slots currently allocated across all projects in the reservation
gcp.bigquery.storage.stored_bytes
(gauge)		Number of bytes stored. Note: this metric is available with a 3h delay
Shown as byte
gcp.bigquery.storage.table_count
(gauge)		Number of tables. Note: this metric is available with a 3h delay
Shown as table
gcp.bigquery.storage.uploaded_bytes
(rate)		Number of uploaded bytes. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.storage.uploaded_bytes_billed
(rate)		Number of uploaded bytes billed. Note: this metric is available with a 6h delay
Shown as byte
gcp.bigquery.storage.uploaded_row_count
(rate)		Number of uploaded rows. Note: this metric is available with a 6h delay
Shown as row

イベント

Google BigQuery インテグレーションには、イベントは含まれません。

サービスのチェック

Google BigQuery インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

ご不明な点は、Datadog のサポートチームまでお問合せください。