Google BigQuery
Rapport de recherche Datadog : Bilan sur l'adoption de l'informatique sans serveur Rapport : Bilan sur l'adoption de l'informatique sans serveur

Google BigQuery

Crawler Crawler

Présentation

BigQuery est l’entrepôt de données entièrement géré et à faible coût de Google qui stocke des pétaoctets de données à des fins d’analyse.

Recueillez des métriques de Google BigQuery pour :

  • Visualiser les performances de vos requêtes BigQuery
  • Corréler les performances de vos requêtes BigQuery avec vos applications

Implémentation

Installation

Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Google Cloud Platform. Aucune autre procédure d’installation n’est requise.

Collecte de logs

Les logs Google BigQuery sont recueillis avec Stackdriver et envoyés à un Cloud Pub/Sub via un redirecteur Push HTTP. Si vous ne l’avez pas déjà fait, configurez le Cloud Pub/Sub à l’aide d’un redirecteur Push HTTP.

Une fois cette opération effectuée, exportez vos logs Google BigQuery depuis Stackdriver vers le Pub/sub :

  1. Accédez à la page Stackdriver et filtrez les logs Google BigQuery.
  2. Cliquez sur Create Export et nommez le récepteur.
  3. Choisissez Cloud Pub/Sub comme destination et sélectionnez le Pub/Sub créé à cette fin. Remarque : le Pub/Sub peut se situer dans un autre projet.
  4. Cliquez sur Create et attendez que le message de confirmation s’affiche.

Données collectées

Métriques

gcp.bigquery.query.count
(count)
Queries in flight.
Shown as query
gcp.bigquery.query.execution_times.avg
(gauge)
Average of query execution times.
Shown as second
gcp.bigquery.query.execution_times.samplecount
(count)
Sample Count of query execution times.
Shown as second
gcp.bigquery.query.execution_times.sumsqdev
(gauge)
Sum of Squared Deviation for query execution times.
Shown as second
gcp.bigquery.query.scanned_bytes
(rate)
Number of scanned bytes. Note: this metric is available with a 12h delay
Shown as byte
gcp.bigquery.query.scanned_bytes_billed
(rate)
Number of scanned bytes billed. Note: this metric is available with a 12h delay
Shown as byte
gcp.bigquery.slots.allocated_for_project
(gauge)
Number of BigQuery slots currently allocated for the project.
Shown as resource
gcp.bigquery.slots.allocated_for_reservation
(gauge)
Number of BigQuery slots currently allocated for the reservation.
Shown as resource
gcp.bigquery.slots.total_available
(gauge)
Total number of BigQuery slots available for the project.
Shown as resource
gcp.bigquery.storage.stored_bytes
(gauge)
Number of bytes stored. Note: this metric is available with a 12h delay
Shown as byte
gcp.bigquery.storage.table_count
(gauge)
Number of tables. Note: this metric is available with a 12h delay
Shown as table
gcp.bigquery.storage.uploaded_bytes
(rate)
Number of uploaded bytes. Note: this metric is available with a 12h delay
Shown as byte
gcp.bigquery.storage.uploaded_bytes_billed
(rate)
Number of uploaded bytes billed. Note: this metric is available with a 12h delay
Shown as byte
gcp.bigquery.storage.uploaded_row_count
(rate)
Number of uploaded rows. Note: this metric is available with a 12h delay
Shown as row

Événements

L’intégration Google BigQuery n’inclut aucun événement.

Checks de service

L’intégration Google BigQuery n’inclut aucun check de service.

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.