Google BigQuery

Únete a la vista previa.

La monitorización ampliada de BigQuery está en vista previa. Usa este formulario para inscribirte y obtener información sobre tu rendimiento de consulta.

Request Access

Información general

La integración de Datadog con Google BigQuery proporciona monitorización para tus cargas de trabajo de análisis de datos.

Al conectar BigQuery con Datadog (mediante la integración con Google Cloud Platform), se obtiene información en tiempo real sobre el rendimiento de las consultas, el consumo de recursos y los factores de coste.

Esta integración te permite realizar un seguimiento de métricas críticas, como los tiempos de finalización de trabajos, el uso de ranuras y los bytes procesados, lo que te permite identificar latencias elevadas durante la ejecución de trabajos de BigQuery.

Configuración

Instalación

Si aún no lo ha hecho, configura primero la integración de Google Cloud Platform. No es necesario realizar ningún otro paso de instalación.

Monitorización ampliada de BigQuery

La monitorización ampliada de BigQuery te proporciona una visibilidad granular de tus entornos BigQuery.

Consulta la documentación sobre la integración de Google Cloud para obtener instrucciones detalladas sobre la configuración.

Recopilación de logs

Los logs de Google BigQuery se recopilan con Google Cloud Logging y se envían a un trabajo de Dataflow a través de un tema Pub/Sub en la nube. Si aún no lo has hecho, configura el registro con la plantilla de Datadog Dataflow.

Una vez hecho esto, exporta tus logs de Google BigQuery desde Google Cloud Logging al tema Pub/Sub:

  1. Ve a la página de Google Cloud Logging y filtra los logs de Google BigQuery.
  2. Haz clic en Create Export (Crear exportación) y asigna un nombre al sumidero.
  3. Elige “Cloud Pub/Sub” como destino y selecciona el tema Pub/Sub creado para tal fin. Nota: El tema Pub/Sub puede encontrarse en un proyecto diferente.
  4. Haz clic en Create (Crear) y espera a que aparezca el mensaje de confirmación.

Datos recopilados

Métricas

gcp.bigquery.job.num_in_flight
(gauge)		Número de trabajos en vuelo.
Se muestra como trabajo
gcp.bigquery.query.biengine_fallback_count
(count)		Las razones por las que las consultas fallaron en la ejecución del BI Engine.
Se muestra como consulta
gcp.bigquery.query.column_metadata_index_staleness.avg
(gauge)		La distribución media de estancamiento en milisegundos del índice de metadatos de columna para las consultas que utilizaron con éxito el índice de metadatos de columna en el último intervalo de muestreo.
Se muestra como milisegundo
gcp.bigquery.query.column_metadata_index_staleness.samplecount
(gauge)		El recuento de muestras para la distribución de la caducidad en milisegundos del índice de metadatos de columna para las consultas que utilizaron con éxito el índice de metadatos de columna en el último intervalo de muestreo.
Se muestra como milisegundo
gcp.bigquery.query.column_metadata_index_staleness.sumsqdev
(gauge)		La suma de la desviación al cuadrado para la distribución de la caducidad en milisegundos del índice de metadatos de columna para las consultas que utilizaron con éxito el índice de metadatos de columna en el último intervalo de muestreo.
Se muestra como milisegundo
gcp.bigquery.query.count
(gauge)		Consultas en vuelo.
Se muestra como consulta
gcp.bigquery.query.execution_count
(count)		Número de consultas ejecutadas.
Se muestra como consulta
gcp.bigquery.query.execution_times.avg
(gauge)		Media de los tiempos de ejecución de las consultas.
Se muestra como segundo
gcp.bigquery.query.execution_times.samplecount
(count)		Recuento de muestra de los tiempos de ejecución de la consulta.
Se muestra como segundo
gcp.bigquery.query.execution_times.sumsqdev
(gauge)		Suma de la desviación al cuadrado de los tiempos de ejecución de las consultas.
Se muestra como segundo
gcp.bigquery.query.scanned_bytes
(rate)		Número de bytes escaneados. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.query.scanned_bytes_billed
(rate)		Número de bytes escaneados facturados. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.query.statement_scanned_bytes
(count)		Bytes escaneados desglosados por tipo de extracto. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.query.statement_scanned_bytes_billed
(count)		Bytes escaneados facturados desglosados por tipo de extracto. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.slots.allocated
(gauge)		Número de ranuras de BigQuery asignadas actualmente para un proyecto, la asignación de ranuras puede desglosarse en función de la reserva y del tipo de trabajo.
gcp.bigquery.slots.allocated_for_project
(gauge)		Número de ranuras de BigQuery asignadas actualmente para un proyecto.
gcp.bigquery.slots.allocated_for_project_and_job_type
(gauge)		Número de ranuras de BigQuery asignadas actualmente para el tipo de proyecto y trabajo.
gcp.bigquery.slots.allocated_for_reservation
(gauge)		Número de ranuras de BigQuery asignadas actualmente para un proyecto en la reserva.
gcp.bigquery.slots.assigned
(gauge)		Número de ranuras asignadas a un proyecto u organización dado.
gcp.bigquery.slots.capacity_committed
(gauge)		El total de compromisos de capacidad de ranuras adquiridas a través de este proyecto u organización de administrador.
gcp.bigquery.slots.max_assigned
(gauge)		El número máximo de ranuras asignadas al proyecto u organización dado.
gcp.bigquery.slots.total_allocated_for_reservation
(gauge)		Número de ranuras de BigQuery asignadas actualmente en todos los proyectos de la reserva.
gcp.bigquery.storage.insertall_inserted_bytes
(count)		El número de bytes cargados por proyecto utilizando la API InsertAll streaming.
Se muestra como byte
gcp.bigquery.storage.insertall_inserted_rows
(count)		El número de filas cargadas por el proyecto utilizando la API InsertAll streaming.
Se muestra como fila
gcp.bigquery.storage.stored_bytes
(gauge)		Número de bytes almacenados. Nota: Esta métrica está disponible con un retraso de tres horas.
Se muestra como byte
gcp.bigquery.storage.table_count
(gauge)		Número de tablas. Nota: Esta métrica está disponible con un retraso de tres horas.
Se muestra como tabla
gcp.bigquery.storage.uploaded_bytes
(count)		Número de bytes cargados. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.storage.uploaded_bytes_billed
(count)		Número de bytes cargados facturados. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como byte
gcp.bigquery.storage.uploaded_row_count
(count)		Número de filas cargadas. Nota: Esta métrica está disponible con un retraso de seis horas.
Se muestra como fila

Eventos

La integración Google BigQuery no incluye eventos.

Checks de servicio

La integración Google BigQuery no incluye checks de servicios.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.