Utiliza esta guía para empezar a monitorizar tu entorno de Google Cloud. Esta estrategia simplifica la configuración de los entornos de Google Cloud con varios proyectos, lo que te permite maximizar la cobertura de la monitorización.
Consultar la lista completa de integraciones Google Cloud
La integración Google Cloud de Datadog recopila todas las métricas de Google Cloud. Datadog actualiza continuamente los documentos para mostrar todas las integraciones dependientes, pero la lista de integraciones a veces queda atrasada con respecto a las últimas métricas y servicios en la nube.
Configura la integración Google Cloud en Datadog para recopilar métricas y logs de tus servicios Google Cloud.
Requisitos previos
1. Si tu organización restringe las identidades por dominio, debes añadir la identidad de cliente de Datadog como valor autorizado en tu política. Identidad de cliente de Datadog: C0147pk0i
1. Si tu organización restringe las identidades por dominio, debes añadir la identidad de cliente de Datadog como valor autorizado en tu política. Identidad de cliente de Datadog: C03lf3ewa
2. La suplantación de cuentas de servicio y la detección automática de proyectos dependen de que tengas habilitados ciertos roles y API para monitorizar proyectos. Antes de empezar, asegúrate de que las siguientes API están habilitadas para cada uno de los proyectos que quieres monitorizar:
Permite a los desarrolladores gestionar la facturación de sus proyectos de Google Cloud Platform mediante programación. Consulta la documentación Cloud Cost Management (CCM) para obtener más información.
3. Asegúrate de que los proyectos que se están monitorizando no están configurados como proyectos de contexto que extraen métricas de otros múltiples proyectos.
Recopilación de métricas
Instalación
Se recomienda la monitorización a nivel de organización (o a nivel de carpeta) para una cobertura completa de todos los proyectos, incluidos los futuros proyectos que puedan crearse en una organización o carpeta.
Nota: Tu cuenta de usuario de Google Cloud Identity debe tener asignado el rol Admin en el contexto deseado para completar la configuración en Google Cloud (por ejemplo, Organization Admin).
1. Crear una cuenta de servicio de Google Cloud en el proyecto por defecto
Haz clic en Create service account (Crear cuenta de servicio) en la parte superior.
Asigna un nombre único a la cuenta de servicio.
Haz clic en Done (Listo) para finalizar la creación de la cuenta de servicio.
2. Añadir la cuenta de servicio a nivel de organización o de carpeta
En la consola de Google Cloud, ve a la página IAM.
Selecciona una carpeta u organización.
Para conceder un rol a una entidad que aún no tenga otros roles en el recurso, haz clic en Grant Access (Conceder acceso) e introduce el correo electrónico de la cuenta de servicio que creaste anteriormente.
Introduce la dirección de correo electrónico de la cuenta de servicio.
Asigna los siguientes roles:
Visor de cálculos proporciona acceso de solo lectura para obtener y enumerar recursos de Compute Engine
Visor de monitorización proporciona acceso de solo lectura a los datos de monitorización disponibles en tu entorno de Google Cloud
Nota: El rol Browser sólo es necesario en el proyecto por defecto proyecto de la cuenta de servicio. Otros proyectos sólo requieren los otros roles mencionados.
3. Añadir el elemento principal de Datadog a tu cuenta de servicio
Nota: Si previamente configuraste el acceso utilizando una entidad compartida de Datadog, puedes revocar el permiso de esa entidad después de completar estos pasos.
Haz clic en Add Google Cloud Account (Añadir cuenta de Google Cloud).
Si no tienes proyectos configurados, se te redirigirá automáticamente a esta página.
Copia tu entidad de Datadog y guárdala para la siguiente sección.
Nota: Mantén esta ventana abierta para la sección 4.
En la consola de Google Cloud, en el menú Service Accounts (Cuentas de servicio), busca la cuenta de servicio que creaste en la sección 1.
Ve a la pestaña Permisos y haz clic en Grant Access (Conceder acceso).
Pega tu entidad de Datadog en el cuadro de texto Nuevas entidades.
Asigna el rol de Creador de token de cuenta de servicio.
Haz clic en Save (Guardar).
4. Finalizar la configuración de la integración en Datadog
En su consola de Google Cloud, ve a la pestaña Cuenta de servicio > Detalles. En esta página, busca el correo electrónico asociado a esta cuenta de servicio de Google. Tiene el formato <SA_NAME>@<PROJECT_ID>.iam.gserviceaccount.com.
Copia este correo electrónico.
Vuelve al cuadro de configuración de la integración en Datadog (donde copiaste tu entidad de Datadog en la sección anterior).
Pega el correo electrónico que copiaste en Añadir correo electrónico de cuenta de servicio.
Haz clic en Verify and Save Account (Verificar y guardar cuenta).
Las métricas aparecen en Datadog aproximadamente 15 minutos después de la configuración.
Prácticas recomendadas para monitorizar varios proyectos
Permitir la asignación de costes y cuotas de API por proyecto
Por defecto, Google Cloud asigna el coste de monitorización de llamadas de API, así como el uso de cuotas de API, al proyecto que contiene la cuenta de servicio de esta integración. Como práctica recomendada para entornos Google Cloud con varios proyectos, habilita la asignación de costes por proyecto de monitorización de las llamadas de API y del uso de cuotas de API. Con esta opción habilitada, los costes y el uso de cuotas se asignan al proyecto que se consulta, en lugar del proyecto que contiene la cuenta de servicio. Esto proporciona visibilidad de los costes de monitorización generados por cada proyecto y también ayuda a prevenir que se alcancen los límites de tasa de API.
Para habilitar esta función:
Asegúrate de que la cuenta de servicio Datadog tiene el rol Consumidor de uso de servicios en el contexto deseado (carpeta u organización).
Haz clic en el conmutador Enable Per Project Quota (Habilitar cuota por proyecto) en la pestaña Projects (Proyectos) de la página de la integración Google Cloud.
Este método te permite monitorizar todos los proyectos visibles para una cuenta de servicio, asignando roles IAM en los proyectos pertinentes. Puedes asignar estos roles a proyectos individualmente o puedes configurar Datadog para monitorizar grupos de proyectos, asignando estos roles a nivel de organización o de carpeta. Asignar roles de esta manera permite a Datadog detectar automáticamente y monitorizar todos los proyectos en el contexto determinado, incluyendo los nuevos proyectos que puedan añadirse al grupo en el futuro.
Ve a la pestaña Permisos y haz clic en Grant Access (Conceder acceso).
Pega tu entidad de Datadog en el cuadro de texto Nuevas entidades.
Asigna el rol de Creador de token de cuenta de servicio y haz clic en SAVE (Guardar).
Nota: Si previamente configuraste el acceso utilizando una entidad compartida de Datadog, puedes revocar el permiso de esa entidad después de completar estos pasos.
3. Finalizar la configuración de la integración en Datadog
En tu consola de Google Cloud, ve a la pestaña Cuenta de servicio > Detalles. Una vez allí, busca el correo electrónico asociado a esta cuenta de servicio de Google. Tiene un formato parecido a <sa-name>@<project-id>.iam.gserviceaccount.com.
En el cuadro Añadir correo electrónico de cuenta de servicio, pega el correo electrónico que copiaste anteriormente.
Haz clic en Verify and Save Account (Verificar y guardar cuenta).
En aproximadamente quince minutos, las métricas aparecerán en Datadog.
Validación
Para ver tus métricas, utiliza el menú de la izquierda para ir a Métricas > Resumen y busca gcp:
Configuración
Limitar la recopilación de métricas por espacio de nombres de métricas
Opcionalmente, puedes elegir qué servicios de Google Cloud monitorizar con Datadog. La configuración de la recopilación de métricas de servicios específicos de Google te permite optimizar los costes de la API de monitorización de Google Cloud y, al mismo tiempo, conservar la visibilidad de tus servicios críticos.
En la pestaña Metric Collection (Recopilación de métricas) de la página de la integración Google Cloud de Datadog, desmarca los espacios de nombres de métricas que quieres excluir. También puedes desactivar la recopilación de todos los espacios de nombres de métricas.
Limitar la recopilación de métricas por etiqueta (tag)
Por defecto, verás todas tus instancias de Google Compute Engine (GCE) en la información general de la infraestructura Datadog. Datadog las etiqueta automáticamente con etiquetas (tags) de host GCE y con cualquier etiqueta (label) GCE que hayas añadido.
Opcionalmente, puedes utilizar etiquetas (tags) para limitar las instancias que se extraen en Datadog. En la pestaña Recopilación de métricas del proyecto, introduce las etiquetas (tags) en el cuadro de texto Limitar filtros de recopilación de métricas. Sólo se importarán a Datadog los hosts que coincidan con una de las etiquetas (tags) definidas. Puedes utilizar comodines (? para un solo carácter, * para varios caracteres), para buscar varios hosts coincidentes, o !, para excluir determinados hosts. Este ejemplo incluye todas las instancias de tamaño c1*, pero excluye los hosts de staging:
Reenvía los logs de tus servicios de Google Cloud a Datadog utilizando Google Cloud Dataflow y la plantilla de Datadog. Este método permite comprimir y agrupar los eventos antes de reenviarlos a Datadog.
Puedes utilizar el módulo terraform-gcp-datadog-integration para gestionar esta infraestructura a través de Terraform, o seguir las instrucciones de esta sección para:
Crear un tema y una suscripción pull Pub/Sub para recibir logs de un sumidero de logs configurado
Crear una cuenta de servicio del worker de Dataflow personalizada para proporcionar mínimo privilegio a tus workers del pipeline de Dataflow
Crear un trabajo de Dataflow utilizando la plantilla de Datadog para transmitir logs desde la suscripción Pub/Sub a Datadog
Tienes un control total sobre qué logs se envían a Datadog a través de los filtros de generación de logs que creas en el sumidero de logs, incluidos los logs de GCE y GKE. Consulta la página Lenguaje de consulta de generación de logs de Google para obtener información sobre la escritura de filtros. Para un examen detallado de la arquitectura creada, consulta Transmitir logs desde Google Cloud a Datadog en el Centro de arquitectura de la nube.
Nota: Debea habilitar la API de flujo de datos para utilizar Google Cloud Dataflow. Consulta Habilitación de las API en la documentación de Google Cloud para obtener más información.
Para recopilar logs de aplicaciones que se ejecutan en GCE o GKE, también puedes utilizar el Datadog Agent.
1. Crear un tema y una suscripción Cloud Pub/Sub
Ve a la consola de Cloud Pub/Sub y crea un nuevo tema. Selecciona la opción Add a default subscription (Añadir una suscripción por defecto) para simplificar la configuración.
Nota: También puedes configurar manualmente una suscripción Cloud Pub/Sub con el tipo de entrega Pull. Si creas tu suscripción Pub/Sub manualmente, deja la casilla Enable dead letteringdesmarcada. Para obtener más información, consulta Funciones de Pub/Sub no compatibles.
Proporciona un nombre explícito para ese tema como export-logs-to-datadog y haz clic en Create (Crear).
Crea un tema adicional y una suscripción por defecto para gestionar cualquier mensaje de log rechazado por la API de Datadog. El nombre de este tema se utiliza en la plantilla de Datadog Dataflow como parte de la configuración de la ruta para el parámetro de plantillaoutputDeadletterTopic. Una vez que hayas inspeccionado y corregido cualquier problema en los mensajes fallidos, reenvíalos al tema export-logs-to-datadog original ejecutando un trabajo de plantilla Pub/Sub a Pub/Sub.
Datadog recomienda crear un secreto en Secret Manager con el valor válido de tu clave de API de Datadog, para utilizarlo posteriormente en la plantilla de Datadog Dataflow.
Advertencia: Las Cloud Pub/Subs están sujetas a cuotas y limitaciones de Google Cloud. Si el número de logs que tienes supera estas limitaciones, Datadog te recomienda dividir tus logs en diferentes temas. Para obtener información sobre cómo configurar tus notificaciones de monitor si te acercas a esos límites, consulta la sección Monitorizar el reenvío de logs Pub/Sub.
2. Crear una cuenta de servicio de worker de Dataflow personalizada
El comportamiento predeterminado de los workers de pipelines de Dataflow consiste en utilizar la cuenta de servicio de Compute Engine por defecto de tu proyecto, que concede permisos a todos los recursos del proyecto. Si estás reenviando logs desde un entorno de Producción, deberías crear una cuenta de servicio de worker personalizada con solo los roles y permisos necesarios, y asignar esta cuenta de servicio a tus workers de pipelines de Dataflow.
Ve a la página Cuentas de servicio en la consola de Google Cloud y selecciona tu proyecto.
Haz clic en CREATE SERVICE ACCOUNT (Crear cuenta de servicio) y asigna un nombre descriptivo a la cuenta de servicio. Haz clic en CREATE AND CONTINUE (Crear y continuar).
Añade los roles en la tabla de permisos necesarios y haz clic en DONE (Listo).
roles/pubsub.publisher Permite que esta cuenta de servicio publique mensajes fallidos en una suscripción independiente, lo que permite analizar o reenviar los logs.
roles/storage.objectAdmin Permite que esta cuenta de servicio lea y escriba en el bucket de almacenamiento en la nube especificado para archivos de staging.
Nota: Si no creas una cuenta de servicio personalizada para los workers de pipelines de Dataflow, asegúrate de que la cuenta de servicio predeterminada de Compute Engine tenga los permisos requeridos anteriores.
3. Exportar logs desde un tema Google Cloud Pub/Sub
En la pestaña de Log Router (Enrutador de logs), selecciona Create Sink (Crear sumidero de datos).
Indica un nombre para el sumidero de datos.
Elige Cloud Pub/Sub como destino y selecciona el tema Cloud Pub/Sub creado para tal fin. Nota: El tema Cloud Pub/Sub puede encontrarse en un proyecto diferente.
Elige los logs que quieres incluir en el sumidero con un filtro opcional de inclusión o exclusión. Puedes filtrar los logs con una consulta de búsqueda o utilizar la función de muestreo. Por ejemplo, para incluir solo el 10% de los logs con un nivel de severity de ERROR, crea un filtro de inclusión con severity="ERROR" AND sample(insertId, 0.1).
Haz clic en Create Sink (Crear sink).
Nota: Es posible crear varias exportaciones desde Google Cloud Logging al mismo tema Cloud Pub/Sub con diferentes sumideros.
Asigna un nombre al trabajo y selecciona un endpoint regional de Dataflow.
Selecciona Pub/Sub to Datadog en el desplegable Plantilla de Dataflow. Aparecerá la sección Parámetros requeridos.
a. Selecciona la suscripción de entrada en el desplegable Suscripción de entrada Pub/Sub.
b. Introduce lo siguiente en el campo URL de la API de logs de Datadog:
https://
Nota: Asegúrate de que el selector de sitios de Datadog a la derecha de la página está configurado con tu sitio de Datadog antes de copiar la URL de arriba.
c. Selecciona el tema creado para recibir fallos de mensajes en el desplegable Tema Pub/Sub de salida de mensajes muertos.
d. Especifica una ruta para los archivos temporales en tu bucket de almacenamiento en el campo Ubicación temporal.
En Parámetros opcionales, marca Include full Pub/Sub message in the payload.
Si creaste un secreto en Secret Manager con el valor de tu clave de API Datadog, como se menciona en el paso 1, introduce el nombre de recurso del secreto en el campo ID de Google Cloud Secret Manager.
Consulta Parámetros de plantilla en la plantilla de Dataflow para obtener más información sobre el uso de las demás opciones disponibles:
apiKeySource=KMS con apiKeyKMSEncryptionKey configurado con tu ID de clave de Cloud KMS y apiKey configurado con la clave de API encriptada.
No recomendado: apiKeySource=PLAINTEXT con apiKey configurada con la clave de API en texto sin formato.
Si creaste una cuenta de servicio de worker personalizada, selecciónala en el desplegable Correo electrónico de cuenta de servicio.
Haz clic en RUN JOB (Ejecutar trabajo).
Nota: Si tienes una VPC compartida, consulta la página Especificar una red y subred en la documentación de Dataflow para obtener directrices sobre cómo especificar los parámetros Network y Subnetwork.
Validación
Los nuevos eventos de generación de logs enviados al tema Cloud Pub/Sub aparecen en el Datadog Log Explorer.
gcp.pubsub.subscription.num_undelivered_messages para el número de mensajes pendientes de entrega
gcp.pubsub.subscription.oldest_unacked_message_age para la antigüedad del mensaje no confirmado más antiguo de una suscripción
Utiliza las métricas anteriores con un monitor de métricas para recibir alertas de mensajes en tus suscripciones de entrada y de mensajes no entregados.
Monitorizar el pipeline de Dataflow
Utiliza la integración de Google Cloud Dataflow de Datadog para monitorizar todos los aspectos de tus pipelines de Dataflow. Puedes ver todas tus métricas claves de Dataflow en el dashboard predefinido, enriquecido con datos contextuales, como información sobre las instancias de GCE que ejecutan tus cargas de trabajo de Dataflow y el rendimiento de tu Pub/Sub.
La documentación anterior de la suscripción Push sólo se mantiene para solucionar problemas o modificar configuraciones legacy.
Utiliza una suscripción Pull con la plantilla de Datadog Dataflow, como se describe en Método Dataflow, para reenviar tus logs desde Google Cloud a Datadog.
Monitorización ampliada de BigQuery
Únete a la vista previa
La monitorización ampliada de BigQuery está en vista previa. Utiliza este formulario para inscribirte y empezar a obtener información sobre el rendimiento de tus consultas.
Haz clic en el conmutador Enable Query Performance (Habilitar consulta del rendimiento).
Monitorización de la calidad de los datos de BigQuery
La monitorización de la calidad de los datos de BigQuery proporciona métricas de calidad de tus tablas de BigQuery (desde la relevancia y las actualizaciones al recuento de filas y el tamaño). Explora los datos de tus tablas en profundidad en la página de monitorización de la calidad de los datos.
Para recopilar métricas de calidad, concede el rol BigQuery Metadata Viewer a la cuenta de servicio Datadog para cada tabla de BigQuery que estés utilizando.
Nota: El BigQuery Metadata Viewer puede aplicarse a nivel de tabla, conjunto de datos, proyecto u organización de BigQuery.
Para la monitorización de la calidad de los datos de todas las tablas de un conjunto de datos, concede acceso a nivel de conjunto de datos.
Para la monitorización de la calidad de los datos de todos los conjuntos de datos de un proyecto, concede acceso a nivel de proyecto.
Haz clic en el conmutador Enable Data Quality (Habilitar calidad de los datos).
Conservación de logs de trabajos de BigQuery
Datadog recomienda crear un nuevo índice de logs llamado data-observability-queries e indexar tus logs de trabajos de BigQuery durante 15 días. Utiliza el siguiente filtro de índice para extraer los logs:
Seleccione Habilitar recopilación de recursos en la pestaña Recopilación de recursos de la integración de Google Cloud Page ( página). Esto le permite recibir eventos de recursos en Datadog cuando el Inventario de activos en la nube de Google detecta cambios en sus recursos en la nube.
Luego, sigue los pasos que se indican a continuación para reenviar eventos de cambio de un tema Pub/Sub al Event Explorer de Datadog.
Introduce export-asset-changes-to-datadog para el nombre de la suscripción.
Selecciona el tema Cloud Pub/Sub creado anteriormente.
Selecciona Pull como tipo de entrega.
Haz clic en CREATE (Create).
Conceder acceso
Para leer desde esta suscripción Pub/Sub, la cuenta de servicio Google Cloud utilizada por la integración necesita el permiso pubsub.subscriptions.consume para la suscripción. Un rol predeterminado con permisos mínimos que permite esto es el rol Suscriptor Pub/Sub. Sigue los pasos que se indican a continuación para conceder este rol:
En el panel de información situado a la derecha de la página, haz clic en la pestaña Permisos. Si no ves el panel de información, haz clic en SHOW INFO PANEL (Mostrar panel de información).
Haz clic en ADD PRINCIPAL (Añadir entidad).
Introduce el correo electrónico de la cuenta de servicio utilizada por la integración Datadog Google Cloud. Puedes encontrar una lista de las cuentas de servicio a la izquierda de la pestaña Configuration (Configuración) en la página de la integración Google Cloud en Datadog.
Crear un flujo de recursos
Ejecuta el siguiente comando en Cloud Shell o la CLI gcloud para crear un flujo de Cloud Asset Inventory que envíe eventos de cambios al tema Pub/Sub creado anteriormente.
Actualiza los valores de los parámetros como se indica:
<PROJECT_ID>: tu ID de proyecto de Google Cloud.
<TOPIC_NAME>: Nombre del tema Pub/Sub que se vinculará a la suscripción export-asset-changes-to-datadog.
<SERVICE_ACCOUNT_EMAIL>: Correo electrónico de la cuenta de servicio utilizada por la integración Datadog Google Cloud.
<ORGANIZATION_ID>: Tu ID de organización de Google Cloud.
<FEED_NAME>: Nombre descriptivo del flujo de Cloud Asset Inventory.
<ASSET_NAMES>: Lista separada por comas de nombres completos de recursos de los que recibir eventos de cambio. Opcional si se especifica asset-types.
<ASSET_TYPES>: Lista separada por comas de tipos de recursos de los que recibir eventos de cambio. Opcional si se especifica asset-names.
<CONTENT_TYPE>: Opcionaltipo de contenido de recursos del que recibir eventos de cambio.
Datadog recomienda configurar el parámetro asset-types con la expresión regular .* para recopilar los cambios de todos los recursos.
Nota: Debes especificar al menos un valor para los parámetros asset-names o asset-types.
Consulta la referencia gcloud asset feeds create para ver la lista completa de parámetros configurables.
Activar la recopilación de cambios de recursos
Haz clic en Enable Resource Changes Collection (Habilitar recopilación de cambios de recursos) en la pestaña de recopilación de recursos de la página de la integración Google Cloud.
Private Service Connect sólo está disponible para los sitios US5 y EU de Datadog.
Utiliza la integración Google Cloud Private Service Connect para visualizar conexiones, datos transferidos y paquetes descartados a través de Private Service Connect. Esto te proporciona una visibilidad de las métricas importantes de tus conexiones de Private Service Connect, tanto de productores como de consumidores.
Private Service Connect (PSC) es un producto de red de Google Cloud que te permite acceder a servicios de Google Cloud, a servicios de socios externos y a aplicaciones de propiedad de la empresa directamente desde tu Virtual Private Cloud (VPC).
Fracción de la CPU asignada que está actualmente en uso en la instancia. Ten en cuenta que algunos tipos de máquinas permiten ráfagas por encima del 100% de uso. Se muestra como fracción
Métricas acumulativas
Las métricas acumulativas se importan a Datadog con una métrica .delta para cada nombre de métrica. Una métrica acumulativa es una métrica cuyo valor aumenta constantemente con el tiempo. Por ejemplo, una métrica para sent bytes podría ser acumulativa. Cada valor registra el número total de bytes enviados por un servicio en ese momento. El valor delta representa el cambio desde la medición anterior.
Por ejemplo:
gcp.gke.container.restart_count es una métrica ACUMULATIVA. Al importar esta métrica como una métrica acumulativa, Datadog añade la métrica gcp.gke.container.restart_count.delta que incluye los valores delta (a diferencia del valor agregado emitido como parte de la métrica ACUMULATIVA). Consulta los tipos de métricas de Google Cloud para obtener más información.
Eventos
Todos los eventos de servicio generados por tu Google Cloud Platform se reenvían a tu Datadog Events Explorer.
Checks de servicio
La integración Google Cloud Platform no incluye checks de servicios.
Etiquetas (Tags)
Las etiquetas (tags) se asignan automáticamente en función de diferentes opciones de configuración de Google Cloud Platform y Google Compute Engine. La etiqueta (tag) project_id se añade a todas las métricas. Las etiquetas (tags) adicionales se recopilan de Google Cloud Platform cuando están disponibles y varían en función del tipo de métrica.
Además, Datadog recopila lo siguiente como etiquetas (tags):
Cualquier host con las etiquetas (labels) <key>:<value>.
Etiquetas (labels) personalizadas de Google Pub/Sub, GCE, Cloud SQL y Cloud Storage.
Solucionar problemas
¿Metadatos incorrectos para las métricas gcp.logging definidas por el usuario?
En el caso de las métricas gcp.logging no estándar, como las métricas que van más allá de las métricas de generación de logs predefinidas de Datadog, es posible que los metadatos aplicados no sean coherentes con Google Cloud Logging.
En estos casos, los metadatos deben definirse manualmente yendo a la página de resumen de métricas, buscando y seleccionando la métrica en cuestión, y haciendo clic en el icono del lápiz situado junto a los metadatos.
