Recopilar logs de Google Cloud con una suscripción Pub/Sub Push

Esta página describe funciones obsoletas con información de configuración relevante para las suscripciones Pub/Sub Push legacy, útil para solucionar problemas o para modificar configuraciones legacy. La suscripción Pub/Sub Push se va a discontinuar por las siguientes razones:

  • En las VPC de Google Cloud, las nuevas suscripciones Push no pueden configurarse con endpoints externos (consulta la página Productos compatibles y limitaciones de Google Cloud para obtener más información).
  • La suscripción Push no proporciona compresión ni agrupación de eventos por lotes

La documentación de la suscripción Push sólo se mantiene para solucionar problemas o para modificar configuraciones legacy.

Utiliza una suscripción Pull con la plantilla Datadog Dataflow para reenviar tus logs de Google Cloud a Datadog. Para obtener instrucciones, consulta Recopilación de logs en la página de la integración Google Cloud.

Información general

Esta guía describe cómo reenviar logs desde los servicios de Google Cloud a Datadog a través de una suscripción Push a un tema de Google Cloud Pub/Sub.

Para recopilar logs de las aplicaciones que se ejecutan en GCE o GKE, también puedes utilizar el Datadog Agent.

Nota: Si tienes una VPC de Google Cloud en tu entorno de Google Cloud, la suscripción Push no podrá acceder a endpoints fuera de la VPC.

Configuración

Requisitos previos

La integración de Google Cloud Platform se ha instalado correctamente.

Crear un tema de Cloud Pub/Sub

  1. Ve a la consola de Cloud Pub/Sub y crea un nuevo tema.

    Crear un tema sin una suscripción por defecto

  2. Proporciona un nombre explícito para ese tema como export-logs-to-datadog y haz clic en Create (Crear).

Advertencia: Los pub/subs están sujetos a cuotas y limitaciones de Google Cloud. Si el número de logs que tienes es superior a esas limitaciones, Datadog te recomienda dividir tus logs en varios temas. Consulta la sección Monitorizar el reenvío de logs para obtener información sobre cómo configurar la monitorización de notificaciones si te acercas a esos límites.

Reenvía logs a Datadog con una suscripción Cloud Pub/Sub

  1. En la consola Cloud Pub/Sub, selecciona Subscriptions (Suscripciones) en el menú de navegación de la izquierda. Haz clic en Create Subscription (Crear suscripción).
  2. Crea un ID de suscripción y selecciona el tema que creaste anteriormente.
  3. Selecciona el método Push e introduce el siguiente comando, sustituyendo <DATADOG_API_KEY> por el valor de una clave API de Datadog válida:
https://gcp-intake.logs./api/v2/logs?dd-api-key=<DATADOG_API_KEY>&dd-protocol=gcp

Nota: Asegúrate de que el selector Datadog site de la derecha de la página está configurado con tu sitio de Datadog antes de copiar el comando anterior.

  1. Configura cualquier opción adicional, como Subscription expiration (Vencimiento de suscripción), Acknowledgment deadline (Fecha límite para acuse de recibo), Message retention duration (Plazo de conservación de mensajes) o Dead lettering (Mensajes fallidos).
  2. En Retry policy (Política de reintentos), selecciona Retry after exponential backoff delay (Reintentar luego del retraso del retroceso exponencial).
  3. Haz clic en Create (Crear) en la parte inferior.

El Pub/Sub está listo para recibir logs de la gestión de logs de Google Cloud y reenviarlos a Datadog.

Exportar logs desde Google Cloud

  1. Ve a la página del Explorador de logs Google Cloud y filtra los logs que deben exportarse.

  2. En la pestaña de Log Router (Enrutador de logs), selecciona Create Sink (Crear sumidero de datos).

  3. Indica un nombre para el sumidero de datos.

  4. Elige Cloud Pub/Sub como destino y selecciona el pub/sub que se ha creado a tal efecto. Nota: El pub/sub puede estar ubicado en un proyecto diferente.

    Exportar logs de Google Cloud Pub/Sub a Pub Sub

  5. Haz clic en Create Sink (Crear sumidero de datos) y espera a que aparezca el mensaje de confirmación.

Nota: Es posible crear varias exportaciones desde la gestión de logs Google Cloud al mismo Pub/Sub con diferentes sumideros de datos.

Monitorizar el reenvío de logs

Los pub/subs están sujetos a cuotas y limitaciones de Google Cloud. Si el número de logs que tienes es superior a esas limitaciones, Datadog te recomienda dividir tus logs en varios temas, utilizando diferentes filtros.

Para recibir una notificación automática cuando alcances esta cuota, activa la integración de métricas de Pub/Sub y configura un monitor de métricas gcp.pubsub.subscription.num_outstanding_messages . Filtra este monitor en la suscripción que exporta logs a Datadog para asegurarte de que nunca supere los 1000, como en el siguiente ejemplo:

Monitorización de Pub Sub

Muestreo de logs

También puedes muestrear logs mientras realizas la consulta utilizando la función de muestreo. Por ejemplo, para incluir sólo el 10% de los logs, utiliza sample(insertId, 0.1).

Referencias adicionales

Más enlaces, artículos y documentación útiles:

Aprender a explorar tus logsDOCUMENTACIÓN more more Realizar análisis de logsDOCUMENTACIÓN more more Aprender a procesar tus logsDOCUMENTACIÓN more more Enviar logs a Datadog mientras se reducen los costes de transferencia de datosGUÍA more more