El destino Google Cloud Storage está disponible para la plantilla Logs de archivos. Utiliza este destino para enviar tus logs en formato rehidratable en Datadog a un bucket de Google Cloud Storage para archivarlos. Debes configurar logs de archivos de Datadog, si aún no lo has hecho y, a continuación, debes configurar el destino en la interfaz de usuario del pipeline.

Configurar archivos de logs

Si ya tienes un archivo de log de Datadog configurado para Observability Pipelines, ve directamente a Configurar el destino de tu pipeline.

Para configurar archivos de logs de Datadog necesitas tener instalada la integración Google Cloud Platform de Datadog.

Crear un bucket de almacenamiento

1. Navega hasta Google Cloud Storage.
2. En la página Buckets, haz clic en Create (Crear) para crear un bucket para tus archivos…
3. Introduce un nombre para el bucket y elige dónde almacenar los datos.
4. Selecciona Fine-grained (Detallado) en la sección Choose how to control access to objects (Elegir cómo controlar el acceso a objetos).
5. No añadas una política de retención porque los datos más recientes necesitan ser reescritos en algunos casos poco frecuentes (típicamente un caso de tiempo de espera).
6. Haz clic en Create (Crear).

Crea una cuenta de servicio para permitir a los workers escribir en el bucket.

1. Crea una cuenta de servicio de Google Cloud Storage.
   • Concede a la cuenta de servicio permisos para tu bucket con los permisos Storage Admin y Storage Object Admin.
   • Descarga el archivo JSON de claves de la cuenta de servicio. Este es el archivo JSON de credenciales y debe colocarse en DD_OP_DATA_DIR/config. Puedes hacer referencia a este archivo cuando configures el [destino de Google Cloud Storage] (#set-up-the-destinations) en la interfaz de usuario del pipeline más adelante.
2. Sigue estas instrucciones para crear una clave de cuenta servicio. Elige json para el tipo de clave.

Conectar el bucket de almacenamiento a archivos de log de Datadog

1. Navega a Reenvío de logs de Datadog.
2. Haz clic en New archive (Nuevo archivo).
3. Introduce un nombre de archivo descriptivo.
4. Añade una consulta que filtre todos los logs que pasen por los pipelines de log para que ninguno de esos logs entre en este archivo. Por ejemplo, añade la consulta observability_pipelines_read_only_archive, suponiendo que ningún log que pase por el pipeline tenga esa etiqueta añadida.
5. Selecciona Google Cloud Storage.
6. Selecciona la cuenta de servicio en la que se encuentra tu bucket de almacenamiento.
7. Selecciona el proyecto.
8. Introduce el nombre del bucket de almacenamiento que creaste anteriormente.
9. También puedes introducir una ruta.
10. Opcionalmente, establece permisos, añade etiquetas y define el tamaño máximo de escaneo para la rehidratación. Consulta Configuración avanzada para obtener más información.
11. Haz clic en Save (Guardar).

Para más información, consulta la documentación de Archivos de logs.

Configurar el destino de tu pipeline

Configura el destino Amazon S3 y sus variables de entorno cuando configures un pipeline de logs de archivos. La siguiente información se configura en la interfaz de usuario del pipeline.

1. Introduce el nombre del bucket de almacenamiento de Google Cloud que creaste anteriormente.
2. Introduce la ruta al archivo JSON de credenciales que descargaste anteriormente.
3. Selecciona la clase de almacenamiento para los objetos creados.
4. Selecciona el nivel de acceso de los objetos creados.
5. Opcionalmente, introduce el prefijo. Los prefijos son útiles para particionar objetos. Por ejemplo, puedes utilizar un prefijo como clave de objeto para almacenar objetos en un directorio concreto. Si utilizas un prefijo con este fin, debe terminar en / para que actúe como una ruta de directorio; no se añade automáticamente una / al final.
6. Si lo deseas, haz clic en Add Header (Añadir encabezado) para añadir metadatos.

Configurar las variables de entorno

There are no environment variables to configure.

Cómo funciona el destino

Colocación de eventos en lotes

Un lote de eventos se descarga cuando se cumple uno de estos parámetros. Para obtener más información, consulta la colocación de eventos en lotes.