El destino de Amazon S3 se encuentra disponible para la plantilla de Archivar logs. Usa este destino a fin de enviar tus logs en un formato que pueda volver a usar Datadog a un bucket de Amazon S3 para archivarlos. Debes configurar los archivos de log de Datadog si aún no lo has hecho y, a continuación, configurar el destino en la interfaz de usuario del pipeline.

Configurar los archivos de log

Si ya tienes un archivo de log de Datadog configurado para Observability Pipelines, pasa a Configurar el destino para tu pipeline.

Debes tener instalada la integración de AWS de Datadog para configurar los archivos de log de Datadog.

Create an Amazon S3 bucket

1. Navigate to Amazon S3 buckets.
2. Click Create bucket.
3. Enter a descriptive name for your bucket.
4. Do not make your bucket publicly readable.
5. Optionally, add tags.
6. Click Create bucket.

Set up an IAM policy that allows Workers to write to the S3 bucket

1. Navigate to the IAM console.
2. Select Policies in the left side menu.
3. Click Create policy.
4. Click JSON in the Specify permissions section.
5. Copy the below policy and paste it into the Policy editor. Replace <MY_BUCKET_NAME> and <MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1> with the information for the S3 bucket you created earlier.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "DatadogUploadAndRehydrateLogArchives",
               "Effect": "Allow",
               "Action": ["s3:PutObject", "s3:GetObject"],
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*"
           },
           {
               "Sid": "DatadogRehydrateLogArchivesListBucket",
               "Effect": "Allow",
               "Action": "s3:ListBucket",
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME>"
           }
       ]
   }
   

6. Click Next.
7. Enter a descriptive policy name.
8. Optionally, add tags.
9. Click Create policy.

Conectar el bucket de S3 a archivos de logs de Datadog

1. Navega a Reenvío de logs de Datadog.
2. Haz clic en New archive (Nuevo archivo).
3. Introduce un nombre de archivo descriptivo.
4. Añade una consulta que filtre todos los logs que pasen por los pipelines de log para que ninguno de esos logs entre en este archivo. Por ejemplo, añade la consulta observability_pipelines_read_only_archive, suponiendo que ningún log que pase por el pipeline tenga esa etiqueta añadida.
5. Selecciona AWS S3.
6. Selecciona la cuenta de AWS en la que se encuentra tu bucket.
7. Introduce el nombre del bucket de S3.
8. Opcionalmente, introduce una ruta.
9. Comprueba la declaración de confirmación.
10. Opcionalmente, añade etiquetas y define el tamaño máximo de escaneado para la rehidratación. Consulta Configuración avanzada para obtener más información.
11. Haz clic en Save (Guardar).

Para más información, consulta la documentación de archivos de log.

Configurar el destino para tu pipeline

Configura el destino de Amazon S3 y sus variables de entorno cuando configures un pipeline de Archivar logs. La siguiente información se configura en la interfaz de usuario del pipeline.

1. Enter the S3 bucket name for the S3 bucket you created earlier.
2. Enter the AWS region the S3 bucket is in.
3. Enter the key prefix.
   • Prefixes are useful for partitioning objects. For example, you can use a prefix as an object key to store objects under a particular directory. If using a prefix for this purpose, it must end in / to act as a directory path; a trailing / is not automatically added.
   • See template syntax if you want to route logs to different object keys based on specific fields in your logs.
   • Note: Datadog recommends that you start your prefixes with the directory name and without a lead slash (/). For example, app-logs/ or service-logs/.
4. Select the storage class for your S3 bucket in the Storage Class dropdown menu. If you are going to archive and rehydrate your logs:
   • Note: Rehydration only supports the following storage classes:
     • Standard
     • Intelligent-Tiering, only if the optional asynchronous archive access tiers are both disabled.
     • Standard-IA
     • One Zone-IA
   • If you wish to rehydrate from archives in another storage class, you must first move them to one of the supported storage classes above.
   • See the Example destination and log archive setup section of this page for how to configure your Log Archive based on your Amazon S3 destination setup.
5. Optionally, select an AWS authentication option. If you are only using the user or role you created earlier for authentication, do not select Assume role. The Assume role option should only be used if the user or role you created earlier needs to assume a different role to access the specific AWS resource and that permission has to be explicitly defined.
   If you select Assume role:
   1. Enter the ARN of the IAM role you want to assume.
   2. Optionally, enter the assumed role session name and external ID.
   • Note: The user or role you created earlier must have permission to assume this role so that the Worker can authenticate with AWS.

Example destination and log archive setup

If you enter the following values for your Amazon S3 destination:

• S3 Bucket Name: test-op-bucket
• Prefix to apply to all object keys: op-logs
• Storage class for the created objects: Standard

Then these are the values you enter for configuring the S3 bucket for Log Archives:

• S3 bucket: test-op-bucket
• Path: op-logs
• Storage class: Standard

Establecer las variables de entorno

There are no environment variables to configure.

Funcionamiento del destino

Procesamiento por lotes de eventos

Se elimina un lote de eventos cuando se cumple uno de estos parámetros. Consulta el procesamiento por lotes de eventos para obtener más información.