Descripción general

Utilice el destino de Datadog Archives para enviar registros a Amazon S3 para archivado en formato rehidratable de Datadog. Luego puede consultar estos registros con Archive Search. Utilice el modo Search & Rehydration de Archive Search cuando necesite reindexar resultados para obtener acceso completo a la plataforma.

Nota: Utilice el destino Amazon S3 para enviar sus registros a Amazon S3 en formato JSON o Parquet.

También puede enviar registros a Snowflake utilizando el destino de Datadog Archives.

Requisitos previos

Para utilizar el Datadog Archives destination, debe instalar la integración de AWS de Datadog para poder configurar Datadog Log Archives.

Configurar Log Archives

Si ya tiene configurado Datadog Log Archives, pase a Set up the destination for your pipeline.

Create an Amazon S3 bucket

1. Navigate to Amazon S3 buckets.
2. Click Create bucket.
3. Enter a descriptive name for your bucket.
4. Do not make your bucket publicly readable.
5. Optionally, add tags.
6. Click Create bucket.

Configure una política de IAM que permita a los Workers escribir en el bucket de S3

1. Navegue a la consola de IAM.
2. Seleccione Policies en el menú del lado izquierdo.
3. Haga clic en Create policy.
4. Haga clic en JSON en la sección Specify permissions.
5. Copie la siguiente política y péguela en el Policy editor. Reemplace <MY_BUCKET_NAME_1> y <MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1> con la información del bucket de S3 que creó en la sección anterior.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "DatadogUploadAndRehydrateLogArchives",
               "Effect": "Allow",
               "Action": ["s3:PutObject", "s3:GetObject"],
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1>/*"
           },
           {
               "Sid": "DatadogRehydrateLogArchivesListBucket",
               "Effect": "Allow",
               "Action": "s3:ListBucket",
               "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>"
           }
       ]
   }
   

6. Haga clic en Siguiente.
7. Ingrese un nombre descriptivo para la política.
8. Opcionalmente, agregue etiquetas.
9. Haga clic en Create policy.

Conecte el bucket de S3 a Datadog Log Archives

1. Vaya a Log Forwarding de Datadog.
2. Haga clic en New archive.
3. Ingrese un nombre descriptivo para el archivo.
4. Agregue una consulta que filtre todos los registros que pasan por las canalizaciones de registros para que ninguno de esos registros vaya a este archivo. Por ejemplo, agregue la consulta observability_pipelines_read_only_archive, asumiendo que ningún registro que pase por la canalización tiene esa etiqueta agregada.
5. Seleccione AWS S3.
6. Seleccione la cuenta de AWS en la que se encuentra su bucket.
7. Ingrese el nombre del bucket de S3.
8. Opcionalmente, ingrese una ruta.
9. Marque la declaración de confirmación.
10. Opcionalmente, agregue etiquetas y defina el tamaño máximo de escaneo para la rehidratación. Consulte Advanced settings para obtener más información.
11. Haga clic en Guardar.

Consulte la documentación de Log Archives para obtener información adicional.

Configure el destino para su pipeline

Configure el Datadog Archives destination cuando set up an Archive Logs pipeline. Puede configurar un pipeline en la UI, utilizando la API o con Terraform. Los pasos en esta sección se configuran en la interfaz de usuario.

Después de seleccionar el Datadog Archives destination en la UI del pipeline:

1. Ingrese el nombre de su bucket de S3. Si configuró Log Archives, es el nombre del bucket que creó anteriormente.
2. Ingrese la región de AWS en la que se encuentra el bucket de S3.
3. Ingrese el prefijo de clave.
   • Los prefijos son útiles para particionar objetos. Por ejemplo, puede usar un prefijo como clave de objeto para almacenar objetos en un directorio particular. Si usa un prefijo para este propósito, debe terminar en / para actuar como una ruta de directorio; no se añade automáticamente un / al final.
   • Consulte la sintaxis de plantilla si desea enrutar registros a diferentes claves de objeto según campos específicos en sus registros.
   • Nota: Datadog recomienda que comience sus prefijos con el nombre del directorio y sin una barra diagonal inicial (/). Por ejemplo, app-logs/ o service-logs/.
4. Seleccione la clase de almacenamiento para su bucket de S3 en el menú desplegable Storage Class. Si va a archivar y rehidratar sus registros:
   • Nota: La rehidratación solo admite las siguientes clases de almacenamiento:
     • Estándar
     • Intelligent-Tiering, solo si los niveles de acceso de archivo asíncrono opcionales están ambos deshabilitados.
     • Standard-IA
     • One Zone-IA
   • Si desea rehidratar desde archivos en otra clase de almacenamiento, primero debe moverlos a una de las clases de almacenamiento admitidas anteriormente.
   • Consulte la sección Example destination and Log Archives setup de esta página para saber cómo configurar su Log Archives según su configuración de destino de Amazon S3.

Configuración opcional

Compresión

1. En el menú desplegable Compression - Algorithm, seleccione el algoritmo de compresión para sus registros archivados (gzip o zstd).
   • Nota: Si no se especifica un algoritmo de compresión, se utiliza gzip con un nivel de compresión de 6.
2. En el campo Compression - Level, debe ingresar un nivel de compresión. Datadog recomienda 6 para gzip y 3 para zstd.

Cifrado del lado del servidor

Seleccione un tipo de cifrado para su bucket de S3 en el menú desplegable Server-Side Encryption (AWS KMS o AES256). Si seleccionó AWS KMS, ingrese el ID de la clave de AWS KMS.

Autenticación de AWS

Seleccione una opción de autenticación de AWS. Si solo está utilizando el usuario o rol que creó anteriormente para la autenticación, no seleccione Assume role. Seleccione Assume role solo si el usuario o rol que creó anteriormente necesita asumir un rol diferente para acceder al recurso de AWS. Los permisos del rol asumido deben estar definidos explícitamente.
Si selecciona Assume role:

1. Ingrese el ARN del rol de IAM que desea asumir.
   • Nota: El usuario o rol que creó anteriormente debe tener permiso para asumir este rol para que el Worker pueda autenticarse con AWS.
2. (Opcional) Ingrese el nombre de la sesión del rol asumido y el ID externo.

Almacenamiento en búfer

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Example destination and Log Archives setup

Si ingresa los siguientes valores para su Datadog Archives destination:

• S3 Bucket Name: test-op-bucket
• Prefix to apply to all object keys: op-logs
• Storage class for the created objects: Standard

Entonces estos son los valores que ingresa para configurar el bucket de S3 para Log Archives:

• S3 bucket: test-op-bucket
• Path: op-logs
• Storage class: Standard

Valores predeterminados de Secret

These are the defaults used for secret identifiers and environment variables.

Enrutar registros a Snowflake usando el destino de Datadog Archives

Puede enrutar registros desde Observability Pipelines a Snowflake usando el destino de Datadog Archives configurando Snowpipe en Snowflake para ingerir automáticamente esos registros. Snowpipe monitorea continuamente su bucket de S3 en busca de archivos nuevos y los ingiere automáticamente en sus tablas de Snowflake, asegurando la disponibilidad de datos casi en tiempo real para análisis o procesamiento adicional. Cuando los registros son recopilados por Observability Pipelines, se escriben en un bucket de S3. Para configurar esto:

1. Configurar Log Archives.
2. Set up a pipeline para usar Datadog Archives como destino de registros. Utilice la configuración detallada en Set up the destination for your pipeline.
3. Configure Snowpipe en Snowflake. Consulte Automating Snowpipe for Amazon S3 para obtener instrucciones.

Cómo funciona el destino

AWS Authentication

The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

Permisos

El Observability Pipelines Worker requiere estos permisos de política para enviar registros a Amazon S3:

• s3:ListBucket
• s3:PutObject
• s3:GetObject

Procesamiento por lotes de eventos

Un lote de eventos se vacía cuando se cumple uno de estos parámetros. Consulte Destinations event batching para obtener más información.