Resumen

Configura tu cuenta de Datadog para reenviar todos los registros ingeridos—ya sean indexados o no—hacia un sistema de almacenamiento en la nube de tu elección. Mantén tus registros en un archivo optimizado para almacenamiento por períodos más largos y cumple con los requisitos de conformidad, mientras mantienes la auditabilidad para investigaciones ad-hoc, con Rehidratación o Búsqueda de Archivos.

Navega a la página de Archivado y Reenvío de Registros para configurar un archivo para reenviar registros ingeridos a tu propio bucket de almacenamiento en la nube.

1. Si aún no lo has hecho, configura una integración de Datadog para tu proveedor de nube.
2. Crea un bucket de almacenamiento.
3. Establece permisos en read y/o write en ese archivo.
4. Dirige tus registros hacia y desde ese archivo.
5. Configura ajustes avanzados como cifrado, clase de almacenamiento y etiquetas.
6. Valida tu configuración y verifica posibles errores de configuración que Datadog podría detectar por ti.

Consulta cómo archivar tus registros con Observability Pipelines si deseas dirigir tus registros a un archivo optimizado para almacenamiento directamente desde tu entorno.

Las siguientes métricas informan sobre registros que han sido archivados con éxito, incluyendo registros que fueron enviados con éxito después de reintentos.

• datadog.archives.logs.bytes
• datadog.archives.logs.count

Configura un archivo

Configura una integración

Crea un bucket de almacenamiento

Establece permisos

Solo los usuarios de Datadog con el logs_write_archive permiso pueden crear, modificar o eliminar configuraciones de archivo de registro.

1. Crear una política con las siguientes declaraciones de permiso:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "DatadogUploadAndRehydrateLogArchives",
         "Effect": "Allow",
         "Action": ["s3:PutObject", "s3:GetObject"],
         "Resource": [
           "arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*",
           "arn:aws:s3:::<MY_BUCKET_NAME_2_/_MY_OPTIONAL_BUCKET_PATH_2>/*"
         ]
       },
       {
         "Sid": "DatadogRehydrateLogArchivesListBucket",
         "Effect": "Allow",
         "Action": "s3:ListBucket",
         "Resource": [
           "arn:aws:s3:::<MY_BUCKET_NAME_1>",
           "arn:aws:s3:::<MY_BUCKET_NAME_2>"
         ]
       }
     ]
   }
   

   • The GetObject and ListBucket permissions allow for rehydrating from archives.
   • The PutObject permission is sufficient for uploading archives.
   • Ensure that the resource value under the s3:PutObject and s3:GetObject actions ends with /* because these permissions are applied to objects within the buckets.

2. Editar los nombres de los buckets.

3. Opcionalmente, especifique las rutas que contienen sus archivos de registro.

4. Adjunta la nueva política al rol de integración de Datadog.

   • Navega a Roles en la consola de AWS IAM.
   • Localiza el rol utilizado por la integración de Datadog. Por defecto se llama DatadogIntegrationRole, pero el nombre puede variar si tu organización lo ha renombrado. Haz clic en el nombre del rol para abrir la página de resumen del rol.
   • Haz clic en Agregar permisos, y luego en Adjuntar políticas.
   • Ingresa el nombre de la política creada anteriormente.
   • Haz clic en Adjuntar políticas.

1. Otorga a la aplicación Datadog permiso para escribir y rehidratar desde tu cuenta de almacenamiento.
2. Selecciona tu cuenta de almacenamiento en la página de Cuentas de Almacenamiento, ve a Control de Acceso (IAM) y selecciona Agregar -> Asignación de Rol.
3. Ingresa el rol llamado Storage Blob Data Contributor, selecciona la aplicación Datadog que creaste para integrarte con Azure y guarda.

1. Otorga a tu cuenta de servicio de Datadog en Google Cloud permisos para escribir tus archivos en tu bucket.

2. Selecciona tu cuenta de servicio principal de Datadog en Google Cloud desde la página de Administración de IAM de Google Cloud y selecciona Editar principal.

3. Haz clic en AGREGAR OTRO ROL, selecciona el rol de Storage Object Admin y guarda.

El rol de Administrador de Objetos de Almacenamiento es la configuración recomendada por Datadog. Si tu organización requiere un rol personalizado de privilegios mínimos, se requieren los siguientes permisos individuales para las cargas de archivos:

• storage.objects.create
• storage.objects.get
• storage.objects.list
• storage.objects.delete

storage.objects.delete es necesario para admitir reintentos de escritura de archivo, donde Datadog sobrescribe un objeto existente en el bucket. Los permisos de carga múltiple (storage.multipartUploads.*) no son necesarios.

Redirija sus registros a un bucket

Navegue a la página de Archivado y Reenvío de Registros y seleccione Agregar un nuevo archivo en la pestaña Archivos.

Notas:

• Solo los usuarios de Datadog con el logs_write_archive permiso pueden completar este y el siguiente paso.
• Archivar registros en Azure Blob Storage requiere un registro de aplicación. Vea las instrucciones en la página de integración de Azure y establezca el “sitio” en el lado derecho de la página de documentación en “US.” Los registros de aplicación creados solo para fines de archivo necesitan el rol de “Colaborador de datos de blobs de almacenamiento”. Si su bucket de almacenamiento está en una suscripción que se está monitoreando a través de un recurso de Datadog, se muestra una advertencia indicando que el registro de aplicación es redundante. Puede ignorar esta advertencia.
• Si su bucket restringe el acceso a la red a IPs específicas, agregue las IPs del webhook de la IP ranges list a la lista de permitidos.
• Para los sitios US1-FED y US2-FED, puede configurar Datadog para enviar registros a un destino fuera del entorno de GovCloud de Datadog. Datadog no es responsable de ningún registro que salga del entorno de GovCloud de Datadog. Además, Datadog no es responsable de ninguna obligación o requisito que pueda tener respecto a FedRAMP, Niveles de Impacto del DoD, ITAR, cumplimiento de exportación, residencia de datos o regulaciones similares aplicables a estos registros después de que salgan del entorno de GovCloud.

Configuración avanzada

Etiquetas de Datadog

Utilice este paso opcional para:

• Incluir todas las etiquetas de registro en sus registros archivados (activado por defecto en todos los nuevos archivos). Nota: Esto aumenta el tamaño de los archivos resultantes.
• Agregue etiquetas en los registros rehidratados de acuerdo con su política de Consultas de Restricción. Consulte el permiso logs_read_data.

Defina el tamaño máximo de escaneo

Utilice este paso de configuración opcional para definir el volumen máximo de datos de registro (en GB) que se puede escanear para Rehidratación en sus Archivos de Registro.

Para Archivos con un tamaño máximo de escaneo definido, todos los usuarios deben estimar el tamaño de escaneo antes de que se les permita iniciar una Rehidratación. Si el tamaño de escaneo estimado es mayor que lo permitido para ese Archivo, los usuarios deben reducir el rango de tiempo sobre el cual están solicitando la Rehidratación. Reducir el rango de tiempo disminuirá el tamaño de escaneo y permitirá al usuario iniciar una Rehidratación.

Atributo de Partición de Archivo (Vista Previa)

Para optimizar cómo se organizan físicamente sus registros archivados en el almacenamiento (y acelerar Búsqueda de Archivos), configure atributos de partición en su Archivo de Datadog.

• Atributos de Partición: Agregue atributos de baja cardinalidad como service, source, env o status que utiliza frecuentemente como filtros de búsqueda.
• Beneficio: Los registros que comparten los mismos valores de atributos de partición están co-localizados en el almacenamiento. Al buscar, Datadog puede omitir particiones enteras que no coinciden con su consulta, reduciendo drásticamente el volumen de datos escaneados.

Atributo de Búsqueda de Archivo

Para acelerar búsquedas e investigaciones en sus archivos (con Búsqueda de Archivos), configure atributos de búsqueda en su Archivo de Datadog.

• Atributos de Búsqueda: Agregue atributos de alta cardinalidad como trace_id, container_id o customer_id.
• Beneficio: Esto le permite localizar registros específicos dentro de su almacenamiento a largo plazo mucho más rápido, reduciendo el tiempo y los datos escaneados durante investigaciones ad-hoc.

Atributos de Partición vs. Atributos de Búsqueda

Para obtener el máximo rendimiento de búsqueda, combine ambos: los atributos de partición reducen el contexto de búsqueda a los segmentos de datos relevantes, mientras que los atributos de búsqueda le permiten encontrar registros específicos dentro de esos segmentos al instante.

Compresión

Por defecto, Datadog archiva registros utilizando zstd (compresión Zstandard) (.json.zst), que ofrece una mejor relación de compresión y velocidades de descompresión más rápidas en comparación con gzip. También puede configurar la compresión gzip (.json.gz).

Para configurar la compresión, seleccione Tipo de Compresión al crear o editar un archivo en la página de Archivado y Reenvío de Registros:

• zstd (predeterminado): Mejor relación de compresión y velocidad de descompresión. Recomendado para nuevos archivos, especialmente si planea usar Búsqueda de Archivos.
• gzip: Ampliamente soportado y compatible con la mayoría de las herramientas.

Nota: Cambiar el formato de compresión de un archivo existente solo afecta a los nuevos archivos. Los archivos ya almacenados en su bucket permanecen en su formato original.

Clase de almacenamiento

Cifrado del lado del servidor (SSE) para archivos S3

Al crear o actualizar un archivo S3 en Datadog, puede configurar opcionalmente Cifrado Avanzado. Tres opciones están disponibles en el menú desplegable Tipo de Cifrado:

• Cifrado predeterminado a nivel de bucket S3 (Predeterminado): Datadog no anula la configuración de cifrado predeterminada de su bucket S3.
• Claves administradas por Amazon S3: Obliga al cifrado del lado del servidor utilizando claves administradas por Amazon S3 (SSE-S3), independientemente de la configuración de cifrado predeterminada del bucket S3.
• Servicio de Gestión de Claves de AWS: Obliga al cifrado del lado del servidor utilizando una clave administrada por el cliente (CMK) de AWS KMS, independientemente de la configuración de cifrado predeterminada del bucket S3. Deberás proporcionar el ARN del CMK.

{
    "Id": "key-consolepolicy-3",
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Enable IAM User Permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<MY_AWS_ACCOUNT_NUMBER>:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allow use of the key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<MY_AWS_ACCOUNT_NUMBER>:role/<MY_DATADOG_IAM_ROLE_NAME>"
            },
            "Action": [
                "kms:Encrypt",
                "kms:Decrypt",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*",
                "kms:DescribeKey"
            ],
            "Resource": "*"
        },
        {
            "Sid": "Allow attachment of persistent resources",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<MY_AWS_ACCOUNT_NUMBER>:role/<MY_DATADOG_IAM_ROLE_NAME>"
            },
            "Action": [
                "kms:CreateGrant",
                "kms:ListGrants",
                "kms:RevokeGrant"
            ],
            "Resource": "*",
            "Condition": {
                "Bool": {
                    "kms:GrantIsForAWSResource": "true"
                }
            }
        }
    ]
}

Validación

Una vez que se hayan configurado correctamente las configuraciones de archivo en tu cuenta de Datadog, tus canalizaciones de procesamiento comenzarán a enriquecer todos los registros ingeridos en Datadog. Estos registros se envían posteriormente a tu archivo.

Sin embargo, después de crear o actualizar tus configuraciones de archivo, puede tardar varios minutos antes de que se intente la próxima carga del archivo. La frecuencia con la que se cargan los archivos puede variar. Revisa tu bucket de almacenamiento en 15 minutos para asegurarte de que los archivos de registro se estén cargando correctamente desde tu cuenta de Datadog.

Después de eso, si el archivo sigue en estado pendiente, verifica tus filtros de inclusión para asegurarte de que la consulta sea válida y coincida con los eventos de log en Live Tail. Cuando Datadog no puede cargar registros a un archivo externo, debido a cambios no intencionados en la configuración o permisos, el archivo de registro correspondiente se resalta en la página de configuración.

Pasa el cursor sobre el archivo para ver los detalles del error y las acciones que debes tomar para resolver el problema. También se genera un evento en el Explorador de Eventos. Puede crear un seguimiento para estos eventos para detectar y remediar fallas rápidamente.

Múltiples archivos

Si se definen múltiples archivos, los registros ingresan al primer archivo según el filtro.

Es importante ordenar tus archivos cuidadosamente. Por ejemplo, si creas un primer archivo filtrado por la etiqueta env:prod y un segundo archivo sin ningún filtro (el equivalente a *), todos tus registros de producción irán a un bucket o ruta de almacenamiento, y el resto irá al otro.

Formato de los archivos

Los archivos de registro que Datadog envía a tu bucket de almacenamiento están en formato JSON comprimido. Dependiendo de tu configuración de compresión, los archivos de registro utilizan compresión zstd (.json.zst, predeterminado) o gzip (.json.gz). Usando el prefijo que indique (o / si no hay ninguno), los archivos de registro se almacenan en una estructura de directorio que indica en qué fecha y a qué hora se generaron, como el siguiente:

/my/bucket/prefix/dt=20180515/hour=14/archive_143201.1234.02aafad5-f525-4592-905e-e962d1a5b2f7.json.gz
/my/bucket/prefix/dt=<YYYYMMDD>/hour=<HH>/archive_<HHmmss.SSSS>.<UUID>.json.gz

Esta estructura de directorio simplifica el proceso de consulta de tus archivos de registro históricos según su fecha.

Lectura Adicional

Más enlaces, artículos y documentación útiles:

Aprende cómo acceder al contenido de tus registros archivados en DatadogDOCUMENTACIÓN Conoce el Explorador de RegistrosDOCUMENTACIÓN Conoce sobre Logging without Limits*DOCUMENTACIÓN

*Logging without Limits es una marca registrada de Datadog, Inc.