Configuración

Configure la Gestión de Almacenamiento para Amazon S3 con uno de los siguientes métodos:

• CloudFormation: Una configuración guiada en el producto que configura la integración de AWS, habilita el Inventario de S3 en los buckets que selecciones y opcionalmente habilita los registros de acceso de S3. Una pila de CloudFormation aplica los cambios a su cuenta de AWS.
• Terraform: Utiliza el módulo oficial de Terraform de Gestión de Almacenamiento de Datadog para configurar el inventario y los registros de acceso como código.
• Manual: Configure el inventario de S3 y los permisos requeridos en la consola de AWS, luego registre el destino del inventario con la Gestión de Almacenamiento.

provider "aws" {
  region = "<AWS_REGION>"
}

provider "datadog" {
  # Configure with environment variables:
  #   DD_API_KEY, DD_APP_KEY, DD_SITE
}

module "datadog_storage_management" {
  source = "DataDog/storage-management/aws"

  name                              = "<MODULE_NAME>"
  datadog_aws_integration_role_name = "<DATADOG_AWS_INTEGRATION_ROLE_NAME>"
  source_bucket_names               = ["<SOURCE_BUCKET_1>", "<SOURCE_BUCKET_2>"]
  destination_bucket_name           = "<DESTINATION_BUCKET_NAME>"

  # Bucket policy: "none", "create", or "merge" (default)
  destination_bucket_policy_management = "merge"

  # Optional: Enable S3 access logs for prefix-level request and latency metrics
  enable_access_logging           = true
  datadog_forwarder_function_name = "<DATADOG_FORWARDER_FUNCTION_NAME>"
}

curl -X PUT "https://api.${DD_SITE}/api/v2/cloudinventoryservice/syncconfigs" \
  -H "Accept: application/json" \
  -H "Content-Type: application/json" \
  -H "DD-API-KEY: ${DD_API_KEY}" \
  -H "DD-APPLICATION-KEY: ${DD_APP_KEY}" \
  -d '{
    "data": {
      "id": "aws",
      "type": "cloud_provider",
      "attributes": {
        "aws": {
          "aws_account_id": "<AWS_ACCOUNT_ID>",
          "destination_bucket_name": "<DESTINATION_BUCKET_NAME>",
          "destination_bucket_region": "<DESTINATION_BUCKET_REGION>",
          "destination_prefix": "<DESTINATION_PREFIX>"
        }
      }
    }
  }'

Validación

Para verificar su configuración:

1. Espere a que se genere el primer informe de inventario (hasta 24 horas para inventarios diarios).
2. Navegue a Infraestructura > Gestión de Almacenamiento para ver si los buckets que configuró aparecen en la lista del explorador cuando se selecciona Buckets monitoreados.

Mejores prácticas

Siga estas mejores prácticas para optimizar la configuración de Storage Management:

• Configure políticas de ciclo de vida para los buckets de destino de inventario: Los informes de inventario de S3 se generan diariamente y se almacenan en su bucket de destino. Para evitar que los archivos de inventario antiguos se acumulen y generen costos de almacenamiento, agregue una política de ciclo de vida para eliminar automáticamente los informes de inventario que tengan más de tres días.

• Configure políticas de ciclo de vida para los registros de acceso de S3: Si ha habilitado los registros de acceso de S3 para métricas de solicitudes a nivel de prefijo, los archivos de registro en bruto se acumulan en su bucket de destino. Después de que estos registros se envían a Datadog, los archivos en bruto ya no son necesarios para fines de Storage Management. Para eliminar automáticamente los archivos de registro de acceso después de enviarlos a Datadog, agregue una regla de ciclo de vida.

  Nota: Antes de habilitar la eliminación automática, verifique que no existan requisitos de cumplimiento o auditoría en su organización que exijan conservar los registros de acceso de S3 en bruto por un período específico.

• Cree filtros de exclusión para los registros de acceso de S3: Si los registros de acceso de S3 se envían a Datadog solo para Storage Management y no necesitan ser indexados para búsqueda o análisis, agregue un filtro de exclusión para mantenerlos fuera del volumen de registros indexados.

Solución de problemas

Si no ves datos para los buckets que configuraste para la gestión de almacenamiento, utiliza la página de Configuración de Gestión de Almacenamiento para ver todos los buckets configurados, su estado de inventario y cualquier error de configuración. La página muestra problemas con pasos de remediación accionables. Si tiene alguna pregunta, contacte a Datadog.

Identifique y actúe sobre ahorros de costos con Bits Chat

Los equipos de FinOps e ingeniería pueden utilizar Bits Chat y Storage Management para identificar oportunidades de ahorro de costos en S3, generar informes en Datadog Notebooks e implementar los cambios recomendados. Para usar Bits Chat con Storage Management, habilite la habilidad storage en la configuración de Bits Chat.

Con la habilidad storage habilitada para Bits Chat, puede:

• Encuentre las mayores oportunidades de ahorro: Realice preguntas en lenguaje natural para identificar los prefijos, clases de almacenamiento o buckets de mayor impacto donde los cambios de ciclo de vida reducirían los costos en mayor medida.
• Cree informes a través de Notebooks: Genere un Notebook de Datadog que resuma los hallazgos, los ahorros estimados y las acciones recomendadas para que su equipo los revise y los comparta.
• Implemente cambios: Obtenga orientación paso a paso con Bits Code para aplicar políticas de ciclo de vida, trasladar objetos a niveles de almacenamiento más económicos o eliminar versiones no actuales en los prefijos con el mayor potencial de ahorro.

Visualice el uso granular de S3 con métricas de inventario

Una plantilla de dashboard de Storage Management S3 lista para usar está disponible para ayudarle a visualizar las métricas que se indican a continuación. Puede clonarlo y personalizarlo para que se ajuste a sus necesidades.

*prefixN se refiere a niveles de prefijo como prefix0, prefix1, prefix2, y así sucesivamente.

Nota: Utilice la métrica correcta para la pregunta que está respondiendo:

• aws.s3.inventory.prefix_object_count y aws.s3.inventory.total_prefix_size (con la etiqueta prefix) incluyen todo dentro de una carpeta y todas sus subcarpetas. Utilice estos cuando desee conocer el conteo total o el tamaño de una carpeta específica (por ejemplo, “¿cuánto hay en logs/2024/?”).
• aws.s3.inventory.prefix_object_count.levels y aws.s3.inventory.total_prefix_size.levels (con prefix1, prefix2, prefix3, y así sucesivamente) cuentan o miden objetos solo a esa profundidad exacta. Utilice estos cuando desee construir un treemap o comparar los tamaños de carpetas entre niveles (por ejemplo, “¿cuáles son las carpetas de nivel superior más grandes?”).

Nota: Para el monitoreo y la visualización más precisos, incluya todas las versiones de objetos para ver recomendaciones o métricas de objetos no actuales.

Actúe sobre las optimizaciones con Storage Management Recommendations

Storage Management analiza sus datos de inventario y registros de acceso para presentar recomendaciones a nivel de prefijo para reducir costos de almacenamiento en S3. Estas recomendaciones están disponibles para todos los clientes de Storage Management. Los ahorros potenciales se estiman utilizando los precios de lista de AWS. Si tiene habilitado Cloud Cost Management 7, las recomendaciones también aparecen en Cloud Cost Recommendations, y puede rastrear los ahorros reales de las optimizaciones.

Las recomendaciones se ejecutan a diario y se actualizan automáticamente en su cuenta tan pronto como se publican las recomendaciones.

Requisitos previos

Ver recomendaciones tiene los siguientes requisitos previos:

1. Configure los buckets de S3 para Storage Management siguiendo los pasos anteriores en esta página.
2. Para ver recomendaciones sobre cómo mover datos de acceso poco frecuente a niveles más económicos por prefijo, habilite y reenvíe los registros de acceso de S3 a Datadog (se aplican tarifas de Log Management de Datadog).
3. Para ver recomendaciones sobre cómo identificar versiones no actuales en los prefijos, incluya “All versions” como parte de la configuración de S3 Inventory.

Recomendaciones disponibles

• Transicione los datos no accedidos de S3 en el prefijo a Acceso Infrecuente

• Expire los objetos de versiones no actuales en el prefijo del bucket de S3

• Consolide archivos pequeños en el prefijo para minimizar los costos de almacenamiento por objeto