Amazon S3

Dashboard S3

Présentation

Amazon Simple Storage Service (S3) est un service de stockage dans le cloud hautement disponible et évolutif.

Activez cette intégration pour visualiser dans Datadog toutes vos métriques de S3.

Configuration

Installation

Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Amazon Web Services.

Collecte de métriques

  1. Sur la page de l’intégration AWS, vérifiez que S3 est activé dans l’onglet Metric Collection.

  2. Ajoutez ces autorisations à votre stratégie IAM Datadog afin de recueillir des métriques d’Amazon S3 :

    • s3:ListAllMyBuckets : utilisé pour répertorier les compartiments disponibles.
    • s3:GetBucketTagging : utilisé pour récupérer les tags personnalisés du compartiment.

    Pour en savoir plus, consultez la section relative aux stratégies S3 de la documentation AWS.

  3. Installez l’intégration Datadog/AWS S3.

  4. (facultatif) Pour rassembler des métriques de demandes, activez les métriques de demandes pour vos compartiments Amazon S3 depuis la console AWS.

Collecte de logs

Activer les logs d’accès S3

  1. Accédez au compartiment S3.
  2. Cliquez sur Properties.
  3. Accédez à la section Services Access Logging et cliquez sur Edit.
  4. Sélectionnez Enable.
  5. Sélectionnez le compartiment S3 vers lequel envoyer les logs.

Pour en savoir plus, consultez la page Activation de la journalisation des accès au serveur Amazon S3.

Envoyer des logs à Datadog

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda du Forwarder Datadog dans votre compte AWS.

  2. Une fois la fonction Lambda installée, vous pouvez recueillir vos logs d’accès S3 de deux façons :

    • Solution automatique : les logs S3 sont automatiquement gérés si vous accordez les autorisations nécessaires à Datadog. Consultez la section Configurer automatiquement des déclencheurs pour en savoir plus sur la configuration de la collecte automatique des logs sur la fonction Lambda du Forwarder Datadog.
    • Solution manuelle : dans la console AWS, ajoutez un déclencheur sur le compartiment S3 qui contient vos logs d’accès S3. Consultez les étapes de l’installation manuelle.

Étapes de l’installation manuelle

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda du Forwarder Datadog dans votre compte AWS.
  2. Une fois la fonction Lambda configurée, accédez-y. Dans la section Function Overview, cliquez sur Add Trigger.
  3. Sélectionnez le déclencheur S3 pour la Trigger Configuration.
  4. Sélectionnez le compartiment S3 où se trouvent vos logs S3.
  5. Ne changez pas le type d’événements All object create events.
  6. Cliquez sur Add pour ajouter le déclencheur à votre fonction Lambda.

Accédez au Log Explorer pour commencer à explorer vos logs.

Pour en savoir plus sur la collecte de logs de service AWS, consultez la section Envoyer des logs de service AWS avec la fonction Lambda Datadog.

Données collectées

Métriques

aws.s3.4xx_errors
(count)
The total number of HTTP 4xx server error status code requests made to a bucket
aws.s3.5xx_errors
(count)
The total number of HTTP 5xx server error status code requests made to a bucket
aws.s3.all_requests
(count)
The total number of HTTP requests made to a bucket, regardless of type.
aws.s3.bucket_size_bytes
(gauge)
The amount of data in bytes stored in a bucket in the Standard storage class, Standard - Infrequent Access (Standard_IA) storage class, or the Reduced Redundancy Storage (RRS) class.
Shown as byte
aws.s3.bytes_downloaded
(count)
The total number bytes downloaded from the bucket.
Shown as byte
aws.s3.bytes_pending_replication
(gauge)
The total number of bytes of objects pending replication
Shown as byte
aws.s3.bytes_uploaded
(count)
The total number bytes uploaded to the bucket.
Shown as byte
aws.s3.delete_requests
(count)
The number of HTTP DELETE requests made for objects in a bucket. This also includes Delete Multiple Objects requests.
aws.s3.first_byte_latency
(gauge)
The average per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.maximum
(gauge)
The maximum per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.minimum
(gauge)
The minimum per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p50
(gauge)
The 50 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p90
(gauge)
The 90 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p95
(gauge)
The 95 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p99
(gauge)
The 99 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p99.99
(gauge)
The 99.99 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.get_requests
(count)
The number of HTTP GET requests made for objects in a bucket. This doesn't include list operations.
aws.s3.head_requests
(count)
The number of HTTP HEAD requests made to a bucket.
aws.s3.list_requests
(count)
The number of HTTP requests that list the contents of a bucket.
aws.s3.number_of_objects
(gauge)
The total number of objects stored in a bucket for all storage classes except for the GLACIER storage class.
aws.s3.operations_failed_replication
(gauge)
The average number of operations that failed to replicate for a given replication rule
Shown as operation
aws.s3.operations_failed_replication.samplecount
(count)
The total number of replication operations
Shown as operation
aws.s3.operations_failed_replication.sum
(count)
The total number of operations that failed to replicate for a given replication rule
Shown as operation
aws.s3.operations_pending_replication
(gauge)
The number of operations pending replication
Shown as operation
aws.s3.post_requests
(count)
The number of HTTP POST requests made to a bucket.
aws.s3.put_requests
(count)
The number of HTTP PUT requests made for objects in a bucket.
aws.s3.replication_latency
(gauge)
The maximum number of seconds by which the replication destination Region is behind the source Region
Shown as second
aws.s3.total_request_latency
(gauge)
The average elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.maximum
(gauge)
The maximum elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.minimum
(gauge)
The minimum elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p50
(gauge)
The 50 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p90
(gauge)
The 90 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p95
(gauge)
The 95 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p99
(gauge)
The 90 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p99.99
(gauge)
The 99.99 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond

Chacune des métriques récupérées à partir d’AWS se voit assigner les mêmes tags que ceux qui apparaissent dans la console AWS, y compris, mais sans s’y limiter, le hostname et les groupes de sécurité.

Événements

L’intégration AWS S3 n’inclut aucun événement.

Checks de service

L’intégration AWS S3 n’inclut aucun check de service.

Dépannage

Log chiffré CloudTrail

Si vos données de logs AWS CloudTrail sont chiffrées par KMS dans votre AWS S3, autorisez le rôle Datadog à déchiffrer les données de logs CloudTrail avec la stratégie suivante : kms:Decrypt. En savoir plus sur votre stratégie de chiffrement/déchiffrement KMS.