Amazon S3

S3 ダッシュボード

概要

Amazon Simple Storage Service (S3) は、可用性の高いスケーラブルなクラウドストレージサービスです。

このインテグレーションを有効にすると、Datadog にすべての S3 メトリクスを表示できます。

セットアップ

インストール

Amazon Web Services インテグレーションをまだセットアップしていない場合は、最初にセットアップします。

メトリクスの収集

  1. AWS インテグレーションページで、Metric Collection タブの下にある S3 が有効になっていることを確認します。

  2. Amazon S3 のメトリクスを収集するため、次のアクセス許可を Datadog IAM ポリシーに追加します。

    • s3:ListAllMyBuckets: 使用できるバケットを一覧表示するために使用されます。
    • s3:GetBucketTagging: カスタムバケットタグを取得するために使用されます。

    詳細については、AWS ウェブサイト上の S3 ポリシーを参照してください。

  3. Datadog - AWS S3 インテグレーションをインストールします。

  4. (オプション) リクエストメトリクスを収集するには、AWS コンソールで Amazon S3 バケットの Request metrics を有効にします。

ログの収集

S3 アクセスログの有効化

  1. S3 バケットに移動します。
  2. Properties をクリックします。
  3. Services Access Logging セクションに移動し、Edit をクリックします。
  4. Enable を選択します。
  5. ログの送信先となる S3 バケットを選択します。

詳しくは、Amazon S3 サーバーのアクセスロギングを有効にするを参照してください。

ログを Datadog に送信する方法

  1. AWS アカウントで Datadog Forwarder Lambda 関数 をまだセットアップしていない場合は、セットアップします。

  2. Lambda 関数がインストールされたら、S3 アクセスログを収集する方法を以下の 2 つから選択します。

    • 自動: Datadog に権限を設定してアクセスを許可した場合、S3 のログは自動的に管理されます。Datadog Forwarder Lambda 関数での自動ログ収集の構成については、トリガーを自動的にセットアップするを参照してください。
    • 手動: AWS コンソールで、S3 のアクセスログが格納されている S3 バケットにトリガーを追加します。手動インストール手順を参照してください。

手動インストールの手順

  1. AWS アカウントで Datadog Forwarder Lambda 関数 をまだセットアップしていない場合は、セットアップします。
  2. 設定したら、Datadog Forwarder Lambda 関数に移動します。Function Overview セクションで、Add Trigger をクリックします。
  3. Trigger Configuration で S3 トリガーを選択します。
  4. S3 のログが格納されている S3 バケットを選択します。
  5. イベントの種類は All object create events のままにしておきます。
  6. Add をクリックすると、Lambda にトリガーが追加されます。

ログエクスプローラーに移動して、ログを確認します。

AWS Services のログを収集する方法については、Datadog Lambda 関数で AWS Services のログを送信するを参照してください。

収集データ

メトリクス

aws.s3.4xx_errors
(count)		The total number of HTTP 4xx server error status code requests made to a bucket
aws.s3.5xx_errors
(count)		The total number of HTTP 5xx server error status code requests made to a bucket
aws.s3.all_requests
(count)		The total number of HTTP requests made to a bucket, regardless of type.
aws.s3.bucket_size_bytes
(gauge)		The amount of data in bytes stored in a bucket in the Standard storage class, Standard - Infrequent Access (Standard_IA) storage class, or the Reduced Redundancy Storage (RRS) class.
Shown as byte
aws.s3.bytes_downloaded
(count)		The total number bytes downloaded from the bucket.
Shown as byte
aws.s3.bytes_pending_replication.maximum
(gauge)		The total number of bytes of objects pending replication
Shown as byte
aws.s3.bytes_uploaded
(count)		The total number bytes uploaded to the bucket.
Shown as byte
aws.s3.delete_requests
(count)		The number of HTTP DELETE requests made for objects in a bucket. This also includes Delete Multiple Objects requests.
aws.s3.first_byte_latency
(gauge)		The average per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.maximum
(gauge)		The maximum per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.minimum
(gauge)		The minimum per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p50
(gauge)		The 50 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p90
(gauge)		The 90 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p95
(gauge)		The 95 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p99
(gauge)		The 99 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.first_byte_latency.p99.99
(gauge)		The 99.99 percentile per-request time from the complete request being received by a bucket to when the response starts to be returned.
Shown as millisecond
aws.s3.get_requests
(count)		The number of HTTP GET requests made for objects in a bucket. This doesn't include list operations.
aws.s3.head_requests
(count)		The number of HTTP HEAD requests made to a bucket.
aws.s3.list_requests
(count)		The number of HTTP requests that list the contents of a bucket.
aws.s3.number_of_objects
(gauge)		The total number of objects stored in a bucket for all storage classes except for the GLACIER storage class.
aws.s3.operations_pending_replication.maximum
(gauge)		The number of operations pending replication
aws.s3.post_requests
(count)		The number of HTTP POST requests made to a bucket.
aws.s3.put_requests
(count)		The number of HTTP PUT requests made for objects in a bucket.
aws.s3.replication_latency.maximum
(gauge)		The maximum number of seconds by which the replication destination Region is behind the source Region
Shown as second
aws.s3.total_request_latency
(gauge)		The average elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.maximum
(gauge)		The maximum elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.minimum
(gauge)		The minimum elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p50
(gauge)		The 50 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p90
(gauge)		The 90 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p95
(gauge)		The 95 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p99
(gauge)		The 90 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond
aws.s3.total_request_latency.p99.99
(gauge)		The 99.99 percentile elapsed per-request time from the first byte received to the last byte sent to a bucket
Shown as millisecond

AWS から取得される各メトリクスには、ホスト名やセキュリティ グループなど、AWS コンソールに表示されるのと同じタグが割り当てられます。

イベント

AWS S3 インテグレーションには、イベントは含まれません。

サービスのチェック

AWS S3 インテグレーションには、サービスのチェック機能は含まれません。

トラブルシューティング

CloudTrail 暗号化ログ

ご使用の AWS S3 で AWS CloudTrail ログデータが KMS によって暗号化される場合は、kms:Decrypt ポリシーを使用して Datadog ロールが CloudTrail ログデータを解読できるようにします。KMS 暗号化/解読ポリシーの詳細については、こちらを参照してください。