ログアーカイブ

アーカイブ

Datadog アカウントを構成して、クラウドストレージシステムへ収集されたすべてのログを転送します。ストレージに最適化されたアーカイブにログを長期間保管することで、コンプライアンス要件を満たすことができ、アドホック調査のための監査適合性を予算内に維持することができます。ログを長期保存用にアーカイブすると、予期せぬ出来事や遠い昔の出来事を調査する際に、ログにアクセスできます。

このガイドでは、クラウドホスト型ストレージバケットに収集したログを転送するためのアーカイブの設定方法を説明します。

注: 管理者ステータスの Datadog ユーザーだけがログアーカイブ構成を作成、変更、または削除できます。

ストレージバケットの作成と構成

Dropdown

AWS コンソールにアクセスし、アーカイブを転送する S3 バケットを作成します。バケットを一般が閲覧できないように設定してください。

次に、ロールの委任を持つ S3 バケットにログアーカイブを書き込む権限をDatadogに付与します。

S3 バケットを持つ AWS アカウントの AWS インテグレーションをセットアップします。これには、AWS Cloudwatch と統合するために Datadog が使用するロールの作成も含まれます。

次の 2 つのアクセス許可ステートメントを Datadog ロールの IAM ポリシーに追加します。バケット名を編集し、必要に応じてログアーカイブを含むパスを指定します。GetObject および ListBucket アクセス許可は、アーカイブからリハイドレートを可能にします。アーカイブのアップロードには、PutObject アクセス許可で十分です。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DatadogUploadAndRehydrateLogArchives",
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject"],
      "Resource": [
        "arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*",
        "arn:aws:s3:::<MY_BUCKET_NAME_2_/_MY_OPTIONAL_BUCKET_PATH_2>/*"
      ]
    },
    {
      "Sid": "DatadogRehydrateLogArchivesListBucket",
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": [
        "arn:aws:s3:::<MY_BUCKET_NAME_1>",
        "arn:aws:s3:::<MY_BUCKET_NAME_2>"
      ]
    }
  ]
}

Datadog のアーカイブページに移動し、下にある Add a new archive オプションを選択します。管理者ステータスの Datadog ユーザーだけがこの手順と次の手順を完了させることができます。
S3 バケットに適した AWS アカウントとロールの組み合わせを選択します。バケット名を入力します。オプションでログアーカイブのすべてのコンテンツにプレフィックスディレクトリを入力できます。アーカイブを保存したら完了です。

サーバー側の暗号化 (SSE)

サーバー側の暗号化を S3 ログアーカイブに追加するには、S3 バケットの Properties タブに移動し、Default Encryption を選択します。AES-256 オプションを選択して、Save を選択します。

Azure ポータルにアクセスし、アーカイブを転送するストレージアカウントを作成します。ストレージアカウントの名前と種類を指定し、hot アクセス層を選択します。
新しいストレージアカウントのあるサブスクリプション内で Azure インテグレーションをセットアップしていない場合、セットアップします。これには、Datadog が統合に使用できるアプリ登録の作成も含まれます。
次に、Datadog アプリにストレージアカウントへの書き込みおよびアカウントからのリハイドレートに必要なアクセス許可を付与します。ストレージアカウントページから使用するストレージアカウントを選択し、Access Control (IAM)から Add -> Add Role Assignment を選択します。ロール、Storage Blob Data Contributor を入力し、Azure との統合用に作成した Datadog アプリを選択して保存します。
Datadog のアーカイブページに移動し、下にある Add a new archive オプションを選択します。管理者ステータスの Datadog ユーザーだけがこの手順と次の手順を完了させることができます。
Azure Storage アーカイブタイプを選択し、ストレージアカウントで Storage Blob Data Contributor ロールのある Datadog アプリ用の Azure テナントとクライアントを選択します。ストレージアカウント名とアーカイブのコンテナ名を入力します。
任意: ログアーカイブのすべてのコンテンツにプレフィックスディレクトリを入力します。
アーカイブを保存します。

GCP アカウントにアクセスし、アーカイブを転送する GCS バケットを作成します。「Choose how to control access to objects」で、「Set object-level and bucket-level permissions」を選択します。
GCS ストレージバケットを持つプロジェクト用の GCP インテグレーションをセットアップしていない場合、セットアップします。これには Datadog が統合に使用できる GCS サービスアカウントの作成も含まれます。
次に、アーカイブをバケットに書き込むために必要なアクセス許可を Datadog GCP サービスアカウントに付与します。新しいサービスアカウントを作成する場合は、GCP Credentials ページで設定できます。既存のサービスアカウントを更新する場合は、GCP IAM Admin ページ)で設定します。Storage の下に、Storage Object Creator（アーカイブ生成用）およびStorage Object Viewer（アーカイブからのリハイドレート用）のロールを追加します。
Datadog のアーカイブページに移動し、下にある Add a new archive オプションを選択します。管理者ステータスの Datadog ユーザーだけがこの手順と次の手順を完了させることができます。
GCS のアーカイブタイプを選択し、ストレージバケットに書き込む権限を持つ GCS サービスアカウントを選択します。バケット名を入力します。オプションでログアーカイブのすべてのコンテンツにプレフィックスディレクトリを入力できます。アーカイブを保存します。

Datadog アカウントでアーカイブ設定が正常に構成された時点から、処理パイプラインは Datadog が収集したすべてのログを加工し始めます。その後アーカイブに転送されます。

ただし、アーカイブ構成を作成または更新してから次にアーカイブのアップロードが試行されるまで、数分かかることがあります。ログは15分ごとにアーカイブにアップロードされるので、15 分待ってストレージバケットをチェックし、Datadog アカウントからアーカイブが正常にアップロードされたことを確認してください。

アーカイブの形式

Datadog がストレージバケットに転送するログアーカイブは、圧縮 JSON 形式（.json.gz）になっています。アーカイブは、次のように指定したプレフィックスの下の (指定しなかった場合は /)、アーカイブファイルが生成された日時を示すディレクトリ構造に保存されます。

/my/bucket/prefix/dt=20180515/hour=14/archive_143201.1234.7dq1a9mnSya3bFotoErfxl.json.gz

このディレクトリ構造により、過去のログアーカイブを日付に基づいてクエリする処理が簡略化されます。

圧縮 JSON ファイル内の各イベントは、以下の形式で内容が表されます。

{
    "_id": "123456789abcdefg",
    "date": "2018-05-15T14:31:16.003Z",
    "host": "i-12345abced6789efg",
    "source": "source_name",
    "service": "service_name",
    "status": "status_level",
    "message": " ... log message content ... ",
    "attributes": { ... log attributes content ... }
}

注: アーカイブには、ログイベントのメッセージ、カスタム属性、予約済み属性から成るログコンテンツのみが含まれます。ログタグ（ログデータを関連するメトリクスやトレースに繋げるメタデータ）は含まれません。