アーカイブからのリハイドレート

概要

Log Rehydration* を使用すると、顧客が所有している、ストレージに最適化されたアーカイブからログイベントを取得して、検索に最適化された Datadog のログエクスプローラーに戻すことができます。これにより、古いログイベントや、インデックス化から除外されたログイベントを、Datadog を使用して分析または調査することが可能になります。

履歴ビュー

履歴ビューでは、アーカイブされたログイベントを、タイムフレームやクエリフィルターを指定して正確にリハイドレートできるため、予期しない特定のユースケースにも効果的に対応できます。履歴ビューを作成するには、Datadog アカウントのコンフィギュレーションのページに移動し、“Rehydrate From Archives” タブを選択し、“New Historical View” ボタンをクリックします。

履歴ビュー

インデックス除外フィルターは履歴ビューには適用されないため、アーカイブからリハイドレートするときに除外フィルターを変更する必要はありません。

新しい履歴ビューの追加

  1. ログイベントをリハイドレートする 期間を選択 します。

  2. クエリを入力します。クエリの構文は、ログエクスプローラー検索の構文と同じです。リハイドレートクエリでタグ (env:prodversion:x.y.z など) を使用する場合は、ログがタグとともにアーカイブされていることを確認してください。

  3. ログイベントをリハイドレートするアーカイブを選択します。リハイドレートできるのは、ロールの委任を使用するよう構成されたアーカイブだけです。

  4. (オプション) スキャンサイズを見積もり、選択したタイムフレームのアーカイブに含まれる圧縮データの総量を取得します。

  5. 履歴ビューに名前を付けます。名前の先頭は小文字にする必要があります。また、小文字、数字、- だけを含めることができます。

  6. この履歴ビューでリハイドレートするログの最大数を 100 万から 10 億の範囲で定義します。

  7. リハイドレートされたログの保存期間を定義します (利用可能な保存期間は契約次第ですが、デフォルトは 15 日です)。

  8. (オプション) @handle 構文のインテグレーションを使用して、リハイドレート完了時にトリガー通知を通知します。

アーカイブからのリロード

クエリによるリハイドレート

クエリを指定して(たとえば 1 つ以上のサービス、URL エンドポイント、カスタマー ID など)履歴ビューを作成すると、ログのリハイドレートに必要な時間と費用を節約できます。これは、リハイドレートする期間の幅が広い場合に特に便利です。作成する履歴ビューごとに最大で 10 億のログイベントをリハイドレートできます。

履歴ビューのコンテンツの表示

履歴ビューのページから

“Rehydrate from Archive” を選択すると、コンテンツをクエリできる状態になるまで履歴ビューに “pending” のマークが付けられます。

コンテンツがリハイドレートされると、履歴ビューに active のマークが表示され、クエリ列のリンクによってログエクスプローラーの履歴ビューに移動できるようになります。

ログエクスプローラーから

あるいは、ログエクスプローラーのインデックスセレクターから直接履歴ビューを探すこともできます。履歴ビューを選択するには、ポップアップの指示に従って、選択する履歴ビューに関連するタイムフレームを設定します。

ログエクスプローラー

履歴ビューの削除

履歴ビューは、選択した保持期間を超えるまで Datadog に残ります。または、ビューが不要になった場合は、これより早く削除することを選択できます。履歴ビューの右端にある削除アイコンを選択して確認することで、履歴ビューを削除対象としてマークできます。

1 時間後に、履歴ビューが最終的に削除されます。それまでの間なら、削除をキャンセルすることができます。

アーカイブのリハイドレートの設定

Datadog のアーカイブの定義

外部のアーカイブからデータをリハイドレートするには、外部のアーカイブを構成する必要があります。ログを外部の使用可能な場所にアーカイブするには、こちらのガイドを参照してください。

アクセス許可

Datadog は、アーカイブからコンテンツをリハイドレートするために、アーカイブに対して読み取りのアクセス許可を必要とします。このアクセス許可は、いつでも変更できます。

AWS Role Delegation は、Datadog for Government site でサポートされていません。アクセスキーを使用する必要があります。

ログイベントをアーカイブからリハイドレートするために、Datadog は AWS インテグレーションで構成する AWS アカウントの IAM ロールを使用します。このロールをまだ作成していない場合は、こちらの手順に従って作成してください。このロールに対してアーカイブからのログイベントのリハイドレートを許可するには、以下のアクセス許可ステートメントを IAM ポリシーに追加する必要があります。バケット名を編集し、必要であればログアーカイブへのパスを指定してください。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DatadogUploadAndRehydrateLogArchives",
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject"],
      "Resource": [
        "arn:aws:s3:::<バケット名_1_/_バケットへのパス_任意_1>/*",
        "arn:aws:s3:::<バケット名_2_/_バケットへのパス_任意_2>/*"
      ]
    },
    {
      "Sid": "DatadogRehydrateLogArchivesListBucket",
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": [
        "arn:aws:s3:::<バケット名_1>",
        "arn:aws:s3:::<バケット名_2>"
      ]
    }
  ]
}

ロールの委任を S3 アーカイブに追加する

Datadog では、ロールの委任を使用してアクセスを許可するよう構成されたアーカイブだけをリハイドレートできます。Datadog IAM ロールに先ほどの IAM ポリシーを含めた後で、アーカイブコンフィギュレーションのページにある各アーカイブが、AWS アカウントとロールの正しい組み合わせで構成されていることを確認してください。

ロールの委任を S3 アーカイブに追加

Datadog は、アーカイブのストレージアカウントのスコープを持つ Storage Blob Data Contributor ロールが割り当てられた Azure AD グループを使用して、ログイベントをリハイドレートします。このロールを Datadog のサービスアカウントに付与するには、ストレージアカウントの Access Control (IAM) ページで、Storage Blob Data Contributor ロールを Datadog インテグレーションアプリに割り当てる必要があります。

Azure Storage からのリハイドレートには Storage Blob Data Contributor ロールが必要

アーカイブからログイベントをリハイドレートするために、Datadog は Storage Object Viewer ロールが割り当てられたサービスアカウントを使用します。このロールを Datadog のサービスアカウントに付与するには、GCP の IAM と管理者のページでサービスアカウントのアクセス許可を編集し、ロールを 1 つ追加してから、Storage > Storage Object Viewer の順に選択します。

GCS からのリハイドレートには Storage Object Viewer ロールが必要

*Log Rehydration は Datadog, Inc. の商標です