アーカイブからのリハイドレート

アーカイブからのリハイドレート

概要

Log Rehydration* を使用すると、顧客が所有している、ストレージに最適化されたアーカイブからログイベントを取得して、検索に最適化された Datadog のログエクスプローラーに戻すことができます。これにより、古いログイベントや、インデックス化から除外されたログイベントを、Datadog を使用して分析または調査することが可能になります。

履歴ビュー

履歴ビューでは、アーカイブされたログイベントを、タイムフレームやクエリフィルターを指定して正確にリハイドレートできるため、予期しない特定のユースケースにも効果的に対応できます。履歴ビューを作成するには、Datadog アカウントのコンフィギュレーションのページに移動し、“Rehydrate From Archives” タブを選択し、“New Historical View” ボタンをクリックします。

インデックス除外フィルターは履歴ビューには適用されないため、アーカイブからリハイドレートするときに除外フィルターを変更する必要はありません。

新しい履歴ビューの追加

  1. ログイベントをリハイドレートする 期間を選択 します。

  2. クエリを入力します。クエリの構文は、ログエクスプローラー検索の構文と同じです。リハイドレートクエリでタグ (env:prodversion:x.y.z など) を使用する場合は、ログがタグとともにアーカイブされていることを確認してください。

  3. ログイベントをリハイドレートするアーカイブを選択します。リハイドレートできるのは、ロールの委任を使用するよう構成されたアーカイブだけです。

  4. (オプション) スキャンサイズを見積もり、選択したタイムフレームのアーカイブに含まれる圧縮データの総量を取得します。

  5. 履歴ビューに名前を付けます。名前の先頭は小文字にする必要があります。また、小文字、数字、- だけを含めることができます。

  6. この履歴ビューでリハイドレートするログの最大数を 100 万から 10 億の範囲で定義します。

  7. リハイドレートされたログの保存期間を定義します (利用可能な保存期間は契約次第ですが、デフォルトは 15 日です)。

  8. (オプション) @handle 構文のインテグレーションを使用して、リハイドレート完了時にトリガー通知を通知します。

クエリによるリハイドレート

クエリを指定して(たとえば 1 つ以上のサービス、URL エンドポイント、カスタマー ID など)履歴ビューを作成すると、ログのリハイドレートに必要な時間と費用を節約できます。これは、リハイドレートする期間の幅が広い場合に特に便利です。作成する履歴ビューごとに最大で 10 億のログイベントをリハイドレートできます。

履歴ビューのコンテンツの表示

履歴ビューのページから

“Rehydrate from Archive” を選択すると、コンテンツをクエリできる状態になるまで履歴ビューに “pending” のマークが付けられます。

コンテンツがリハイドレートされると、履歴ビューに active のマークが表示され、クエリ列のリンクによってログエクスプローラーの履歴ビューに移動できるようになります。

ログエクスプローラーから

あるいは、ログエクスプローラーのインデックスセレクターから直接履歴ビューを探すこともできます。履歴ビューを選択するには、ポップアップの指示に従って、選択する履歴ビューに関連するタイムフレームを設定します。

履歴ビューの削除

履歴ビューは、選択した保持期間を超えるまで Datadog に残ります。または、ビューが不要になった場合は、これより早く削除することを選択できます。履歴ビューの右端にある削除アイコンを選択して確認することで、履歴ビューを削除対象としてマークできます。

1 時間後に、履歴ビューが最終的に削除されます。それまでの間なら、削除をキャンセルすることができます。

アーカイブのリハイドレートの設定

Datadog のアーカイブの定義

外部のアーカイブからデータをリハイドレートするには、外部のアーカイブを構成する必要があります。ログを外部の使用可能な場所にアーカイブするには、こちらのガイドを参照してください。

アクセス許可

Datadog は、アーカイブからコンテンツをリハイドレートするために、アーカイブに対して読み取りのアクセス許可を必要とします。このアクセス許可は、いつでも変更できます。

AWS Role Delegation は、Datadog for Government site でサポートされていません。アクセスキーを使用する必要があります。

ログイベントをアーカイブからリハイドレートするために、Datadog は AWS インテグレーションで構成する AWS アカウントの IAM ロールを使用します。このロールをまだ作成していない場合は、こちらの手順に従って作成してください。このロールに対してアーカイブからのログイベントのリハイドレートを許可するには、以下のアクセス許可ステートメントを IAM ポリシーに追加する必要があります。バケット名を編集し、必要であればログアーカイブへのパスを指定してください。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DatadogUploadAndRehydrateLogArchives",
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject"],
      "Resource": [
        "arn:aws:s3:::<バケット名_1_/_バケットへのパス_任意_1>/*",
        "arn:aws:s3:::<バケット名_2_/_バケットへのパス_任意_2>/*"
      ]
    },
    {
      "Sid": "DatadogRehydrateLogArchivesListBucket",
      "Effect": "Allow",
      "Action": "s3:ListBucket",
      "Resource": [
        "arn:aws:s3:::<バケット名_1>",
        "arn:aws:s3:::<バケット名_2>"
      ]
    }
  ]
}

ロールの委任を S3 アーカイブに追加する

Datadog では、ロールの委任を使用してアクセスを許可するよう構成されたアーカイブだけをリハイドレートできます。Datadog IAM ロールに先ほどの IAM ポリシーを含めた後で、アーカイブコンフィギュレーションのページにある各アーカイブが、AWS アカウントとロールの正しい組み合わせで構成されていることを確認してください。

Datadog は、アーカイブのストレージアカウントのスコープを持つ Storage Blob Data Contributor ロールが割り当てられた Azure AD グループを使用して、ログイベントをリハイドレートします。このロールを Datadog のサービスアカウントに付与するには、ストレージアカウントの Access Control (IAM) ページで、Storage Blob Data Contributor ロールを Datadog インテグレーションアプリに割り当てる必要があります。

アーカイブからログイベントをリハイドレートするために、Datadog は Storage Object Viewer ロールが割り当てられたサービスアカウントを使用します。このロールを Datadog のサービスアカウントに付与するには、GCP の IAM と管理者のページでサービスアカウントのアクセス許可を編集し、ロールを 1 つ追加してから、Storage > Storage Object Viewer の順に選択します。

*Log Rehydration は Datadog, Inc. の商標です