Datadog Archives 送信先

Docs > Observability Pipelines > 送信先 > Datadog Archives 送信先

次で利用可能:

ログ

概要

Datadog Archives 送信先を使用して、アーカイブのために Datadog で再取り込み可能な形式で Amazon S3 にログを送信します。その後、Archive Search を使用してこれらのログをクエリできます。プラットフォーム全体にアクセスできるように結果の再インデックスが必要な場合は、Archive Search の Search & Rehydration モードを使用してください。

注記:

Datadog Archives 送信先では、gzip を使用してログが圧縮されます。
JSON または Parquet 形式で Amazon S3 にログを送信する場合は、Amazon S3 送信先を使用してください。

Datadog Archives 送信先を使用してログを Snowflake にルーティングすることもできます。

前提条件

Datadog Archives 送信先を使用するには、Datadog の AWS インテグレーションをインストールして、Datadog ログアーカイブを構成できるようにする必要があります。

ログアーカイブを構成する

Datadog ログアーカイブがすでに構成されている場合は、パイプラインの送信先をセットアップするに進んでください。

Create an Amazon S3 bucket

Navigate to Amazon S3 buckets.
Click Create bucket.
Enter a descriptive name for your bucket.
Do not make your bucket publicly readable.
Optionally, add tags.
Click Create bucket.

S3 バケットへの書き込みを Worker に許可する IAM ポリシーをセットアップする

IAM コンソールに移動します。
左側のメニューで [Policies] (ポリシー) を選択します。
[Create policy] (ポリシーの作成) をクリックします。
[Specify permissions] (アクセス許可の指定) セクションで [JSON] をクリックします。

下記のポリシーをコピーし、[Policy editor] (ポリシーエディタ) に貼り付けます。<MY_BUCKET_NAME_1> と <MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1> を、前のセクションで作成した S3 バケットの情報に置き換えてください。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DatadogUploadAndRehydrateLogArchives",
            "Effect": "Allow",
            "Action": ["s3:PutObject", "s3:GetObject"],
            "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1>/*"
        },
        {
            "Sid": "DatadogRehydrateLogArchivesListBucket",
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>"
        }
    ]
}

[Next] (次へ) をクリックします。
わかりやすいポリシー名を入力します。
必要に応じて、タグを追加します。
[Create policy] をクリックします。

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

Create a service account

Create a service account to use the policy you created above.

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

S3 バケットを Datadog ログアーカイブに接続する

Datadog の [Log Forwarding] (ログ転送) に移動します。
[New archive] (新規アーカイブ) をクリックします。
わかりやすいアーカイブ名を入力します。
ログパイプラインを通過するすべてのログを除外するクエリを追加し、それらのログがこのアーカイブに入らないようにします。たとえば、パイプラインを通過するログにそのタグが追加されていないと仮定して、クエリ observability_pipelines_read_only_archive を追加します。
[AWS S3] を選択します。
バケットが存在する AWS アカウントを選択します。
S3 バケットの名前を入力します。
必要に応じて、パスを入力します。
確認ステートメントをチェックします。
必要に応じて、タグを追加し、再取り込みの最大スキャンサイズを定義します。詳細については、詳細設定を参照してください。
[Save] (保存) をクリックします。

詳細については、ログアーカイブのドキュメントを参照してください。

パイプラインの送信先をセットアップする

アーカイブログパイプラインをセットアップする際に、Datadog Archives 送信先を設定します。パイプラインは、UI、API、または Terraform を使用してセットアップできます。このセクションの手順は、UI で設定します。

パイプライン UI で Datadog Archives 送信先を選択した後:

S3 バケット名を入力します。ログアーカイブを設定済みの場合は、作成しておいたバケットの名前になります。
S3 バケットが存在する AWS リージョンを入力します。
キープレフィックスを入力します。
- プレフィックスは、オブジェクトをパーティション分割するのに役立ちます。たとえば、プレフィックスをオブジェクトキーとして使用し、特定のディレクトリの下にオブジェクトを保存できます。この目的でプレフィックスを使用する場合、ディレクトリパスとして機能させるために / で終わる必要があります。末尾の / は自動的には追加されません。
- ログ内の特定のフィールドに基づいて異なるオブジェクトキーにログをルーティングする場合は、テンプレート構文を参照してください。
- 注: Datadog では、プレフィックスをディレクトリ名で開始し、先頭にスラッシュ (/) を付けないことを推奨しています。たとえば、app-logs/ や service-logs/ などです。
Storage Class ドロップダウンメニューから、S3 バケットのストレージクラスを選択します。ログをアーカイブおよび再取り込みする場合:
- 注: 再取り込みは、次のストレージクラスのみをサポートしています。
  - Standard
  - Intelligent-Tiering (オプションの非同期アーカイブアクセス階層がいずれも無効になっている場合に限る)
  - Standard-IA
  - One Zone-IA
- 別のストレージクラスのアーカイブから再取り込みする場合は、まずそれらを上記のサポートされているストレージクラスのいずれかに移動する必要があります。
- Amazon S3 送信先のセットアップに基づいてログアーカイブを設定する方法については、このページの送信先とログアーカイブのセットアップの例セクションを参照してください。

オプション設定

AWS 認証

AWS 認証オプションを選択します。前に作成したユーザーまたはロールのみを認証に使用する場合は、Assume role を選択しないでください。Assume role は、前に作成したユーザーまたはロールが AWS リソースにアクセスするために別のロールを引き受ける必要がある場合にのみ選択します。引き受けるロールの権限は明示的に定義されている必要があります。
Assume role を選択した場合:

引き受ける IAM ロールの ARN を入力します。
- 注: Worker が AWS で認証できるように、前に作成したユーザーまたはロールには、このロールを引き受ける権限が必要です。
(オプション) 引き受けるロールのセッション名と外部 ID を入力します。

バッファリング

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
To configure a buffer on your destination:
1. Select the buffer type you want to set (Memory or Disk).
2. Enter the buffer size and select the unit.
  1. Maximum memory buffer size is 128 GB.
  2. Maximum disk buffer size is 5 TB.
    - Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

送信先とログアーカイブのセットアップの例

Datadog Archives 送信先に次の値を入力する場合:

S3 バケット名: test-op-bucket
すべてのオブジェクトキーに適用するプレフィックス: op-logs
作成オブジェクトのストレージクラス: Standard

この場合、ログアーカイブ用の S3 バケットを設定するために入力する値は次のとおりです。

S3 バケット: test-op-bucket
パス: op-logs
ストレージクラス: Standard

シークレットのデフォルト

These are the defaults used for secret identifiers and environment variables.

設定するシークレット識別子はありません。

There are no environment variables to configure.