概要

Azure Storage 送信先を使用して、Azure Storage バケットにログを送信します。Datadog でログをアーカイブおよびリハイドレーションするために Azure Storage にログを送信する場合は、ログアーカイブを構成する必要があります。Datadog でログのリハイドレーションを行わない場合は、「パイプラインの送信先をセットアップする」に進んでください。

ログアーカイブを構成する

この手順は、アーカイブやリハイドレーションのために Datadog でリハイドレーション可能な形式で Azure Storage にログを送信する場合で、かつ Observability Pipelines 用に Datadog ログアーカイブがまだ構成されていない場合にのみ必要です。Datadog Log Archive がすでに構成されている場合、または Datadog でログのリハイドレーションを行わない場合は、パイプラインの送信先をセットアップするに進んでください。

Datadog ログアーカイブを設定するには、Datadog の Azure インテグレーションがインストールされている必要があります。

ストレージアカウントを作成する

まだストレージアカウントがない場合は、Azure ストレージアカウントを作成します。

1. ストレージアカウントに移動します。
2. [Create] (作成) をクリックします。
3. 使用するサブスクリプション名とリソース名を選択します。
4. ストレージアカウントの名前を入力します。
5. ドロップダウンメニューでリージョンを選択します。
6. [Standard] (標準) パフォーマンスまたは [Premium] (プレミアム) アカウントタイプを選択します。
7. [Next] (次へ) をクリックします。
8. [Blob storage] (Blob ストレージ) セクションで、[Hot] (ホット) または [Cool] (クール) ストレージを選択します。
9. [Review + create] (レビュー + 作成) をクリックします。

ストレージバケットを作成する

1. ストレージアカウントで、左側のナビゲーションメニューにある [Data storage] (データストレージ) の下の [Containers] (コンテナ) をクリックします。
2. 上部の [+ Container] (+ コンテナ) をクリックしてコンテナを作成します。
3. 新しいコンテナの名前を入力します。この名前は、後で Observability Pipelines の Azure Storage 送信先を設定するときに使用します。

注: 不変性ポリシーは設定しないでください。まれに (通常はタイムアウト時) 最新データを書き換える必要があるためです。

Azure コンテナを Datadog ログアーカイブに接続する

1. Datadog の [Log Forwarding] (ログ転送) に移動します。
2. [New archive] (新規アーカイブ) をクリックします。
3. わかりやすいアーカイブ名を入力します。
4. ログパイプラインを通過するすべてのログを除外するクエリを追加し、それらのログがこのアーカイブに入らないようにします。たとえば、パイプラインを通過するログにそのタグが追加されていないと仮定して、クエリ observability_pipelines_read_only_archive を追加します。
5. Azure Storage を選択します。
6. ストレージアカウントが属している Azure テナントとクライアントを選択します。
7. ストレージアカウントの名前を入力します。
8. 先ほど作成したコンテナの名前を入力します。
9. オプションで、パスを入力します。
10. 必要に応じて、権限を設定し、タグを追加して、リハイドレーション用の最大スキャンサイズを指定します。詳細については、高度な設定を参照してください。
11. [Save] (保存) をクリックします。

詳細については、ログアーカイブのドキュメントを参照してください。

パイプラインの送信先をセットアップする

パイプラインをセットアップする際に、Azure Storage 送信先を構成します。パイプラインのセットアップは、UI で、API を使用して、または Terraform で行えます。このセクションの手順は、UI で設定します。

パイプライン UI で Azure Storage 送信先を選択したら、次のようにします。

1. Azure 接続文字列の識別子を入力します。空白のままにすると、デフォルトが使用されます。
2. 先ほど作成した Azure コンテナの名前を入力します。

オプション設定

すべてのキーオブジェクトに適用するプレフィックス

すべてのキーオブジェクトに適用するプレフィックスを入力します。

• プレフィックスは、オブジェクトをパーティション分割するうえで役立ちます。たとえば、プレフィックスをオブジェクトキーとして使用して、特定のディレクトリの下にオブジェクトを保存できます。この目的でプレフィックスを使用する場合は、ディレクトリパスとして機能するように末尾を / にする必要があります。末尾の / は自動的には追加されません。
• 特定のフィールドに基づいて、ログを異なるオブジェクトキーに振り分ける場合は、テンプレート構文を参照してください。
  • 注: Datadog では、プレフィックスの先頭はスラッシュ (/) を付けないディレクトリ名にすることを推奨しています。たとえば、app-logs/ や service-logs/ などです。

圧縮

1. [Compression - Algorithm] (圧縮 - アルゴリズム) ドロップダウンメニューで、アーカイブされたログの圧縮アルゴリズム ([gzip] または [zstd]) を選択します。
   • 注: 圧縮アルゴリズムが指定されていない場合は、圧縮レベル 6 の gzip が使用されます。
2. [Compression - Level] (圧縮 - レベル) フィールドに、圧縮レベルを入力する必要があります。Datadog は、gzip には 6、zstd には 3 を推奨しています。

バッファリング

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

シークレットのデフォルト

These are the defaults used for secret identifiers and environment variables.

健全性メトリクス

すべての送信先から送信されるコンポーネントメトリクスおよび送信先バッファメトリクスについては、パイプライン使用状況メトリクスのドキュメントを参照してください。Azure Storage 送信先メトリクスでフィルタリングまたはグループ化するには、タグ component_type:datadog_archives_azure_blob を使用します。

送信先の動作

イベントのバッチ処理

イベントのバッチは、次のパラメーターのいずれかが満たされたときにフラッシュされます。詳細については、送信先のイベントのバッチ処理を参照してください。