概要

Datadog Agent はアプリケーションログを収集し、Datadog に送信します。ファイルにログを書き込むアプリケーションの場合、Agent は新しいエントリーが追加されるたびにそれらのファイルを読み取ります。アプリケーションは多くの場合、ログファイルのサイズや期間が制限に達するとアクティブなファイルを新しいものに置き換えてローテーションします。

Agent がローテーションされたファイルの末尾に到達する前に読み取りを停止すると、残りのデータは Datadog に送信されません。Agent はこれを欠落したログバイトとして報告します。Log Explorerでギャップに気づいたり、Agent ログファイルに警告が表示されたりすることがあります。

WARN | After rotation close timeout (60s), there were 148213 bytes remaining unread for file "/var/log/app/app.log". These unread logs are now lost. Consider increasing DD_LOGS_CONFIG_CLOSE_TIMEOUT

Agent は、ローテーションを検出した後 logs_config.close_timeout (デフォルトでは 60 秒) の間ローテーションされたファイルの読み取りを継続します。このタイムアウトが経過した時点で未読データが残っている場合、Agent はファイルを閉じ、上記の警告を書き込みます。

考えられる原因

バックプレッシャーは、Agent のログパイプラインのステージが処理に追いつかずステージやファイルの読み取りが遅延したときに発生します。頻繁なローテーションや大量のログも、Agent がタイムアウト内に処理を完了できない原因となることがあります。

  • ネットワーク、プロキシ、認証、またはインテークのエラーにより、Agent が Datadog インテークにペイロードを配信できません。
  • ネットワークまたはインテークレイテンシーにより、ログの送信が遅延しています。
  • エンコーディング、バッチ処理、または圧縮がログパイプラインを制限しています。
  • 処理ルールまたは複数行処理がログパイプラインを制限しています。
  • ログのレートが、Agent が利用可能な CPU またはネットワークの容量を超えています。
  • ダウンストリームのパイプラインが飽和していない場合でも、ローテーション間隔中に書き込まれたデータを Agent が読み取る前に対象のファイルがローテーションされます。

欠落したログバイトを診断する

  1. ローテーションの警告に関する Agent ログファイルを検索します。影響を受けたファイルパス、タイムスタンプ、および未読バイトを記録します。
  2. Agent 7.82.0 以降を使用している場合は、ステータスコマンドを実行し、ログ Agent バックプレッシャーセクションを参照してください。保持されている履歴と警告のタイムスタンプを比較します。
  3. ログ Agent バックプレッシャーテーブルの複数の行が飽和している場合は、destination_reliable_N、worker、strategy、および processor の順序で調査します。チューニングアクションを選択するセクションを使用して、そのリストの最初の飽和コンポーネントに対する次のステップを選択します。
  4. 関連する変更を 1 つ適用してから、別のコンポーネントに対処する前に、結果を確認するセクションに従います。
  5. Agent が必要なボリュームを処理できない場合は、ログボリュームを減らすセクションに従います。

ログ Agent バックプレッシャーを解釈する

Agent バージョン 7.82.0 以降では、ステータスコマンドにログ Agent バックプレッシャーセクションが含まれています。このセクションでは、プロセッサー、バッチ処理戦略、送信者ワーカー、および送信先の最近の利用状況が報告されます。ピーク時の利用状況は約 10 時間、詳細な飽和期間は 30 分間保持されます。

sudo datadog-agent status

このセクションは、Agent フレア 内の status.log にもあります。Agent の再起動時に履歴がリセットされるため、再起動前にフレアを取得してください。

Logs Agent Backpressure
=======================

  Overall state: SATURATED
  Reason: destination_reliable_0 pipeline q0s0 is currently saturated (saturated for 3m20s in the last 30m)

  Component              Instance Current   5m avg/max    30m avg/max    2h max    5h max    10h max    30m saturated    Last saturated
  processor              0        20%       18/26%        15/41%         55%       55%       55%        0s               -
  strategy               0        14%       12/19%        13/22%         22%       22%       22%        0s               -
  worker                 q0s0     46%       43/63%        27/63%         63%       63%       63%        0s               -
  destination_reliable_0 q0s0     93%       82/93%        71/93%         93%       93%       93%        3m20s            12:09:42

destination_reliable_0 が飽和状態であるため、プロセッサーやバッチ処理の設定を変更する前に配信エラーを解決するセクションに従ってください。

全体的な状態

状態意味
HEALTHYどのコンポーネントも飽和しておらず、過去 30 分間に飽和したコンポーネントもありません。
WARNING飽和しているコンポーネントはありませんが、過去 30 分間に少なくとも 1 つが飽和していました。Last saturated と欠落バイトの警告タイムスタンプを比較します。
SATURATED現在の 15 秒間のウィンドウ内で少なくとも 1 つのコンポーネントが飽和しきい値に達しました。

飽和とは、コンポーネントが待機ではなく稼働にサンプリング時間の少なくとも 90% を費やしたことを意味します。ローテーション警告を使用して損失とテーブルを確認し、考えられる制約を特定してください。

テーブル列

列意味
Componentログパイプラインのステージ。チューニングアクションを選択するセクションを参照してください。
Instanceパイプラインまたは送信先インスタンス。
Current約 15 秒間にわたって平滑化された利用率。
5m avg/max および 30m avg/max指定されたウィンドウ内の平均およびピーク利用率。
2h max、5h max、および 10h max指定されたウィンドウ内のピーク利用率。
30m saturated過去 30 分間に利用率が 90% 以上に達していた時間。
Last saturated最後に保持された飽和サンプルの時刻。- は、保持された利用可能なサンプルがないことを意味します。

Agent がローテーションされたファイルを読み取るための時間を増やす

Agent がローテーションされたファイルの読み取りを完了するためにデフォルトの 60 秒以上かかる場合は、logs_config.close_timeout を増やしてください。180 秒のタイムアウトを使用するには、以下を実行します。

datadog.yaml

logs_config:
  close_timeout: 180
DD_LOGS_CONFIG_CLOSE_TIMEOUT=180

タイムアウトを変更した後、代表的なログボリュームが発生している間にAgent ログファイルで新しいローテーション警告を検索してください。警告が続く場合は、タイムアウトを再度増やすか、チューニングアクションを選択するセクションを使用して、飽和したコンポーネントに対するアクションを選択してください。タイムアウトを長くするとローテーションされたファイルが開いたままになり、ファイル記述子とディスク使用率が増加する可能性があります。

Agent が一致するすべてのファイルをテールしない場合は、代わりに logs_config.open_files_limit をチェックしてください。構成の詳細については、Agent によって追跡されるログファイルの数を増やすを参照してください。

Agent を調整する

チューニングアクションを選択する

コンポーネント解釈このセクションで開始
destination_reliable_Nログの送信が遅延または再試行されています。配信エラーを解決する
workerペイロードが送信待ちの状態です。配信エラーを解決する
strategyエンコーディング、バッチ処理、または圧縮作業が容量の上限に達しています。圧縮を無効にするまたはパイプライン並列化を増やす
processorログ処理が容量の上限に達しています。ログ処理を減らすまたはパイプライン並列化を増やす

配信エラーを解決する

destination_reliable_N が飽和状態の場合は、Agent ログファイルを開き、欠落バイトの警告タイムスタンプ付近のエントリーで送信の失敗や再試行がないか確認してください。認証、拒否、プロキシ、DNS、およびコネクションエラーを解決します。プロキシ構成、ネットワークアクセスから Datadog エンドポイント、およびDatadog サイトを確認します。

圧縮を無効化する

HTTPS 配信の場合、圧縮はデフォルトで有効になっています。strategy が飽和状態で Agent の CPU 使用率が高い場合は、圧縮の無効化を検討してください。これにより圧縮作業は軽減されますが、ペイロードサイズとログ取り込みに送信されるバイト数は増加します。

datadog.yaml

logs_config:
  use_compression: false

変更後、ステータスコマンドを実行し、strategy の飽和時間が短縮されたことを確認してください。ネットワーク使用量が容量の上限に達した場合、または Agent ログファイルに新しい配信エラーが表示された場合は、圧縮を再度有効にしてください。

パイプラインの並列化を増やす

デフォルトでは、Agent は利用可能な論理 CPU ごとに 1 つのログパイプラインを実行し、最大 4 つのパイプラインを実行します。

processor または strategy が飽和しており、ホスト CPU に余裕がある場合は、logs_config.pipelines を増やしてください。例: Agent が利用可能な論理 CPU が 8 つあるホストの場合:

datadog.yaml

logs_config:
  pipelines: 8

Agent が複数のログソースから収集する場合、パイプラインを追加すると効果的です。単一のソースは 1 つのパイプラインに保持されます。パイプラインを増やすと、Agent CPU、メモリ、および HTTP 送信の合計同時実行数が増加する可能性があります。変更後、ステータスコマンドを実行し、対象コンポーネントの飽和時間が短縮されたことを確認してください。

ログ処理を削減する

processor が飽和している場合は、設定済みの処理ルールを確認してください。グローバルルールは、Agent が収集するすべてのログに対して実行されます。ルールが 1 つのソースにのみ適用される場合は、そのソースのインテグレーション設定に移動してください。

conf.d/myapp.d/conf.yaml

logs:
  - type: file
    path: /var/log/app/app.log
    service: myapp
    source: myapp
    log_processing_rules:
      - type: exclude_at_match
        name: exclude_debug
        pattern: \[DEBUG\]

グローバル logs_config.processing_rules およびソースレベルの log_processing_rules から重複するルールを削除してください。Agent 7.82.0 以降、自動複数行検出がデフォルトで有効になっています。processorコンポーネントが飽和しており、ログに複数行の集約が不要な場合は、無効化を検討してください。

datadog.yaml

logs_config:
  auto_multi_line_detection: false

ソースの複数行フォーマットが既知である場合は、自動検出を使用する代わりに、ソースレベルの multi_line 処理ルールを設定してください。変更後、ステータスコマンドを実行してプロセッサーの飽和状態を比較し、関連行が正しくグループ化されたままになっていることをログエクスプローラーで確認してください。

ログボリュームを減らす

Agent が利用可能なホストおよびネットワーク容量内で必要なボリュームを処理できない場合は、不要なログをフィルタリングしてください。exclude_at_match 処理ルールは、一致ログがホストから送信される前に破棄されます。

datadog.yaml

logs_config:
  processing_rules:
    - type: exclude_at_match
      name: exclude_health_checks
      pattern: GET /health

フィルターが 1 つのログソースのみに適用される場合は、代わりにソースレベルの log_processing_rules エントリーを使用してください。

結果を確認する

代表的なログボリュームの下で各変更をテストします。

  1. ステータスコマンドを実行します。
    sudo datadog-agent status
  2. ターゲットコンポーネントの使用率が 90% 以上になる時間が短縮されたことを確認します。全体的な状態は、飽和状態が解消された後も最大 30 分間 WARNING のままになります。
  3. 新しい remaining unread 警告に関する Agent ログファイルを検索します。

変更によって飽和状態や新しいローテーション警告の頻度が軽減されない場合は、変更を元に戻します。次に、チューニングアクションを選択するセクションから次のアクションを選択します。飽和状態が別のコンポーネントに移動した場合は、そのコンポーネントに対してリストされているアクションを使用してください。

Datadog サポートに問い合わせる

このページのステップで問題が解決しない場合は、Datadog サポートにお問い合わせください。パイプラインが飽和状態でかつ Agent を再起動する前に、フレアを送信してください。

参考資料