Amazon ECS ログ収集

Docs > コンテナモニタリング > Amazon ECS > Amazon ECS ログ収集

概要

Datadog Agent 6+ は、コンテナからログを収集します。ECS コンテナからログを収集する推奨方法は、Agent のタスク定義内でログ収集を有効にすることです。これは、以前使用していたタスク定義ファイルを修正し、更新したタスク定義を登録することで実行できます。また、Amazon Web UI から直接タスク定義を編集することもできます。

有効化すると、Datadog Agent コンテナは、自身と同じホスト上の他のアプリケーションコンテナから発行されるログを収集します。これは、default または json-file ロギングドライバーを使用しているときに stdout と stderr ログストリームに出力されるログに限定されます。

コンテナがそのコンテナ内に隔離されたログファイルを作成している場合、Agent コンテナがこれらのログファイルにアクセスできるように、いくつかの追加手順を実行する必要があります。
コンテナがログを CloudWatch に送信するために awslogs ロギングドライバーを使用している場合、これらのログは Agent から見えません。代わりに、これらのログを収集するために、AWS ログ収集インテグレーションのいずれかを使用します。

インストール

ECS タスク定義

実行中の ECS コンテナからすべてのログを収集するには、オリジナルの ECS セットアップの Agent のタスク定義を、以下の環境変数とマウントで更新します。

必要な基本構成は、datadog-agent-ecs-logs.json を参考にします。タスク定義には、以下のものが必要です。

{
  "containerDefinitions": [
    {
      (...)
      "mountPoints": [
        (...)
        {
          "containerPath": "/opt/datadog-agent/run",
          "sourceVolume": "pointdir",
          "readOnly": false
        },
        {
          "containerPath": "/var/lib/docker/containers",
          "sourceVolume": "containers_root",
          "readOnly": true
        }
      ],
      "environment": [
        (...)
        {
          "name": "DD_LOGS_ENABLED",
          "value": "true"
        },
        {
          "name": "DD_LOGS_CONFIG_CONTAINER_COLLECT_ALL",
          "value": "true"
        }
      ]
    }
  ],
  "volumes": [
    (...)
    {
      "host": {
        "sourcePath": "/opt/datadog-agent/run"
      },
      "name": "pointdir"
    },
    {
      "host": {
        "sourcePath": "/var/lib/docker/containers/"
      },
      "name": "containers_root"
    }
  ],
  "family": "datadog-agent-task"
}

必要な基本構成は、datadog-agent-ecs-win-logs.json を参考にします。タスク定義には、以下のものが必要です。

{
  "containerDefinitions": [
    {
      (...)
      "mountPoints": [
        (...)
        {
          "containerPath": "C:/programdata/datadog/run",
          "sourceVolume": "pointdir",
          "readOnly": false
        },
        {
          "containerPath": "c:/programdata/docker/containers",
          "sourceVolume": "containers_root",
          "readOnly": true
        }
      ],
      "environment": [
        (...)
        {
          "name": "DD_LOGS_ENABLED",
          "value": "true"
        },
        {
          "name": "DD_LOGS_CONFIG_CONTAINER_COLLECT_ALL",
          "value": "true"
        }
      ]
    }
  ],
  "volumes": [
    (...)
    {
      "name": "pointdir",
      "dockerVolumeConfiguration": {
        "autoprovision": true,
        "scope": "shared",
        "driver": "local"
      }
    },
    {
      "host": {
        "sourcePath": "c:/programdata/docker/containers"
      },
      "name": "containers_root"
    }
  ],
  "family": "datadog-agent-task"
}

これらのタスク定義では、環境変数 DD_LOGS_CONFIG_CONTAINER_COLLECT_ALL=true を設定して、Agent が検出したすべてのコンテナからログを収集します。この環境変数を false に設定すると、コンテナにオートディスカバリーラベルが存在する場合にのみログを収集するように設定されます。

Agent のタスク定義のローカルファイルを所有している場合、更新されたタスク定義の登録の手順を繰り返すことができます。これにより、新しいリビジョンが作成されます。Datadog Agent の Daemon Service で、この更新されたリビジョンを参照することができます。

カスタムログ収集

オートディスカバリーラベル

環境変数 DD_LOGS_CONFIG_CONTAINER_COLLECT_ALL=true が設定されている場合、Agent はデフォルトで検出したすべてのコンテナからログを収集します。これらの収集されたログには、service タグと source タグにそれぞれのコンテナのショートイメージ名が設定されています。オートディスカバリー用の ECS アプリケーションコンテナで Docker Labels を提供することで、Agent がそのコンテナに対して使用するログ構成をカスタマイズすることができます。

オートディスカバリー構成の使用方法については、Docker Log Collection セットアップ手順を参照してください。例えば、以下のログ構成では、収集するログの source と service をオーバーライドしています。

[{"source": "example-source", "service": "example-service"}]

ECS に関しては、ログを出力するアプリケーションコンテナのタスク定義の dockerLabels 内にあるラベル com.datadoghq.ad.logs に追加することができます。

{
  "containerDefinitions": [
    {
      "name": "<CONTAINER_NAME>",
      "image": "<CONTAINER_IMAGE>",
      "dockerLabels": {
        "com.datadoghq.ad.logs": "[{\"source\": \"example-source\", \"service\": \"example-service\"}]"
      }
    }
  ]
}

ログ構成にタグを追加する、または任意の log_processing_rules による高度なログ収集オプションでさらにカスタマイズすることができます。

コンテナ内のログファイル

Docker (default または json-file ドライバー) は stdout と stderr ログストリームを Agent がすぐに見つけられるフォーマットで公開します。しかし、コンテナがコンテナ内で孤立したログファイルを作成している場合、Agent はそのファイルに対してネイティブに可視性を持ちません。Datadog は、コンテナ化されたアプリケーションで stdout と stderr 出力ストリームを使用して、ログ収集をより自動的にセットアップすることを推奨します。これが不可能な場合、オートディスカバリーログ構成を提供して目的のファイルパスを指定し、Agent コンテナとアプリケーションコンテナがログファイルを含むホスト上のディレクトリを共有するようにすることができます。

以下のログ構成は、Agent に対して、/var/log/example/app.log パスにこのカスタムログファイルを収集することを指示します。

[{
  "type": "file",
  "path": "/var/log/example/app.log",
  "source": "example-source",
  "service": "example-service"
}]

例: 以下のタスク定義では、以下のことを実行します。

ファイル /var/log/example/app.log にいくつかのログを書き込む
ログの構成を設定するための dockerLabels を存在させる
この /var/log/example ディレクトリに対してホストパス volumes と mountPoints を指定する

{
  "containerDefinitions": [
    {
      "name": "example-logger",
      "image": "busybox",
      "entryPoint": ["/bin/sh", "-c", "--"],
      "command": ["while true; do sleep 1; echo `date` example file log >> /var/log/example/app.log; done;"],
      "mountPoints": [
        {
          "containerPath": "/var/log/example",
          "sourceVolume": "applogs"
        }
      ],
      "dockerLabels": {
        "com.datadoghq.ad.logs": "[{\"type\":\"file\",\"path\":\"/var/log/example/app.log\",\"source\":\"example-source\",\"service\":\"example-service\"}]"
      }
    }
  ],
  "volumes": [
    {
      "host": {
        "sourcePath": "/var/log/example"
      },
      "name": "applogs"
    }
  ],
  "family": "example-logger"
}

構成のファイルパスは、常に Agent からの相対パスです。同じ volume と mountPoint が Agent のタスク定義内に存在し、そのログファイルを可視化する必要があります。

ECS によるボリューム管理の詳細については、AWS Bind マウントのドキュメントを参照してください。

注: コンテナでこのような構成を使用する場合、stdout と stderr のログストリームはコンテナから自動的に収集されず、ファイルのみ収集されます。コンテナのストリームとファイルの両方から収集する必要がある場合は、構成で明示的にこれを有効にします。例:

[
  {
    "type": "file",
    "path": "/var/log/example/app.log",
    "source": "example-file",
    "service": "example-service"
  },
  {
    "source": "example-stream",
    "service": "example-service"
  }
]