ジョブ定義にコンテナを追加することで、AWS Batch ジョブコンテナと並行して Datadog Agent を実行することができます。

前提条件

  • AWS Batch コンピューティング環境
  • AWS コンピューティング環境と関連付けられた AWS Batch ジョブキュー

ジョブ定義を作成する

  1. AWS Web コンソールにログインし、AWS Batch のセクションに移動します。
  2. 左メニューの [Job Definitions] をクリックし、Create ボタンをクリックするか、既存の AWS Batch ジョブ定義を選択します。
  3. 新しいジョブ定義の場合:
    1. オーケストレーションタイプとして [Fargate] を選択します。
    2. [Use legacy containerProperties structure] オプションの選択を解除します。
    3. [Job Definition Name] を入力します (例: my-app-and-datadog)。
    4. 実行 IAM ロールを選択します。権限の要件については、後述の「IAM ポリシーを作成または変更する」セクションを参照してください。
    5. アウトバウンドネットワークアクセスを許可するために [Assign public IP] を有効にし、Next ボタンをクリックします。
    6. Datadog Agent コンテナを設定します。
      1. [Container name] に datadog-agent と入力します。
      2. [Image] に public.ecr.aws/datadog/agent:latest と入力します。
      3. 必要性に応じて、CPU と Memory のリソース要件を設定します。
      4. [Env Variables] で、Key DD_API_KEY を追加し、値として Datadog API キーを入力します。
      5. Key ECS_FARGATE と値 true を使用して、別の環境変数を追加します。[Add] をクリックして、コンテナを追加します。
      6. Key DD_SITE と値 を使用して、別の環境変数を追加します。設定しない場合、これはデフォルトで datadoghq.com になります。
    7. ジョブ定義に他のアプリケーションコンテナを追加します。
    8. AWS Batch は Fluent Bit および Firelens をサポートしています。Datadog でアプリケーションコンテナのログ収集を有効にするには、以下を行います。
      1. ジョブ定義内に、ログルーター用のコンテナを別途作成します。
      2. そのコンテナのイメージに amazon/aws-for-fluent-bit:stable" を設定します。
      3. Firelens 構成セクションで、以下のように設定します。
        • [Type] を fluentbit に設定します。
        • [Options] に、[Name] と [Value] を含め、enable-ecs-log-metadata と true をそれぞれに設定します。
      4. アプリケーションコンテナのログ構成セクションで、以下のように設定します。
    9. [Create job definition] をクリックして、ジョブ定義を作成します。
  1. datadog-agent-aws-batch-ecs-fargate.json をダウンロードします。

    注: Internet Explorer を使用している場合、ファイルが gzip 形式でダウンロードされることがありますが、その中に以下の JSON ファイルが含まれています。

  2. JOB_DEFINITION_NAME、Datadog API キー、および適切な DD_SITE () を指定して JSON を更新します。

    注: 環境変数 ECS_FARGATE は既に "true" に設定されています。

  3. ジョブ定義に他のアプリケーションコンテナを追加します。

  4. AWS Batch は Fluent Bit および Firelens をサポートしています。Datadog でアプリケーションコンテナのログ収集を有効にするには、以下を行います。

    • JSON ファイルの containers セクションに、log_router コンテナを次のように追加します。
       {
           "name": "log_router",
           "image": "amazon/aws-for-fluent-bit:stable",
           "essential": true,
           "firelensConfiguration": {
               "type": "fluentbit",
               "options": {
                   "enable-ecs-log-metadata": "true"
               }
           },
           "resourceRequirements": [
               {
                   "value": "0.25",
                   "type": "VCPU"
               },
               {
                   "value": "512",
                   "type": "MEMORY"
               }
           ]
       }
      
    • アプリケーションコンテナに、ECS Fargate Fluent Bit および Firelens セクションのステップ 2 と同様に、適切な logConfiguration オプションを追加します。
  5. 次のコマンドを実行してジョブ定義を登録します。

    aws batch register-job-definition --cli-input-json file://<PATH_TO_FILE>/datadog-agent-aws-batch-ecs-fargate.json
    

AWS Batch ジョブを送信する

  1. AWS Web コンソールにログインし、AWS Batch のセクションに移動します。必要に応じて、コンピューティング環境および/またはコンピューティング環境に関連付けられたジョブキューを作成します。
  2. [Jobs] タブで、Submit new job ボタンをクリックします。
  3. [Job name] を入力します。
  4. [Job Definition] には、前のステップで作成したジョブ定義を選択します。
  5. Datadog Agent を実行するジョブキューを選択します。
  6. Container overridesは、必要に応じて設定します。
  7. Next ボタンをクリックし、Create job ボタンをクリックします。
  1. ジョブ定義のジョブを送信するには、次のコマンドを実行します。
aws batch submit-job --job-name <JOB_NAME> \
--job-queue <JOB_QUEUE_NAME> \
--job-definition <JOB_DEFINITION_NAME>:1

参考資料