ワーカーをインストールする

このドキュメントは最新ではありません。最新版はこちらをクリックして英語版をご覧ください。
This product is not supported for your selected Datadog site. ().

概要

Observability Pipelines Worker は、お使いの環境で動作し、ログを一元的に収集、処理、ルーティングするソフトウェアです。

注: プロキシーを使用している場合は、Bootstrap オプション の proxy オプションを参照してください。

ワーカーをインストールする

パイプラインを API または Terraform でセットアップした場合は、Worker のインストール方法については API または Terraform のパイプライン セットアップ を参照してください。

UI でパイプラインをセットアップした場合は、Worker のインストール方法については Pipelines UI セットアップ を参照してください。

API または Terraform のパイプライン セットアップ

API または Terraform を使用してパイプラインをセットアップした後は、プラットフォーム向けに Worker をインストールするため、以下の手順に従ってください。

    以下のコマンドを実行して Worker をインストールします。

    docker run -i -e DD_API_KEY=<DATADOG_API_KEY> \
    -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
    -e DD_SITE=<DATADOG_SITE> \
    -e <SOURCE_ENV_VARIABLE> \
    -e <DESTINATION_ENV_VARIABLE> \
    -p 8088:8088 \
    datadog/observability-pipelines-worker run

    以下の値にプレースホルダーを置き換えてください:

    • <DATADOG_API_KEY>: Datadog API キー。
    • <PIPELINE_ID>: パイプラインの ID。
    • <DATADOG_SITE>: Datadog サイト。
    • <SOURCE_ENV_VARIABLE>: パイプラインで使用しているソースに必要な環境変数。
      • 例: DD_OP_SOURCE_DATADOG_AGENT_ADDRESS=0.0.0.0:8282
      • ソース用の環境変数の一覧は 環境変数 を参照してください。
    • <DESTINATION_ENV_VARIABLE>: パイプラインで使用している宛先に必要な環境変数。
      • 例: DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL=https://hec.splunkcloud.com:8088
      • 宛先用の環境変数の一覧は 環境変数 を参照してください。

    注: 既定では、docker run コマンドは Worker がリッスンしているポートと同じポートを公開します。Docker ホスト上の別のポートに Worker のコンテナ ポートをマッピングする場合は、コマンドの -p | --publish オプションを使用します:

    -p 8282:8088 datadog/observability-pipelines-worker run

    パイプラインの構成を変更したい場合は、既存の Pipelines の更新 を参照してください。

    Observability Pipelines Worker は、主要な Kubernetes ディストリビューションをすべてサポートしています。例:

    • Amazon Elastic Kubernetes Service (EKS)
    • Azure Kubernetes Service (AKS)
    • Google Kubernetes Engine (GKE)
    • Red Hat OpenShift
    • Rancher

    1. Helm チャート values ファイル をダウンロードします。利用可能な 構成オプションの全一覧 も参照してください。

    2. Datadog チャートリポジトリを Helm に追加します。

      helm repo add datadog https://helm.datadoghq.com

      すでに Datadog チャート リポジトリがある場合は、最新の状態であることを確認するために次のコマンドを実行します:

      helm repo update

    3. 以下のコマンドを実行して Worker をインストールします。

      helm upgrade --install opw \
-f values.yaml \
--set datadog.apiKey=<DATADOG_API_KEY> \
--set datadog.pipelineId=<PIPELINE_ID> \
--set <SOURCE_ENV_VARIABLES> \
--set <DESTINATION_ENV_VARIABLES> \
--set service.ports[0].protocol=TCP,service.ports[0].port=<SERVICE_PORT>,service.ports[0].targetPort=<TARGET_PORT> \
datadog/observability-pipelines-worker

      以下の値にプレースホルダーを置き換えてください:

      • <DATADOG_API_KEY>: Datadog API キー。
      • <PIPELINE_ID>: パイプラインの ID。
      • <SOURCE_ENV_VARIABLE>: パイプラインで使用しているソースに必要な環境変数。
        • 例: --set env[0].name=DD_OP_SOURCE_DATADOG_AGENT_ADDRESS,env[0].value='0.0.0.0' \
        • ソース用の環境変数の一覧は 環境変数 を参照してください。
      • <DESTINATION_ENV_VARIABLE>: パイプラインで使用している宛先に必要な環境変数。
        • 例: --set env[1].name=DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL,env[2].value='https://hec.splunkcloud.com:8088' \
        • 宛先用の環境変数の一覧は 環境変数 を参照してください。

      注: デフォルトでは、Kubernetes サービスは、受信ポート<SERVICE_PORT> を Worker がリッスンしているポート (<TARGET_PORT>) にマッピングします。Worker のポッドポートを Kubernetes サービスの別の受信ポートにマッピングしたい場合は、コマンドで以下の service.ports[0].port および service.ports[0].targetPort の値を使用します。

      --set service.ports[0].protocol=TCP,service.ports[0].port=8088,service.ports[0].targetPort=8282

    パイプラインの構成を変更したい場合は、既存の Pipelines の更新 を参照してください。

    セルフ ホストおよび セルフ マネージド Kubernetes クラスター

    セルフ ホストおよび セルフ マネージドの Kubernetes クラスターを実行していて、topology.kubernetes.io/zone を使用したノード ラベルでゾーンを定義している場合は、Helm チャート values ファイルをそのまま使用できます。ただし、ラベル topology.kubernetes.io/zone を使用していない場合は、使用しているキーに合わせて values.yaml ファイル内の topologyKey を更新する必要があります。あるいは、ゾーンなしで Kubernetes をインストールしている場合は、topology.kubernetes.io/zone セクション全体を削除してください。

    RHEL と CentOS では、Observability Pipelines Worker は 8.0 以降をサポートします。

    Worker を 1 行のインストール スクリプトでインストールする場合は、以下の手順に従ってください。別の方法については、Linux で Worker を手動インストール を参照してください。

    以下の 1 ステップのコマンドを実行して Worker をインストールします。

    DD_API_KEY=<DATADOG_API_KEY> DD_OP_PIPELINE_ID=<PIPELINE_ID> DD_SITE=<DATADOG_SITE> <SOURCE_ENV_VARIABLE> <DESTINATION_ENV_VARIABLE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker2.sh)"

    以下の値でプレースホルダーを置き換えてください:

    • <DATADOG_API_KEY>: Datadog API キー。
    • <PIPELINE_ID>: パイプラインの ID。
    • <DATADOG_SITE>: Datadog サイト。
    • <SOURCE_ENV_VARIABLE>: パイプラインで使用しているソースに必要な環境変数。
      • 例: DD_OP_SOURCE_DATADOG_AGENT_ADDRESS=0.0.0.0:8282
      • ソース用の環境変数の一覧は 環境変数 を参照してください。
    • <DESTINATION_ENV_VARIABLE>: パイプラインで使用している宛先に必要な環境変数。
      • 例: DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL=https://hec.splunkcloud.com:8088
      • 宛先用の環境変数の一覧は 環境変数 を参照してください。

    注: /etc/default/observability-pipelines-worker にある Worker の環境変数は、インストール スクリプトを再実行しても更新されません。変更が必要な場合は、ファイルを手動で更新し、Worker を再起動してください。

    パイプラインの構成を変更したい場合は、既存のパイプラインを更新 を参照してください。

    1. ドロップダウンのオプションを 1 つ選択し、パイプラインで予想されるログの量を入力します。

      オプション説明
      Unsureログの量を予想できない場合、または Worker をテストしたい場合は、このオプションを使用します。このオプションは、最大 2 つの汎用 t4g.large インスタンスで EC2 オートスケーリンググループをプロビジョニングします。
      1-5 TB/dayこのオプションは、最大 2 つのコンピュート最適化インスタンス c6g.large で EC2 オートスケーリンググループをプロビジョニングします。
      5-10 TB/dayこのオプションは、最低 2 つ、最大 5 つのコンピュート最適化インスタンス c6g.large で EC2 オートスケーリンググループをプロビジョニングします。
      >10 TB/dayDatadog は大規模な本番デプロイでこのオプションを推奨しています。このオプションは、最低 2 つ、最大 10 個のコンピュート最適化インスタンス c6g.xlarge で EC2 オートスケーリンググループをプロビジョニングします。

      注: その他のパラメーターは、すべて Worker デプロイメントに適したデフォルト値に設定されていますが、スタックを作成する前に AWS コンソールで必要に応じてユースケースに合わせて調整できます。

    2. Worker のインストールに使用する AWS リージョンを選択します。

    3. Select API key をクリックして、使用する Datadog API キーを選択します。

      • 注: API キーは [Remote Configuration を有効化][7002] している必要があります。

    4. Launch CloudFormation Template をクリックして AWS コンソールに移動し、スタックの構成を確認してから起動します。CloudFormation パラメーターが想定通りであることを確認してください。

    5. Worker のインストールに使用する VPC とサブネットを選択します。

    6. IAM の必要な権限のチェックボックスを見直して確認します。Submit をクリックしてスタックを作成します。ここでは、CloudFormation がインストールを処理し、Worker インスタンスが起動され、必要なソフトウェアがダウンロードされ、Worker が自動的に開始します。

    パイプラインの構成を変更したい場合は、既存のパイプラインを更新 を参照してください。

    Pipeline UI セットアップ

    UI の Install ページ。インストール プラットフォームを選択するためのドロップダウン メニューと、環境変数を入力するフィールドが表示されています

    Pipeline UI の Build ページでソース、宛先、プロセッサを設定した後、Install ページの手順に従って Worker をインストールします。

    1. Worker をインストールするプラットフォームを選択します。
    2. 該当する場合は、ソースおよび宛先用の 環境変数 を入力します。
    3. プラットフォームに応じた Worker のインストール手順に従ってください。UI で表示される Worker をインストールするためのコマンドには、関連する環境変数が自動的に設定されています。
      1. Click Select API key to choose the Datadog API key you want to use.
      2. Run the command provided in the UI to install the Worker. The command is automatically populated with the environment variables you entered earlier.
        docker run -i -e DD_API_KEY=<DATADOG_API_KEY> \
    -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
    -e DD_SITE=<DATADOG_SITE> \
    -e <SOURCE_ENV_VARIABLE> \
    -e <DESTINATION_ENV_VARIABLE> \
    -p 8088:8088 \
    datadog/observability-pipelines-worker run
        Note: By default, the docker run command exposes the same port the Worker is listening on. If you want to map the Worker’s container port to a different port on the Docker host, use the -p | --publish option in the command:
        -p 8282:8088 datadog/observability-pipelines-worker run
      3. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      The Observability Pipelines Worker supports all major Kubernetes distributions, such as:

      • Amazon Elastic Kubernetes Service (EKS)
      • Azure Kubernetes Service (AKS)
      • Google Kubernetes Engine (GKE)
      • Red Hat Openshift
      • Rancher
      1. Download the Helm chart values file. See the full list of configuration options available.
      2. Click Select API key to choose the Datadog API key you want to use.
      3. Add the Datadog chart repository to Helm:
        helm repo add datadog https://helm.datadoghq.com
        If you already have the Datadog chart repository, run the following command to make sure it is up to date:
        helm repo update
      4. Run the command provided in the UI to install the Worker. The command is automatically populated with the environment variables you entered earlier.
        helm upgrade --install opw \
-f values.yaml \
--set datadog.apiKey=<DATADOG_API_KEY> \
--set datadog.pipelineId=<PIPELINE_ID> \
--set <SOURCE_ENV_VARIABLES> \
--set <DESTINATION_ENV_VARIABLES> \
--set service.ports[0].protocol=TCP,service.ports[0].port=<SERVICE_PORT>,service.ports[0].targetPort=<TARGET_PORT> \
datadog/observability-pipelines-worker
        Note: By default, the Kubernetes Service maps incoming port <SERVICE_PORT> to the port the Worker is listening on (<TARGET_PORT>). If you want to map the Worker’s pod port to a different incoming port of the Kubernetes Service, use the following service.ports[0].port and service.ports[0].targetPort values in the command:
        --set service.ports[0].protocol=TCP,service.ports[0].port=8088,service.ports[0].targetPort=8282
      5. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      Self-hosted and self-managed Kubernetes clusters

      If you are running a self-hosted and self-managed Kubernetes cluster, and defined zones with node labels using topology.kubernetes.io/zone, then you can use the Helm chart values file as is. However, if you are not using the label topology.kubernetes.io/zone, you need to update the topologyKey in the values.yaml file to match the key you are using. Or if you run your Kubernetes install without zones, remove the entire topology.kubernetes.io/zone section.

      RHEL と CentOS では、Observability Pipelines Worker は 8.0 以降をサポートします。

      Worker を 1 行のインストール スクリプトでインストールする場合は、以下の手順に従ってください。別の方法については、Linux で Worker を手動インストール を参照してください。

      1. Select API key をクリックして、使用する Datadog API キーを選択します。

      2. UI で提供されるワンステップコマンドを実行して、Worker をインストールします。

        注: /etc/default/observability-pipelines-worker で Worker が使用する環境変数は、インストール スクリプトを再実行しても更新されません。変更が必要な場合は、ファイルを手動で更新し、Worker を再起動してください。

      3. Observability Pipelines のインストールページに戻り、Deploy をクリックします。

      パイプラインの構成を変更したい場合は、既存のパイプラインを更新 を参照してください。

      手順については、ECS Fargate で Worker をセットアップ を参照してください。

      1. Select one of the options in the dropdown to provide the expected log volume for the pipeline:

        OptionDescription
        UnsureUse this option if you are not able to project the log volume or you want to test the Worker. This option provisions the EC2 Auto Scaling group with a maximum of 2 general purpose t4g.large instances.
        1-5 TB/dayThis option provisions the EC2 Auto Scaling group with a maximum of 2 compute optimized instances c6g.large.
        5-10 TB/dayThis option provisions the EC2 Auto Scaling group with a minimum of 2 and a maximum of 5 compute optimized c6g.large instances.
        >10 TB/dayDatadog recommends this option for large-scale production deployments. It provisions the EC2 Auto Scaling group with a minimum of 2 and a maximum of 10 compute optimized c6g.xlarge instances.

        Note: All other parameters are set to reasonable defaults for a Worker deployment, but you can adjust them for your use case as needed in the AWS Console before creating the stack.

      2. Select the AWS region you want to use to install the Worker.

      3. Click Select API key to choose the Datadog API key you want to use.

      4. Click Launch CloudFormation Template to navigate to the AWS Console to review the stack configuration and then launch it. Make sure the CloudFormation parameters are as expected.

      5. Select the VPC and subnet you want to use to install the Worker.

      6. Review and check the necessary permissions checkboxes for IAM. Click Submit to create the stack. CloudFormation handles the installation at this point; the Worker instances are launched, the necessary software is downloaded, and the Worker starts automatically.

      7. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      Linux で Worker を手動インストール

      Linux の 1 行インストール スクリプトを使用しない場合は、以下の手順に従ってください:

        1. HTTPS を使用してダウンロードするための APT トランスポートを設定します。
          sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg
        2. 以下のコマンドを実行して、システム上に Datadog の deb リポジトリをセットアップし、Datadog のアーカイブキーリングを作成します。
          sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-2' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
        3. 以下のコマンドを実行して、ローカルの apt リポジトリを更新し、Worker をインストールします。
          sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys
        4. Worker の環境ファイルに、キー、サイト (例えば、US1 の場合は datadoghq.com)、ソース、宛先の環境変数を追加します。
          sudo cat <<EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<DATADOG_API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<DATADOG_SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
        5. Worker を起動します。
          sudo systemctl restart observability-pipelines-worker

        注: /etc/default/observability-pipelines-worker にある Worker の環境変数は、インストール スクリプトを再実行しても更新されません。変更が必要な場合は、ファイルを手動で更新し、Worker を再起動してください。

        パイプラインの構成を変更したい場合は、既存のパイプラインを更新 を参照してください。

        RHEL と CentOS では、Observability Pipelines Worker は 8.0 以降をサポートします。
        1. 以下のコマンドで、システムに Datadog の rpm リポジトリを設定します。
          注: RHEL 8.1 または CentOS 8.1 を実行している場合は、以下の構成で repo_gpgcheck=1 の代わりに repo_gpgcheck=0 を使用してください。
          cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-2/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
    https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
EOF
        2. パッケージを更新し、Worker をインストールします。
          sudo yum makecache
sudo yum install observability-pipelines-worker
        3. Worker の環境ファイルに、キー、サイト (例えば、US1 の場合は datadoghq.com)、ソース、宛先の環境変数を追加します。
          sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
        4. Worker を起動します。
          sudo systemctl restart observability-pipelines-worker
        5. Observability Pipelines のインストールページに戻り、Deploy をクリックします。

        注: /etc/default/observability-pipelines-worker にある Worker の環境変数は、インストール スクリプトを再実行しても更新されません。変更が必要な場合は、ファイルを手動で更新し、Worker を再起動してください。

        パイプラインの構成を変更したい場合は、既存のパイプラインを更新 を参照してください。

        Worker をアップグレード

        Worker を最新バージョンにアップグレードするには、次のコマンドを実行します:

          sudo apt-get install --only-upgrade observability-pipelines-worker

          sudo yum install --only-upgrade observability-pipelines-worker

          ワーカーをアンインストールする

          Worker をアンインストールする場合は、次のコマンドを実行します:

            sudo apt-get remove --purge observability-pipelines-worker

            1. yum remove observability-pipelines-worker

            2. rpm -q --configfiles observability-pipelines-worker

            関連情報

            お役に立つドキュメント、リンクや記事:

            高度な Worker 構成ドキュメント more more Worker CLI コマンドドキュメント more more ソース、プロセッサ、コンポーネントの環境変数ドキュメント more more パイプラインをセットアップドキュメント more more