Instalar el Worker

Este producto no es compatible con el sitio Datadog seleccionado. ().

Información general

El worker de Observability Pipelines es un software que se ejecuta en tu entorno para agregar, procesar y enrutar tus logs de forma centralizada.

Nota: Si estás utilizando un proxy, consulta la opción proxy en Opciones de bootstrap.

Instalar el Worker

Si configuras tu pipeline utilizando la API o Terraform, consulta configuración de la API o pipeline de Terraform para conocer cómo instalar el worker.

Si configuras tu pipeline en la interfaz de usuario, consulta la configuración de la interfaz de usuario de pipelines para saber cómo instalar el worker.

Configuración de la API o el pipeline de Terraform

Después de configurar tu pipeline utilizando la API o Terraform, sigue las instrucciones siguientes para instalar el worker para tu plataforma.

    Ejecuta el siguiente comando para instalar el worker.

    docker run -i -e DD_API_KEY=<DATADOG_API_KEY> \
    -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
    -e DD_SITE=<DATADOG_SITE> \
    -e <SOURCE_ENV_VARIABLE> \
    -e <DESTINATION_ENV_VARIABLE> \
    -p 8088:8088 \
    datadog/observability-pipelines-worker run

    Debes sustituir los parámetros por los siguientes valores:

    • <DATADOG_API_KEY>: tu API de Datadog.
    • <PIPELINE_ID>: el ID de tu pipeline.
    • <DATADOG_SITE>: el sitio de Datadog.
    • <SOURCE_ENV_VARIABLE>: las variables de entorno requeridas por la fuente que estás utilizando para tu pipeline.
      • Por ejemplo: DD_OP_SOURCE_DATADOG_AGENT_ADDRESS=0.0.0.0:8282
      • Consulta Variables de entorno para obtener una lista de las variables de entorno de fuente.
    • <DESTINATION_ENV_VARIABLE>: las variables de entorno requeridas por los destinos que estás utilizando para tu pipeline.
      • Por ejemplo: DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL=https://hec.splunkcloud.com:8088
      • Consulta las Variables de entorno para obtener una lista de las variables de entorno de destino.

    Nota: Por defecto, el comando docker run expone el mismo puerto en el que el worker está escuchando. Si deseas asignar el puerto del contenedor del worker a un puerto diferente en el host de Docker, utiliza la opción -p | --publish en el comando:

    -p 8282:8088 datadog/observability-pipelines-worker run

    Consulta Actualizar pipelines existentes si deseas realizar cambios en la configuración de tu pipeline.

    El worker de Observability Pipelines es compatible con las principales distribuciones de Kubernetes, como:

    • Amazon Elastic Kubernetes Service (EKS)
    • Azure Kubernetes Service (AKS)
    • Google Kubernetes Engine (GKE)
    • Red Hat Openshift
    • Rancher

    1. Descarga el archivo de valores del Helm chart. Consulta la lista completa de opciones de configuración disponibles.

    2. Añade el repositorio de gráficos de Datadog a Helm:

      helm repo add datadog https://helm.datadoghq.com

      Si ya dispones del repositorio de gráficos de Datadog, ejecuta el siguiente comando para asegurarte de que está actualizado:

      helm repo update

    3. Ejecuta el siguiente comando para instalar el worker.

      helm upgrade --install opw \
-f values.yaml \
--set datadog.apiKey=<DATADOG_API_KEY> \
--set datadog.pipelineId=<PIPELINE_ID> \
--set <SOURCE_ENV_VARIABLES> \
--set <DESTINATION_ENV_VARIABLES> \
--set service.ports[0].protocol=TCP,service.ports[0].port=<SERVICE_PORT>,service.ports[0].targetPort=<TARGET_PORT> \
datadog/observability-pipelines-worker

      Debes sustituir los parámetros por los siguientes valores:

      • <DATADOG_API_KEY>: tu API de Datadog.
      • <PIPELINE_ID>: el ID de tu pipeline.
      • <SOURCE_ENV_VARIABLE>: las variables de entorno requeridas por la fuente que estás utilizando para tu pipeline.
        • Por ejemplo: --set env[0].name=DD_OP_SOURCE_DATADOG_AGENT_ADDRESS,env[0].value='0.0.0.0' \
        • Consulta Variables de entorno para obtener una lista de las variables de entorno de fuente.
      • <DESTINATION_ENV_VARIABLE>: las variables de entorno requeridas por los destinos que estás utilizando para tu pipeline.
        • Por ejemplo: --set env[1].name=DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL,env[2].value='https://hec.splunkcloud.com:8088' \
        • Consulta las Variables de entorno para obtener una lista de las variables de entorno de destino.

      Nota: Por defecto, el servicio Kubernetes asigna el puerto entrante <SERVICE_PORT> al puerto en el que escucha el worker (<TARGET_PORT>). Si quieres asignar el puerto del pod del worker a un puerto entrante diferente del servicio Kubernetes, utiliza los siguientes valores service.ports[0].port y service.ports[0].targetPort en el comando:

      --set service.ports[0].protocol=TCP,service.ports[0].port=8088,service.ports[0].targetPort=8282

    Consulta Actualizar pipelines existentes si deseas realizar cambios en la configuración de tu pipeline.

    Clústeres autoalojados y autogestionados de Kubernetes

    Si estás ejecutando un clúster autoalojado y autogestionado de Kubernetes, y has definido zonas con etiquetas (labels) de nodo utilizando topology.kubernetes.io/zone, entonces puedes utilizar el archivo de valores del Helm chart tal cual. Sin embargo, si no estás utilizando la etiqueta (label) topology.kubernetes.io/zone, necesitas actualizar la topologyKey en el archivo values.yaml para que coincida con la clave que estás utilizando. O si ejecutas tu instalación de Kubernetes sin zonas, elimina toda la sección topology.kubernetes.io/zone.

    Para RHEL y CentOS, Observability Pipelines Worker es compatible con la versión 8.0 o posteriores.

    Sigue los pasos que se indican a continuación si quieres utilizar el script de instalación de una línea para instalar el Worker. De lo contrario, consulta Instalar manualmente el Worker en Linux.

    Ejecuta el comando de un paso para instalar el worker.

    DD_API_KEY=<DATADOG_API_KEY> DD_OP_PIPELINE_ID=<PIPELINE_ID> DD_SITE=<DATADOG_SITE> <SOURCE_ENV_VARIABLE> <DESTINATION_ENV_VARIABLE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker2.sh)"

    Debes sustituir los parámetros por los siguientes valores:

    • <DATADOG_API_KEY>: tu API de Datadog.
    • <PIPELINE_ID>: el ID de tu pipeline.
    • <DATADOG_SITE>: el sitio de Datadog.
    • <SOURCE_ENV_VARIABLE>: las variables de entorno requeridas por la fuente que estás utilizando para tu pipeline.
      • Por ejemplo: DD_OP_SOURCE_DATADOG_AGENT_ADDRESS=0.0.0.0:8282
      • Consulta Variables de entorno para obtener una lista de las variables de entorno de fuente.
    • <DESTINATION_ENV_VARIABLE>: las variables de entorno requeridas por los destinos que estás utilizando para tu pipeline.
      • Por ejemplo: DD_OP_DESTINATION_SPLUNK_HEC_ENDPOINT_URL=https://hec.splunkcloud.com:8088
      • Consulta las Variables de entorno para obtener una lista de las variables de entorno de destino.

    Nota: Las variables entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualice el archivo manualmente y reinicie el Worker.

    Consulta Actualizar pipelines existentes si deseas realizar cambios en la configuración de tu pipeline.

    1. Selecciona una de las opciones del menú desplegable para proporcionar el volumen previsto de logs para el pipeline:

      OpciónDescripción
      Utiliza esta opción si no puedes proyectar el volumen de logs o si deseas testear el worker. Esta opción aprovisiona el grupo EC2 Auto Scaling con un máximo de 2 instancias t4g.large de propósito general.
      1 a 5 TB/díaEsta opción aprovisiona el grupo EC2 Auto Scaling con un máximo de 2 instancias optimizadas para computación c6g.large.
      5 a 10 TB/díaEsta opción aprovisiona el grupo EC2 Auto Scaling con un mínimo de 2 y un máximo de 5 instancias c6g.large optimizadas para computación.
      >10 TB/díaDatadog recomienda esta opción para grandes despliegues de producción. Aprovisiona el grupo EC2 Auto Scaling con un mínimo de 2 y un máximo de 10 instancias c6g.xlarge optimizadas para computación.

      Nota: Todos los demás parámetros están configurados con valores predeterminados razonables para un despliegue del worker, pero puedes ajustarlos a tu caso de uso según sea necesario en la consola de AWS antes de crear el stack tecnológico.

    2. Selecciona la región de AWS que deseas utilizar para instalar el worker.

    3. Haz clic en Select API key (Seleccionar clave de API) para elegir la clave de API Datadog que quieres utilizar.

      • Nota: La clave de API debe estar [habilitada para Remote Configuration][7002].

    4. Haz clic en Launch CloudFormation Template (Iniciar plantilla de CloudFormation) para ir a la consola de AWS, revisar la configuración del stack tecnológico y luego iniciarlo. Asegúrate de que los parámetros de CloudFormation son los esperados.

    5. Selecciona la VPC y la subred que deseas utilizar para instalar el worker.

    6. Revisa y comprueba las casillas de los permisos necesarios para IAM. Haz clic en Submit (Enviar) para crear el stack tecnológico. En este punto, CloudFormation se encarga de la instalación: se inician las instancias del worker, se descarga el software necesario y el worker se inicia automáticamente.

    Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.

    Configuración de la interfaz de usuario de pipeline

    Página de instalación en la interfaz de usuario, con un menú desplegable para seleccionar tu plataforma de instalación y tus campos para ingresar variables

    Una vez configurados la fuente, los destinos y los procesadores en la página de Creación de la interfaz de usuario del pipeline, sigue los pasos de la página Instalar para instalar el worker.

    1. Selecciona la plataforma en la que quieres instalar el Worker.
    2. Introduce las variables de entorno para tus fuentes y destinos, si corresponde.
    3. Sigue las instrucciones de instalación del Worker para tu plataforma. El comando proporcionado en la interfaz de usuario para instalar el Worker tiene las variables de entorno pertinentes rellenadas.
      1. Click Select API key to choose the Datadog API key you want to use.
      2. Run the command provided in the UI to install the Worker. The command is automatically populated with the environment variables you entered earlier.
        docker run -i -e DD_API_KEY=<DATADOG_API_KEY> \
    -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
    -e DD_SITE=<DATADOG_SITE> \
    -e <SOURCE_ENV_VARIABLE> \
    -e <DESTINATION_ENV_VARIABLE> \
    -p 8088:8088 \
    datadog/observability-pipelines-worker run
        Note: By default, the docker run command exposes the same port the Worker is listening on. If you want to map the Worker’s container port to a different port on the Docker host, use the -p | --publish option in the command:
        -p 8282:8088 datadog/observability-pipelines-worker run
      3. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      The Observability Pipelines Worker supports all major Kubernetes distributions, such as:

      • Amazon Elastic Kubernetes Service (EKS)
      • Azure Kubernetes Service (AKS)
      • Google Kubernetes Engine (GKE)
      • Red Hat Openshift
      • Rancher
      1. Download the Helm chart values file. See the full list of configuration options available.
      2. Click Select API key to choose the Datadog API key you want to use.
      3. Add the Datadog chart repository to Helm:
        helm repo add datadog https://helm.datadoghq.com
        If you already have the Datadog chart repository, run the following command to make sure it is up to date:
        helm repo update
      4. Run the command provided in the UI to install the Worker. The command is automatically populated with the environment variables you entered earlier.
        helm upgrade --install opw \
-f values.yaml \
--set datadog.apiKey=<DATADOG_API_KEY> \
--set datadog.pipelineId=<PIPELINE_ID> \
--set <SOURCE_ENV_VARIABLES> \
--set <DESTINATION_ENV_VARIABLES> \
--set service.ports[0].protocol=TCP,service.ports[0].port=<SERVICE_PORT>,service.ports[0].targetPort=<TARGET_PORT> \
datadog/observability-pipelines-worker
        Note: By default, the Kubernetes Service maps incoming port <SERVICE_PORT> to the port the Worker is listening on (<TARGET_PORT>). If you want to map the Worker’s pod port to a different incoming port of the Kubernetes Service, use the following service.ports[0].port and service.ports[0].targetPort values in the command:
        --set service.ports[0].protocol=TCP,service.ports[0].port=8088,service.ports[0].targetPort=8282
      5. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      Self-hosted and self-managed Kubernetes clusters

      If you are running a self-hosted and self-managed Kubernetes cluster, and defined zones with node labels using topology.kubernetes.io/zone, then you can use the Helm chart values file as is. However, if you are not using the label topology.kubernetes.io/zone, you need to update the topologyKey in the values.yaml file to match the key you are using. Or if you run your Kubernetes install without zones, remove the entire topology.kubernetes.io/zone section.

      Para RHEL y CentOS, el worker de Observability Pipelines es compatible con las versiones 8.0 o posteriores.

      Sigue los pasos que se indican a continuación si quieres utilizar el script de instalación de una línea para instalar el Worker. De lo contrario, consulta Instalar manualmente el Worker en Linux.

      1. Haz clic en Select API key (Seleccionar clave de API) para elegir la clave de API Datadog que quieres utilizar.

      2. Ejecuta el comando de un solo paso proporcionado en la interfaz de usuario para instalar el Worker.

        Nota: Las variables de entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualiza el archivo manualmente y reinicia el Worker.

      3. Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).

      Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.

      Consulta Configurar el worker en ECS Fargate para obtener instrucciones.

      1. Select one of the options in the dropdown to provide the expected log volume for the pipeline:

        OptionDescription
        UnsureUse this option if you are not able to project the log volume or you want to test the Worker. This option provisions the EC2 Auto Scaling group with a maximum of 2 general purpose t4g.large instances.
        1-5 TB/dayThis option provisions the EC2 Auto Scaling group with a maximum of 2 compute optimized instances c6g.large.
        5-10 TB/dayThis option provisions the EC2 Auto Scaling group with a minimum of 2 and a maximum of 5 compute optimized c6g.large instances.
        >10 TB/dayDatadog recommends this option for large-scale production deployments. It provisions the EC2 Auto Scaling group with a minimum of 2 and a maximum of 10 compute optimized c6g.xlarge instances.

        Note: All other parameters are set to reasonable defaults for a Worker deployment, but you can adjust them for your use case as needed in the AWS Console before creating the stack.

      2. Select the AWS region you want to use to install the Worker.

      3. Click Select API key to choose the Datadog API key you want to use.

      4. Click Launch CloudFormation Template to navigate to the AWS Console to review the stack configuration and then launch it. Make sure the CloudFormation parameters are as expected.

      5. Select the VPC and subnet you want to use to install the Worker.

      6. Review and check the necessary permissions checkboxes for IAM. Click Submit to create the stack. CloudFormation handles the installation at this point; the Worker instances are launched, the necessary software is downloaded, and the Worker starts automatically.

      7. Navigate back to the Observability Pipelines installation page and click Deploy.

      See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.

      Instalar manualmente el Worker en Linux

      Si prefieres no utilizar el script de instalación de una línea para Linux, sigue estas instrucciones paso a paso:

        1. Configura el transporte APT para la descarga mediante HTTPS:
          sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg
        2. Ejecuta los siguientes comandos para configurar el repositorio deb de Datadog en tu sistema y crear un conjunto de claves del archivo de Datadog:
          sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-2' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
        3. Ejecuta los siguientes comandos para actualizar tu repositorio local apt e instalar el Worker:
          sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys
        4. Añade tus variables de entorno de claves, sitio (por ejemplo, datadoghq.com para US1), fuente y destino al archivo del entorno del Worker:
          sudo cat <<EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<DATADOG_API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<DATADOG_SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
        5. Inicia el Worker:
          sudo systemctl restart observability-pipelines-worker

        Nota: Las variables entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualice el archivo manualmente y reinicie el Worker.

        Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.

        Para RHEL y CentOS, el worker de Observability Pipelines es compatible con las versiones 8.0 o posteriores.
        1. Configura el repositorio de Datadog rpm en tu sistema con el siguiente comando.
          Nota: Si estás ejecutando RHEL v8.1 o CentOS v8.1, utiliza repo_gpgcheck=0 en lugar de repo_gpgcheck=1 en la configuración.
          cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-2/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
    https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
EOF
        2. Actualiza tus paquetes e instala el Worker:
          sudo yum makecache
sudo yum install observability-pipelines-worker
        3. Añade tus variables de entorno de claves, sitio (por ejemplo, datadoghq.com para US1), fuente y destino al archivo del entorno del Worker:
          sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
        4. Inicia el Worker:
          sudo systemctl restart observability-pipelines-worker
        5. Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).

        Nota: Las variables entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualice el archivo manualmente y reinicie el Worker.

        Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.

        Actualizar al Worker

        Para actualizar el Worker a la última versión, ejecuta el siguiente comando:

          sudo apt-get install --only-upgrade observability-pipelines-worker

          sudo yum install --only-upgrade observability-pipelines-worker

          Desinstalar el Worker

          Si quieres desinstalar el Worker, ejecuta los siguientes comandos:

            sudo apt-get remove --purge observability-pipelines-worker

            1. yum remove observability-pipelines-worker

            2. rpm -q --configfiles observability-pipelines-worker

            Referencias adicionales

            Más enlaces, artículos y documentación útiles:

            Configuraciones avanzadas del workerDOCUMENTACIÓN more more Comandos de CLI del workerDOCUMENTACIÓN more more Variable de entorno para fuentes, procesadores y componentesDOCUMENTACIÓN more more Configurar pipelinesDOCUMENTACIÓN more more