(LEGACY) Configurar el worker de pipelines de observabilidad

Los pipelines de observabilidad no se encuentran disponible en el sitio US1-FED de Datadog.

If you upgrade your OP Workers version 1.8 or below to version 2.0 or above, your existing pipelines will break. Do not upgrade your OP Workers if you want to continue using OP Workers version 1.8 or below. If you want to use OP Worker 2.0 or above, you must migrate your OP Worker 1.8 or earlier pipelines to OP Worker 2.x.

Datadog recommends that you update to OP Worker versions 2.0 or above. Upgrading to a major OP Worker version and keeping it updated is the only supported way to get the latest OP Worker functionality, fixes, and security updates.

Información general

El worker de pipelines de observabilidad puede recopilar, procesar y enrutar logs desde cualquier origen a cualquier destino. Con Datadog, puedes crear y gestionar todos tus despliegues del worker de pipelines de observabilidad a escala.

Hay varias formas de comenzar a usar el worker de pipelines de observabilidad.

Este documento te guiará a través de los pasos de instalación de inicio rápido y luego te proporcionará recursos para los próximos pasos. El uso y el funcionamiento de este software se rigen por el acuerdo de licencia de usuario final.

Modos de despliegue

Remote configuration for Observability Pipelines is in private beta. Contact Datadog support or your Customer Success Manager for access.

If you are enrolled in the private beta of Remote Configuration, you can remotely roll out changes to your Workers from the Datadog UI, rather than make updates to your pipeline configuration in a text editor and then manually rolling out your changes. Choose your deployment method when you create a pipeline and install your Workers.

See Updating deployment modes on how to change the deployment mode after a pipeline is deployed.

Requisitos previos

Para instalar el worker de pipelines de observabilidad, necesitarás lo siguiente:

Para generar una clave de API y pipeline nuevos:

  1. Ve a Observability Pipelines (Pipelines de observabilidad).
  2. Haz clic en New Pipeline (Pipeline nuevo).
  3. Ingresa un nombre para tu pipeline.
  4. Haz clic en Next (Siguiente).
  5. Selecciona la plantilla que quieras y sigue las instrucciones.

Inicio rápido

Sigue las siguientes instrucciones para instalar el worker y despliega una configuración de pipeline de muestra que use datos de demostración.

Instalar el worker de pipelines de observabilidad

La imagen de Docker del worker de pipelines de observabilidad se publica en Docker Hub aquí.

  1. Descarga el archivo de configuración del pipeline de muestra. Esta configuración emite datos de demostración, analiza y estructura los datos y, a continuación, los envía a la consola y Datadog. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  2. Ejecuta el siguiente comando para iniciar el worker de pipelines de observabilidad con Docker:

    docker run -i -e DD_API_KEY=<API_KEY> \
      -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
      -e DD_SITE=<SITE> \
      -p 8282:8282 \
      -v ./pipeline.yaml:/etc/observability-pipelines-worker/pipeline.yaml:ro \
      datadog/observability-pipelines-worker run
    

    Reemplaza <API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de configuración de pipelines de observabilidad y <SITE> con datadoghq.com. Nota: ./pipeline.yaml debe ser la ruta relativa o absoluta a la configuración que descargaste en el paso 1.

  1. Descarga el archivo de valores del Helm chart para AWS EKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

    helm repo add datadog https://helm.datadoghq.com
    
    helm repo update
    
    helm upgrade --install \
        opw datadog/observability-pipelines-worker \
        -f aws_eks.yaml
    
  1. Descarga el archivo de valores del Helm chart para Azure AKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

    helm repo add datadog https://helm.datadoghq.com
    
    helm repo update
    
    helm upgrade --install \
      opw datadog/observability-pipelines-worker \
      -f azure_aks.yaml
    
  1. Descarga el archivo de valores del Helm chart para Google GKE. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  2. En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:

    helm repo add datadog https://helm.datadoghq.com
    
    helm repo update
    
    helm upgrade --install \
      opw datadog/observability-pipelines-worker \
      -f google_gke.yaml
    

Instala el worker con el script de instalación de una línea o de forma manual.

Script de instalación de una línea

  1. Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con datadoghq.com.

    DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"
    
  2. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  3. Inicia el worker:

    sudo systemctl restart observability-pipelines-worker
    

Instalación manual

  1. Ejecuta los siguientes comandos a fin de configurar APT para descargar a través de HTTPS:

    sudo apt-get update
    sudo apt-get install apt-transport-https curl gnupg
    
  2. Ejecuta los siguientes comandos para configurar el repositorio deb de Datadog en tu sistema y crear un conjunto de claves de archivo de Datadog:

    sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-1' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
    sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
    sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
    curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
    curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
    curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
    curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
    
  3. Ejecuta los siguientes comandos para actualizar tu repositorio apt local e instalar el worker:

    sudo apt-get update
    sudo apt-get install observability-pipelines-worker datadog-signing-keys
    
  4. Añade tus claves y el sitio (datadoghq.com) a las variables de entorno del worker:

    sudo cat <<-EOF > /etc/default/observability-pipelines-worker
    DD_API_KEY=<API_KEY>
    DD_OP_PIPELINE_ID=<PIPELINE_ID>
    DD_SITE=<SITE>
    EOF
    
  5. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host.

  6. Inicia el worker:

    sudo systemctl restart observability-pipelines-worker
    

Instala el worker con el script de instalación de una línea o de forma manual.

Script de instalación de una línea

  1. Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con datadoghq.com.

    DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"
    
  2. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  3. Ejecuta el siguiente comando para iniciar el worker:

    sudo systemctl restart observability-pipelines-worker
    

Instalación manual

  1. Ejecuta los siguientes comandos para configurar el repositorio rpm de Datadog en tu sistema:

    cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
    [observability-pipelines-worker]
    name = Observability Pipelines Worker
    baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-1/\$basearch/
    enabled=1
    gpgcheck=1
    repo_gpgcheck=1
    gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
           https://keys.datadoghq.com/DATADOG_RPM_KEY_4F09D16B.public
           https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
           https://keys.datadoghq.com/DATADOG_RPM_KEY_FD4BF915.public
           https://keys.datadoghq.com/DATADOG_RPM_KEY_E09422B3.public
    EOF
    

    Nota: Si ejecutas RHEL 8.1 o CentOS 8.1, usa repo_gpgcheck=0 en lugar de repo_gpgcheck=1 en la configuración anterior.

  2. Actualiza tus paquetes e instala el worker:

    sudo yum makecache
    sudo yum install observability-pipelines-worker
    
  3. Añade tus claves y el sitio (datadoghq.com) a las variables de entorno del worker:

    sudo cat <<-EOF > /etc/default/observability-pipelines-worker
    DD_API_KEY=<API_KEY>
    DD_OP_PIPELINE_ID=<PIPELINE_ID>
    DD_SITE=<SITE>
    EOF
    
  4. Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

  5. Ejecuta el siguiente comando para iniciar el worker:

    sudo systemctl restart observability-pipelines-worker
    
  1. Descarga la configuración de muestra.
  2. Configura el módulo del worker en tu Terraform existente con la configuración de muestra. Asegúrate de actualizar los valores en vpc-id, subnet-ids y region para que coincidan con tu despliegue de AWS en la configuración. Además, actualiza los valores en datadog-api-key y pipeline-id para que coincidan con tu pipeline.

Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.

Consulta Trabajo con datos para obtener más información sobre cómo transformar tus datos.

Actualización de los modos de despliegue

After deploying a pipeline, you can also switch deployment methods, such as going from a manually managed pipeline to a remote configuration enabled pipeline or vice versa.

If you want to switch from a remote configuration deployment to a manually managed deployment:

  1. Navigate to Observability Pipelines and select the pipeline.
  2. Click the settings cog.
  3. In Deployment Mode, select manual to enable it.
  4. Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to false and restart the Worker. Workers that are not restarted with this flag continue to be remote configuration enabled, which means that the Workers are not updated manually through a local configuration file.

If you want to switch from manually managed deployment to a remote configuration deployment:

  1. Navigate to Observability Pipelines and select the pipeline.
  2. Click the settings cog.
  3. In Deployment Mode, select Remote Configuration to enable it.
  4. Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to true and restart the Worker. Workers that are not restarted with this flag are not polled for configurations deployed in the UI.
  5. Deploy a version in your version history, so that the Workers receive the new version configuration. Click on a version. Click Edit as Draft and then click Deploy.

Siguientes pasos

Con la guía de inicio rápido aprendiste a instalar el worker y desplegar una configuración de pipeline de muestra. Para obtener instrucciones sobre cómo instalar el worker a fin de recibir y enrutar datos desde tus Datadog Agents a Datadog, o desde tu Splunk HEC a Splunk y Datadog, selecciona tu caso de uso específico:

Datadog
Splunk

Para obtener recomendaciones sobre cómo desplegar y escalar varios workers:

Lectura adicional