Este producto no es compatible con el
sitio Datadog seleccionado. (
).
El Observability Pipelines Worker es un software que se ejecuta en tu entorno para agregar, procesar y enrutar de forma centralizada tus logs. Instala y configura el Worker como parte del proceso de configuración del pipeline. Estos son los pasos generales para configurar un pipeline en la interfaz de usuario:
- Selecciona una fuente de logs.
- Selecciona los destinos a los que quieres enviar tus logs.
- Selecciona y configura procesadores para transformar tus logs.
- Instala el Worker.
- Despliega el pipeline.
Nota: Si estás utilizando un proxy, consulta la opción proxy
en Opciones de bootstrap.
Instalar el Worker
Una vez configurados la fuente, los destinos y los procesadores en la página de Creación de la interfaz de usuario del pipeline, sigue los pasos de la página Instalar.
Si has configurado los componentes del pipeline utilizando la API o Terraform, para ir a la página Instalar:
- Ve a Observability Pipelines.
- Selecciona tu pipeline.
- Haz clic en Latest Deployment & Setup (Último despliegue y configuración).
- Haz clic en Worker Installation Steps (Pasos de instalación del Worker).
- Selecciona la plataforma en la que quieres instalar el Worker.
- Introduce las variables de entorno para tus fuentes y destinos, si corresponde.
- Sigue las instrucciones de instalación del Worker para tu plataforma. El comando proporcionado en la interfaz de usuario para instalar el Worker tiene las variables de entorno pertinentes rellenadas.
- Haz clic en Select API key (Seleccionar clave de API) para elegir la clave de API de Datadog que deseas utilizar.
- Ejecuta el comando proporcionado en la interfaz de usuario para instalar el worker. El comando se rellena automáticamente con las variables de entorno que introdujiste anteriormente.
docker run -i -e DD_API_KEY=<DATADOG_API_KEY> \
-e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
-e DD_SITE=<DATADOG_SITE> \
-e <SOURCE_ENV_VARIABLE> \
-e <DESTINATION_ENV_VARIABLE> \
-p 8088:8088 \
datadog/observability-pipelines-worker run
Nota: Por defecto, el comando docker run
expone el mismo puerto en el que escucha el worker. Si quieres asignar el puerto del contenedor del worker a un puerto diferente en el host Docker, utiliza la opción -p | --publish
en el comando:-p 8282:8088 datadog/observability-pipelines-worker run
- Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).
Si quieres realizar cambios en la configuración de tu pipeline, consulta Actualizar pipelines existentes.
The Observability Pipelines Worker supports all major Kubernetes distributions, such as:
- Amazon Elastic Kubernetes Service (EKS)
- Azure Kubernetes Service (AKS)
- Google Kubernetes Engine (GKE)
- Red Hat Openshift
- Rancher
- Download the Helm chart values file. See the full list of configuration options available.
- Click Select API key to choose the Datadog API key you want to use.
- Add the Datadog chart repository to Helm:
helm repo add datadog https://helm.datadoghq.com
If you already have the Datadog chart repository, run the following command to make sure it is up to date: - Run the command provided in the UI to install the Worker. The command is automatically populated with the environment variables you entered earlier.
helm upgrade --install opw \
-f values.yaml \
--set datadog.apiKey=<DATADOG_API_KEY> \
--set datadog.pipelineId=<PIPELINE_ID> \
--set <SOURCE_ENV_VARIABLES> \
--set <DESTINATION_ENV_VARIABLES> \
--set service.ports[0].protocol=TCP,service.ports[0].port=<SERVICE_PORT>,service.ports[0].targetPort=<TARGET_PORT> \
datadog/observability-pipelines-worker
Note: By default, the Kubernetes Service maps incoming port <SERVICE_PORT>
to the port the Worker is listening on (<TARGET_PORT>
). If you want to map the Worker’s pod port to a different incoming port of the Kubernetes Service, use the following service.ports[0].port
and service.ports[0].targetPort
values in the command:--set service.ports[0].protocol=TCP,service.ports[0].port=8088,service.ports[0].targetPort=8282
- Navigate back to the Observability Pipelines installation page and click Deploy.
See Update Existing Pipelines if you want to make changes to your pipeline’s configuration.
Self-hosted and self-managed Kubernetes clusters
If you are running a self-hosted and self-managed Kubernetes cluster, and defined zones with node labels using topology.kubernetes.io/zone
, then you can use the Helm chart values file as is. However, if you are not using the label topology.kubernetes.io/zone
, you need to update the topologyKey
in the values.yaml
file to match the key you are using. Or if you run your Kubernetes install without zones, remove the entire topology.kubernetes.io/zone
section.
Para RHEL y CentOS, Observability Pipelines Worker es compatible con la versión 8.0 o posteriores.
Sigue los pasos que se indican a continuación si quieres utilizar el script de instalación de una línea para instalar el Worker. De lo contrario, consulta Instalar manualmente el Worker en Linux.
Haz clic en Select API key (Seleccionar clave de API) para elegir la clave de API Datadog que quieres utilizar.
Ejecuta el comando de un solo paso proporcionado en la interfaz de usuario para instalar el Worker.
Nota: Las variables de entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker
no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualiza el archivo manualmente y reinicia el Worker.
Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).
Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.
Selecciona una de las opciones del menú desplegable para proporcionar el volumen previsto de logs para el pipeline:
Opción | Descripción |
---|
Utiliza esta opción si no puedes proyectar el volumen de logs o si deseas testear el worker. Esta opción aprovisiona el grupo EC2 Auto Scaling con un máximo de 2 instancias t4g.large de propósito general. | |
1 a 5 TB/día | Esta opción aprovisiona el grupo EC2 Auto Scaling con un máximo de 2 instancias optimizadas para computación c6g.large . |
5 a 10 TB/día | Esta opción aprovisiona el grupo EC2 Auto Scaling con un mínimo de 2 y un máximo de 5 instancias c6g.large optimizadas para computación. |
>10 TB/día | Datadog recomienda esta opción para grandes despliegues de producción. Aprovisiona el grupo EC2 Auto Scaling con un mínimo de 2 y un máximo de 10 instancias c6g.xlarge optimizadas para computación. |
Nota: Todos los demás parámetros están configurados con valores predeterminados razonables para un despliegue del worker, pero puedes ajustarlos a tu caso de uso según sea necesario en la consola de AWS antes de crear el stack tecnológico.
Selecciona la región de AWS que deseas utilizar para instalar el worker.
Haz clic en Select API key (Seleccionar clave de API) para elegir la clave de API de Datadog que deseas utilizar.
Haz clic en Launch CloudFormation Template (Iniciar plantilla de CloudFormation) para ir a la consola de AWS, revisar la configuración del stack tecnológico y luego iniciarlo. Asegúrate de que los parámetros de CloudFormation son los esperados.
Selecciona la VPC y la subred que deseas utilizar para instalar el worker.
Revisa y comprueba las casillas de los permisos necesarios para IAM. Haz clic en Submit (Enviar) para crear el stack tecnológico. En este punto, CloudFormation se encarga de la instalación: se inician las instancias del worker, se descarga el software necesario y el worker se inicia automáticamente.
Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).
Si quieres realizar cambios en la configuración de tu pipeline, consulta Actualizar pipelines existentes.
Instalar manualmente el Worker en Linux
Si prefieres no utilizar el script de instalación de una línea para Linux, sigue estas instrucciones paso a paso:
- Configura el transporte APT para la descarga mediante HTTPS:
sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg
- Ejecuta los siguientes comandos para configurar el repositorio Datadog
deb
en tu sistema y crear un anillo de claves de archivo de Datadog:sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-2' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
- Ejecuta los siguientes comandos para actualizar tu repositorio local
apt
e instalar el Worker:sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys
- Añade tus variables de entorno de claves, sitio (por ejemplo,
datadoghq.com
para US1), fuente y destino al archivo del entorno del Worker:sudo cat <<EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<DATADOG_API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<DATADOG_SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
- Inicia el Worker:
sudo systemctl restart observability-pipelines-worker
Nota: Las variables entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker
no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualice el archivo manualmente y reinicie el Worker.
Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.
Para RHEL y CentOS, Observability Pipelines Worker es compatible con la versión 8.0 o posteriores.
- Configura el repositorio de Datadog
rpm
en tu sistema con el siguiente comando.
Nota: Si estás ejecutando RHEL v8.1 o CentOS v8.1, utiliza repo_gpgcheck=0
en lugar de repo_gpgcheck=1
en la configuración.cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-2/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
EOF
- Actualiza tus paquetes e instala el Worker:
sudo yum makecache
sudo yum install observability-pipelines-worker
- Añade tus variables de entorno de claves, sitio (por ejemplo,
datadoghq.com
para US1), fuente y destino al archivo del entorno del Worker:sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
<SOURCE_ENV_VARIABLES>
<DESTINATION_ENV_VARIABLES>
EOF
- Inicia el Worker:
sudo systemctl restart observability-pipelines-worker
- Vuelve a la página de instalación de Observability Pipelines y haz clic en Deploy (Desplegar).
Nota: Las variables de entorno utilizadas por el Worker en /etc/default/observability-pipelines-worker
no se actualizan en ejecuciones posteriores del script de instalación. Si se necesitan cambios, actualiza el archivo manualmente y reinicia el Worker.
Consulta Actualizar pipelines existentes si quieres realizar cambios en la configuración de tu pipeline.
Actualizar al Worker
Para actualizar el Worker a la última versión, ejecuta el siguiente comando:
sudo apt-get install --only-upgrade observability-pipelines-worker
sudo yum install --only-upgrade observability-pipelines-worker
Desinstalar el Worker
Si quieres desinstalar el Worker, ejecuta los siguientes comandos:
sudo apt-get remove --purge observability-pipelines-worker
yum remove observability-pipelines-worker
rpm -q --configfiles observability-pipelines-worker
Referencias adicionales
Más enlaces, artículos y documentación útiles: