Los pipelines de observabilidad no se encuentran disponible en el sitio US1-FED de Datadog.
If you upgrade your OP Workers version 1.8 or below to version 2.0 or above, your existing pipelines will break. Do not upgrade your OP Workers if you want to continue using OP Workers version 1.8 or below. If you want to use OP Worker 2.0 or above, you must migrate your OP Worker 1.8 or earlier pipelines to OP Worker 2.x.
Datadog recommends that you update to OP Worker versions 2.0 or above. Upgrading to a major OP Worker version and keeping it updated is the only supported way to get the latest OP Worker functionality, fixes, and security updates.
El worker de pipelines de observabilidad puede recopilar, procesar y enrutar logs desde cualquier origen a cualquier destino. Con Datadog, puedes crear y gestionar todos tus despliegues del worker de pipelines de observabilidad a escala.
Hay varias formas de comenzar a usar el worker de pipelines de observabilidad.
Inicio rápido: instala el worker con un pipeline simple que emite datos de demostración para comenzar de forma rápida.
Guía de configuración de Datadog: instala el worker con un pipeline listo para usar a fin de recibir y enrutar datos desde tus Datadog Agents a Datadog.
Guía de configuración de Splunk: instala el worker con un pipeline listo para usar a fin de recibir y enrutar datos desde Splunk HEC a Splunk y Datadog.
Este documento te guiará a través de los pasos de instalación de inicio rápido y luego te proporcionará recursos para los próximos pasos. El uso y el funcionamiento de este software se rigen por el acuerdo de licencia de usuario final.
Remote configuration for Observability Pipelines is in private beta. Contact Datadog support or your Customer Success Manager for access.
If you are enrolled in the private beta of Remote Configuration, you can remotely roll out changes to your Workers from the Datadog UI, rather than make updates to your pipeline configuration in a text editor and then manually rolling out your changes. Choose your deployment method when you create a pipeline and install your Workers.
La imagen de Docker del worker de pipelines de observabilidad se publica en Docker Hub aquí.
Descarga el archivo de configuración del pipeline de muestra. Esta configuración emite datos de demostración, analiza y estructura los datos y, a continuación, los envía a la consola y Datadog. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
Ejecuta el siguiente comando para iniciar el worker de pipelines de observabilidad con Docker:
docker run -i -e DD_API_KEY=<API_KEY> \
-e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
-e DD_SITE=<SITE> \
-p 8282:8282 \
-v ./pipeline.yaml:/etc/observability-pipelines-worker/pipeline.yaml:ro \
datadog/observability-pipelines-worker run
Reemplaza <API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de configuración de pipelines de observabilidad y <SITE> con datadoghq.com. Nota: ./pipeline.yaml debe ser la ruta relativa o absoluta a la configuración que descargaste en el paso 1.
Descarga el archivo de valores del Helm chart para AWS EKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:
Descarga el archivo de valores del Helm chart para Azure AKS. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:
Descarga el archivo de valores del Helm chart para Google GKE. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
En el Helm chart, reemplaza los valores datadog.apiKey y datadog.pipelineId a fin de que coincidan con tu pipeline y usa datadoghq.com para el valor site. Luego, instálalo en tu clúster con los siguientes comandos:
Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con datadoghq.com.
Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
Ejecuta el comando de instalación de una línea para instalar el worker. Reemplaza <DD_API_KEY> con tu clave de API de Datadog, <PIPELINES_ID> con tu ID de pipelines de observabilidad y <SITE> con datadoghq.com.
Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
Ejecuta el siguiente comando para iniciar el worker:
Descarga el archivo de configuración de muestra en /etc/observability-pipelines-worker/pipeline.yaml en el host. Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
Ejecuta el siguiente comando para iniciar el worker:
Configura el módulo del worker en tu Terraform existente con la configuración de muestra. Asegúrate de actualizar los valores en vpc-id, subnet-ids y region para que coincidan con tu despliegue de AWS en la configuración. Además, actualiza los valores en datadog-api-key y pipeline-id para que coincidan con tu pipeline.
Consulta Configuraciones para obtener más información sobre el origen, la transformación y el receptor que se usa en la configuración de muestra.
Consulta Trabajo con datos para obtener más información sobre cómo transformar tus datos.
After deploying a pipeline, you can also switch deployment methods, such as going from a manually managed pipeline to a remote configuration enabled pipeline or vice versa.
If you want to switch from a remote configuration deployment to a manually managed deployment:
Navigate to Observability Pipelines and select the pipeline.
Click the settings cog.
In Deployment Mode, select manual to enable it.
Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to false and restart the Worker. Workers that are not restarted with this flag continue to be remote configuration enabled, which means that the Workers are not updated manually through a local configuration file.
If you want to switch from manually managed deployment to a remote configuration deployment:
Navigate to Observability Pipelines and select the pipeline.
Click the settings cog.
In Deployment Mode, select Remote Configuration to enable it.
Set the DD_OP_REMOTE_CONFIGURATION_ENABLED flag to true and restart the Worker. Workers that are not restarted with this flag are not polled for configurations deployed in the UI.
Deploy a version in your version history, so that the Workers receive the new version configuration. Click on a version. Click Edit as Draft and then click Deploy.
Con la guía de inicio rápido aprendiste a instalar el worker y desplegar una configuración de pipeline de muestra. Para obtener instrucciones sobre cómo instalar el worker a fin de recibir y enrutar datos desde tus Datadog Agents a Datadog, o desde tu Splunk HEC a Splunk y Datadog, selecciona tu caso de uso específico:
Para obtener recomendaciones sobre cómo desplegar y escalar varios workers:
Consulta Principios y diseño del despliegue para obtener información sobre lo que debes tener en cuenta al diseñar tu arquitectura de pipelines de observabilidad.