(레거시) 관측성 파이프라인 작업자 설정하기

문서 > Observability Pipelines > (LEGACY) Observability Pipelines Documentation > (레거시) 관측성 파이프라인 작업자 설정하기

OP Worker 버전 1.8 이하에서 버전 2.0 이상으로 업그레이드할 경우 기존 파이프라인에 오류가 발생합니다. OP Worker 버전이 1.8 이하이고 해당 버전을 계속 사용하고 싶을 경우에는 버전을 업그레이드하지 마세요. OP Worker 2.0 이상을 사용하고 싶을 경우에는 OP Worker 버전 1.8 이하의 파이프라인을 OP Worker 2.x.로 마이그레이션해야 합니다.

Datadog에서는 OP Worker 버전 2.0 이상으로 업그레이드하는 것을 권고합니다. 주 OP Worker 버전으로 업그레이드하고 업데이트해야 최신 OP Worker의 기능, 버그 수정, 보안 업데이트 서비스를 받을 수 있습니다.

개요

The Observability Pipelines Worker는 로그를 수집하고 처리한 다음 모든 소스에서 모든 목적지로 로그를 라우팅할 수 있습니다. Datadog를 사용하면 대규모의 Observability Pipelines Worker 배포 모두를 빌드하고 관리할 수 있습니다.

관측성 파이프라인 작업자를 시작하는 방법에는 여러 가지가 있습니다.

퀵스타트: 데모 데이터를 내보내는 간단한 파이프라인으로 작업자를 설치하여 빠르게 시작할 수 있습니다.
Datadog 설정 지침: Datadog 에이전트에서 Datadog으로 데이터를 수신 및 라우팅하기 위한 기본 제공 파이프라인이 있는 작업자를 설치합니다.
Datadog 설정 지침: Datadog 에이전트에서 Datadog으로 데이터를 수신 및 라우팅하기 위한 기본 제공 파이프라인이 있는 작업자를 설치합니다.
Splunk 설정 지침: Splunk HEC 에서 Splunk 및 Datadog 모두로 데이터를 수신 및 라우팅하기 위한 기본 제공 파이프라인이 있는 작업자를 설치합니다.

이 문서는 빠른 시작 설치 단계를 안내한 후 다음 단계를 위한 리소스를 제공해 드립니다. 본 소프트웨어의 사용 및 운영은 최종 사용자 라이선스 계약의 적용을 받습니다.

배포 모드

관측 파이프라인용 원격 구성이 프라이빗 베타 서비스 중입니다. 서비스에 액세스하려면 Datadog 지원팀 이나 고객 성공 매니저에게 문의하세요.

원격 구성 프라이빗 베타에 등록하면 텍스트 편집기에서 파이프라인 구성을 업데이트한 후 수동으로 변경 사항을 출시하는 대신 변경 사항을 Datadog UI에서 작업자로 원격 출시할 수 있습니다. 파이프라인을 생성할 때 배포 방법을 선택하고 작업자를 설치하세요.

파이프라인을 배포한 후 배포 모드를 변경하는 방법에 관해서는 배포 모드 업데이트를 참고하세요.

사전 필수 조건

관측성 파이프라인 작업자를 설치하려면 다음이 필요합니다.

유효한 Datadog API 키.
파이프라인 ID.

새 API 키 및 파이프라인을 생성하려면:

관측성 파이프라인으로 이동합니다.
새 파이프라인을 클릭합니다.
파이프라인의 이름을 입력합니다.
Next를 클릭합니다.
원하는 템플릿을 선택하고 지침을 따릅니다.

빠른 시작

아래 지침에 따라 작업자를 설치하고 데모 데이터를 사용하는 샘플 파이프라인 설정을 배포합니다.

Observability Pipelines Worker 설치하기

Observability Pipelines Worker 도커 이미지는 도커 허브 여기에 게시되어 있습니다.

샘플 파이프라인 설정 파일을 다운로드합니다. 본 설정은 데모 데이터를 내보낸 후 데이터를 파싱 및 구조화한 다음 콘솔과 Datadog으로 전송합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
다음 명령을 실행하여 도커(Docker)를 통해 Observability Pipelines Worker를 시작합니다.
```
docker run -i -e DD_API_KEY=<API_KEY> \
  -e DD_OP_PIPELINE_ID=<PIPELINE_ID> \
  -e DD_SITE=<SITE> \
  -p 8282:8282 \
  -v ./pipeline.yaml:/etc/observability-pipelines-worker/pipeline.yaml:ro \
  datadog/observability-pipelines-worker run
```
<API_KEY>을 Datadog API 키로, <PIPELINES_ID>을 관측성 파이프라인 설정 ID로, <SITE>을 로 교체합니다. 참고: ./pipeline.yaml은 1단계에서 다운로드한 설정의 상대 또는 절대 경로여야 합니다.

AWS EKS에 대한 Helm 차트 값 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
Helm 차트에서 datadog.apiKey 및 datadog.pipelineId 값을 파이프라인과 일치하도록 교체하고 site 값으로 를 사용합니다. 그 후 다음 명령을 사용하여 클러스터에 설치합니다.
```
helm repo add datadog https://helm.datadoghq.com
```
```
helm repo update
```
```
helm upgrade --install \
    opw datadog/observability-pipelines-worker \
    -f aws_eks.yaml
```

AWS EKS에 대한 Helm 차트 값 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
Helm 차트에서 datadog.apiKey 및 datadog.pipelineId 값을 파이프라인과 일치하도록 교체하고 site 값으로 를 사용합니다. 그 후 다음 명령을 사용하여 클러스터에 설치합니다.
```
helm repo add datadog https://helm.datadoghq.com
```
```
helm repo update
```
```
helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f azure_aks.yaml
```

Google GKE에 대한 Helm 차트 값 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
Helm 차트에서 datadog.apiKey 및 datadog.pipelineId 값을 파이프라인과 일치하도록 교체하고 site 값으로 를 사용합니다. 그 후 다음 명령을 사용하여 클러스터에 설치합니다.
```
helm repo add datadog https://helm.datadoghq.com
```
```
helm repo update
```
```
helm upgrade --install \
  opw datadog/observability-pipelines-worker \
  -f google_gke.yaml
```

한 줄 설치 스크립트를 사용하거나 수동으로 작업자를 설치합니다.

한 줄 설치 스크립트

한 줄 설치 명령을 실행하여 작업자를 설치합니다. <DD_API_KEY>를 Datadog API 키로, <PIPELINES_ID>을 관측성 파이프라인 ID로, <SITE>을 로 교체합니다.
```
DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"
```
호스트에 /etc/observability-pipelines-worker/pipeline.yaml에 샘플 설정 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.

Worker를 시작합니다.

sudo systemctl restart observability-pipelines-worker

수동 설치

다음 명령을 실행하여 APT를 설정하여 HTTPS를 통해 다운로드합니다.
```
sudo apt-get update
sudo apt-get install apt-transport-https curl gnupg
```

다음 명령을 실행하여 시스템에 Datadog deb 리포지토리를 설정하고 Datadog 아카이브 키링을 생성합니다:

sudo sh -c "echo 'deb [signed-by=/usr/share/keyrings/datadog-archive-keyring.gpg] https://apt.datadoghq.com/ stable observability-pipelines-worker-1' > /etc/apt/sources.list.d/datadog-observability-pipelines-worker.list"
sudo touch /usr/share/keyrings/datadog-archive-keyring.gpg
sudo chmod a+r /usr/share/keyrings/datadog-archive-keyring.gpg
curl https://keys.datadoghq.com/DATADOG_APT_KEY_CURRENT.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_06462314.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_F14F620E.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch
curl https://keys.datadoghq.com/DATADOG_APT_KEY_C0962C7D.public | sudo gpg --no-default-keyring --keyring /usr/share/keyrings/datadog-archive-keyring.gpg --import --batch

다음 명령을 실행하여 로컬 apt 리포지토리를 업데이트하고 Worker를 설치합니다:
```
sudo apt-get update
sudo apt-get install observability-pipelines-worker datadog-signing-keys
```

작업자의 환경 변수에 다음과 같이 키와 사이트()를 추가합니다.

sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

샘플 설정 파일을 호스트의 /etc/observability-pipelines-worker/pipeline.yaml에 다운로드합니다.

작업자를 시작합니다.

sudo systemctl restart observability-pipelines-worker

한 줄 설치 스크립트를 사용하거나 수동으로 작업자를 설치합니다.

한 줄 설치 스크립트

한 줄 설치 명령을 실행하여 작업자를 설치합니다. <DD_API_KEY>를 Datadog API 키로, <PIPELINES_ID>을 관측성 파이프라인 ID로, <SITE>을 로 교체합니다.
```
DD_API_KEY=<DD_API_KEY> DD_OP_PIPELINE_ID=<PIPELINES_ID> DD_SITE=<SITE> bash -c "$(curl -L https://install.datadoghq.com/scripts/install_script_op_worker1.sh)"
```
호스트에 /etc/observability-pipelines-worker/pipeline.yaml에 샘플 설정 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
다음 명령을 실행하여 작업자를 시작합니다:
```
sudo systemctl restart observability-pipelines-worker
```

수동 설치

다음 명령을 실행하여 시스템에서 Datadog rpm 르포를 설정합니다.

cat <<EOF > /etc/yum.repos.d/datadog-observability-pipelines-worker.repo
[observability-pipelines-worker]
name = Observability Pipelines Worker
baseurl = https://yum.datadoghq.com/stable/observability-pipelines-worker-1/\$basearch/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://keys.datadoghq.com/DATADOG_RPM_KEY_CURRENT.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_4F09D16B.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_B01082D3.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_FD4BF915.public
       https://keys.datadoghq.com/DATADOG_RPM_KEY_E09422B3.public
EOF

참고: RHEL 8.1 또는 CentOS 8.1을 실행하는 경우 위 설정에서 repo_gpgcheck=1 대신 repo_gpgcheck=0를 사용합니다.

패키지를 업데이트하고 Worker를 설치합니다.

sudo yum makecache
sudo yum install observability-pipelines-worker

작업자의 환경 변수에 다음과 같이 키와 사이트()를 추가합니다.

sudo cat <<-EOF > /etc/default/observability-pipelines-worker
DD_API_KEY=<API_KEY>
DD_OP_PIPELINE_ID=<PIPELINE_ID>
DD_SITE=<SITE>
EOF

호스트에 /etc/observability-pipelines-worker/pipeline.yaml에 샘플 설정 파일을 다운로드합니다. 샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.
다음 명령을 실행하여 작업자를 시작합니다:
```
sudo systemctl restart observability-pipelines-worker
```

샘플 설정을 다운로드합니다.
샘플 설정을 사용해 기존 Terraform에서 작업자 모듈을 설정합니다. vpc-id, subnet-ids 및 region 값을 업데이트하여 설정에서 AWS 배포를 매칭합니다. 또한, datadog-api-key 및 pipeline-id의 값을 업데이트하여 파이프라인을 매칭합니다.

샘플 설정에 사용된 소스, 변환 및 싱크에 대한 자세한 내용은 설정을 참조하세요.

데이터 변환에 대한 자세한 내용은 데이터로 작업하기를 참조하세요.

배포 모드 업데이트하기

파이프라인을 배포한 후 배포 방법을 변경할 수 있습니다. 예를 들어 수동 관리형 파이프라인에서 원격 구성이 활성화된 파이프라인으로 변경하거나 그 반대 방향으로도 바꿀 수 있습니다.

원격 구성 배포에서 수동 관리형 배포로 바꾸는 방법:

Observability Pipeline으로 이동해 파이프라인을 선택하세요.
톱니바퀴 아이콘을 클릭해 설정으로 이동하세요.
Deployment Mode에서 manual을 선택해 활성화하세요.
DD_OP_REMOTE_CONFIGURATION_ENABLED 플래그를 false로 설정하고 작업자를 재시작하세요. 이 플래그로 작업자를 재시작하지 않으면 원격 구성이 활성화된 상태로 계속 진행되며, 작업자가 로컬 구성 파일을 통해 수동으로 업데이트되지 않습니다.

수동 관리형 배포에서 원격 구성 배포로 바꾸는 방법:

Observability Pipeline으로 이동해 파이프라인을 선택하세요.
톱니바퀴 아이콘을 클릭해 설정으로 이동하세요.
Deployment Mode에서 Remote Configuration을 선택해 활성화하세요.
DD_OP_REMOTE_CONFIGURATION_ENABLED 플래그를 true로 설정하고 작업자를 재시작하세요. 이 플래그로 작업자를 재시작해야 UI에서 배포된 구성으로 폴링됩니다.
작업자가 새 버전 구성을 받도록 버전 내역에서 버전 하나를 배포하세요. 버전을 클릭하세요. Edit as Draft를 선택한 후 Deploy를 클릭하세요.

다음 단계

빠른 시작은 작업자를 설치하고 샘플 파이프라인을 배포하는 과정을 안내합니다. Datadog 에이전트에서 Datadog으로 데이터를 수신 및 라우팅하거나 Splunk HEC 에서 Splunk 및 Datadog로 데이터를 수신 및 라우팅하기 위해 작업자를 설치하는 방법에 대한 지침은 다음의 특정 사용 사례를 선택하세요.