파이프라인 설정

이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().

개요

이 설명서에 개괄적으로 소개된 파이프라인 및 프로세서는 온프레미스 로깅 환경에 국한합니다. 클라우드 기반 로그를 집계, 처리 및 라우팅하는 방법은 Log Management Pipelines를 참조하세요.

Observability Pipelines에서 파이프라인은 다음과 같은 세 가지 유형의 구성 요소를 포함한 순차적 경로입니다.

  • 소스: 데이터 소스(예: Datadog Agent)에서 데이터를 수신합니다.
  • 프로세서: 데이터를 보강 및 변환합니다.
  • 대상: 처리한 데이터가 전송되는 곳입니다.
소스 한 개가 프로세서 그룹 두 개, 대상 두 개에 연결된 파이프라인

파이프라인을 만들려면 다음과 같은 방법 중 하나를 사용하면 됩니다.

UI에서 생성한 파이프라인을 프로그램 방식으로 배포하는 방법은 파이프라인 구성을 JSON 또는 Terraform으로 내보내기를 참조하세요.

UI에서 파이프라인 설정

파이프라인 구성 요소 설정

  1. Observability Pipelines로 이동합니다.
  2. 사용 사례에 따라 적합한 템플릿을 선택합니다.
  3. 소스를 선택하고 설정합니다.
  4. 프로세서를 추가하여 로그 데이터를 변환, 삭제 및 보강합니다. 참고: 파이프라인 캔버스의 경우, 프로세서 그룹 25개, 총 프로세서 수 150개의 한도가 있습니다.
    • 프로세서를 복사하려면 해당 프로세서의 복사 아이콘을 클릭하고 command-v를 사용하여 붙여 넣으세요.
  5. 처리된 로그의 대상을 선택하고 설정합니다.

구성 요소 추가 또는 제거

다른 프로세서 그룹 추가
프로세서 그룹 두 개가 동일한 대상으로 로그를 전송하는 작업이 표시된 Pipelines 페이지

If you want to add another group of processors for a destination:

  1. Click the plus sign (+) at the bottom of the existing processor group.
  2. Click the name of the processor group to update it.
  3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
  4. Click Add to add processors to the group.
  5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
    1. Click the three dots on the processor group.
    2. Select Copy all processors.
    3. Select the desired processor group, and then paste the processors into it.
  6. You can toggle the switch to enable and disable the processor group and also each individual processor.

Notes:

  • There is a limit of 25 processor groups for a pipeline canvas.
프로세서 및 대상 세트 하나 더 추가
프로세서 그룹 두 개가 서로 다른 두 개의 대상으로 로그를 전송하는 작업이 표시된 Pipelines 페이지

If you want to add another set of processors and destinations, click the plus sign (+) to the left of the processor group to add another set of processors and destinations to the source.

To delete a processor group, you need to delete all destinations linked to that processor group. When the last destination is deleted, the processor group is removed with it.

프로세서 그룹에 대상 추가
프로세서 그룹 한 개가 서로 다른 두 개의 대상으로 로그를 전송하는 작업이 표시된 Pipelines 페이지

If you want to add an additional destination to a processor group, click the plus sign (+) to the right of the processor group.

To delete a destination, click on the pencil icon to the top right of the destination, and select Delete node.

  • If you delete a destination from a processor group that has multiple destinations, only the deleted destination is removed.
  • If you delete a destination from a processor group that only has one destination, both the destination and the processor group are removed.

Notes:

  • A pipeline must have at least one destination. If a processor group only has one destination, that destination cannot be deleted.
  • You can add a total of three destinations for a pipeline.
  • A specific destination can only be added once. For example, you cannot add multiple Splunk HEC destinations.
Metric Tag Governance는 미리 보기 상태입니다. 액세스를 요청하려면 양식을 작성하세요.
  1. Observability Pipelines로 이동합니다.
  2. Metric Tag Governance 템플릿을 선택합니다.
  3. Datadog Agent 소스를 설정합니다.
  4. 프로세서를 추가하여 메트릭을 필터링하고 변환합니다. 참고: 파이프라인 캔버스의 경우, 프로세서 그룹 25개, 총 프로세서 수 150개의 한도가 있습니다.
    • 프로세서를 복사하려면 해당 프로세서의 복사 아이콘을 클릭한 다음 붙여 넣습니다(Mac에서는 Cmd+V, Windows/Linux에서는 Ctrl+V).
  5. Datadog Metrics 대상을 설정합니다.

다른 프로세서 그룹 추가

프로세서 그룹 두 개가 동일한 대상으로 로그를 전송하는 작업이 표시된 Pipelines 페이지

If you want to add another group of processors for a destination:

  1. Click the plus sign (+) at the bottom of the existing processor group.
  2. Click the name of the processor group to update it.
  3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
  4. Click Add to add processors to the group.
  5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
    1. Click the three dots on the processor group.
    2. Select Copy all processors.
    3. Select the desired processor group, and then paste the processors into it.
  6. You can toggle the switch to enable and disable the processor group and also each individual processor.

Notes:

  • There is a limit of 25 processor groups for a pipeline canvas.

Worker를 설치하고 파이프라인 배포

소스, 프로세서 및 대상을 설정하고 난 뒤 다음: 설치를 클릭합니다. 플랫폼에 Worker를 설치하는 방법은 Worker 설치의 지침을 참조하세요. 부트스트래핑 옵션은 고급 Worker 구성을 참조하세요.

파이프라인을 배포하고 나서 파이프라인을 변경하려면 기존 파이프라인 업데이트를 참조하세요.

파이프라인의 기본 제공 모니터 활성화

  1. Pipelines 페이지로 이동하여 사용자의 파이프라인을 찾습니다.
  2. 파이프라인의 모니터 열에서 모니터 활성화를 클릭합니다.
  3. 시작을 클릭하여 제안된 사용 사례 중 하나에 대하여 모니터를 설정합니다.
    • 선택한 사용 사례에 따라 메트릭 모니터가 구성됩니다. 구성을 업데이트하여 추가로 사용자 지정할 수 있습니다. 자세한 내용은 메트릭 모니터 설명서를 참조하세요.

API로 파이프라인 설정

  1. Observability Pipelines API를 사용하여 파이프라인을 만듭니다. 요청 페이로드 예시는 API 레퍼런스를 참조하세요.

  2. 파이프라인을 만든 다음, 해당 파이프라인을 통해 데이터를 전송하려면 Worker를 설치합니다.

    • Worker를 설치할 때 다양한 소스, 프로세서 및 대상에 대하여 필요한 환경 변수 목록은 환경 변수를 참조하세요.

기존 파이프라인을 변경하려면 파이프라인 업데이트 엔드포인트를 사용하세요.

부트스트래핑 옵션은 고급 Worker 구성을 참조하세요.

Terraform으로 파이프라인 설정

Terraform 3.84.0은 독립형 프로세서를 프로세서 그룹으로 대체하며, 이것은 이전 버전과 호환되지 않는 변경 사항입니다. Terraform 3.84.0으로 업그레이드하려면 PR 설명에서 기존 리소스를 마이그레이션하는 방법 지침을 참조하세요.
  1. datadog_observability_pipeline 모듈을 사용하여 Terraform을 사용해 파이프라인을 만들 수 있습니다.

  2. 파이프라인을 만든 다음, 해당 파이프라인을 통해 데이터를 전송하려면 Worker를 설치합니다.

    • Worker를 설치할 때 다양한 소스, 프로세서 및 대상에 대하여 필요한 환경 변수 목록은 환경 변수를 참조하세요.

기존 파이프라인을 변경하려면 datadog_observability_pipeline 모듈을 사용하세요.

부트스트래핑 옵션은 고급 Worker 구성을 참조하세요.

파이프라인 복제

UI에서 파이프라인을 복제하는 방법:

  1. Observability Pipelines로 이동합니다.
  2. 복제하려는 파이프라인을 선택합니다.
  3. 페이지 상단 오른쪽의 톱니바퀴를 클릭하고 복제를 선택합니다.

파이프라인 삭제

UI에서 파이프라인을 삭제하는 방법:

  1. Observability Pipelines로 이동합니다.
  2. 삭제하려는 파이프라인을 선택합니다.
  3. 페이지 상단 오른쪽의 톱니바퀴를 클릭하고 삭제를 선택합니다.

참고: 활성 파이프라인은 삭제할 수 없습니다. 파이프라인의 Worker를 모두 중지한 다음에만 해당 파이프라인을 삭제할 수 있습니다.

파이프라인 요구 사항 및 한도

  • 파이프라인에는 하나 이상의 대상이 있어야 합니다. 프로세서 그룹에 대상이 하나만 있는 경우, 해당 대상은 삭제할 수 없습니다.
  • 로그 파이프라인의 경우:
    • 로그 파이프라인에는 총 세 개의 대상을 추가할 수 있습니다.

추가 자료