개요

Observability Pipelines의 Datadog Logs 목적지를 사용하여 Datadog Log Management로 로그를 전송하세요. AWS PrivateLink를 사용하여 Observability Pipelines에서 Datadog으로 로그를 전송할 수도 있습니다.

설정

파이프라인을 설정할 때 Datadog Logs 목적지를 구성하세요. 파이프라인은 UI에서 설정할 수 있으며, API 또는 Terraform을 사용하여 설정할 수 있습니다. 이 섹션에서 설명하는 단계는 UI에서 설정합니다.

선택적 설정

파이프라인 UI에서 Datadog Logs 목적지를 선택한 후, 이러한 선택적 설정을 구성할 수 있습니다.

여러 Datadog 조직으로 로그 라우팅

여러 Datadog 조직으로 로그를 라우팅할 수 있습니다. 라우팅이 설정되면 구성 요소 또는 로그를 라우팅하는 특정 조직에 대한 메트릭을 조회할 수 있습니다.

참고: 최대 100개의 Datadog 조직으로 라우팅할 수 있습니다.

여러 Datadog 조직으로의 라우팅을 설정하려면 Route to Multiple Organizations을 클릭하세요.

• 아직 조직을 추가하지 않은 경우, Datadog 조직 추가 섹션에 설명된 대로 조직 세부 정보를 입력하세요.
• 이미 조직을 추가한 경우 다음을 수행하세요.
  • 표에서 조직을 클릭하여 편집하거나 삭제하세요.
  • 검색 창을 사용하여 이름, 필터 쿼리 또는 Datadog 사이트로 특정 조직을 찾은 다음, 조직을 선택하여 편집하거나 삭제하세요.
  • 조직의 메트릭을 조회하세요.
  • 다른 Datadog 조직으로 라우팅하려면 Add organization을 클릭하세요.

참고: 여러 Datadog 조직으로의 라우팅을 설정하지 않으면 로그는 기본 Datadog 조직으로 라우팅됩니다. 이것은 Worker를 설치할 때 사용한 API 키와 연결된 조직입니다.

조직 추가

1. 조직의 이름을 입력합니다.
   • 참고: 이름이 실제 Datadog 조직의 이름과 일치할 필요는 없습니다.
2. 필터 쿼리를 정의합니다. 지정한 필터 쿼리와 일치하는 로그만 해당 조직으로 전송됩니다. 필터 쿼리 작성에 대한 자세한 내용은 Observability Pipelines 검색 구문을 참조하세요.
3. Datadog 조직의 사이트를 선택합니다.
4. 해당 Datadog 조직의 API 키 식별자를 입력합니다.
   • 참고: API 키 식별자만 입력하세요. 실제 API 키는 입력하지 마세요.
5. Save를 클릭합니다.

버퍼링

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

시크릿 기본값

구성 요소 또는 특정 조직의 메트릭 조회

구성 요소 수준 또는 조직 수준에서 메트릭을 조회할 수 있습니다.

구성 요소 수준 메트릭

전체 Datadog Logs 목적지의 메트릭을 조회하려면:

1. Observability Pipelines로 이동합니다.
2. 파이프라인을 선택합니다.
3. Datadog Logs 목적지의 톱니바퀴 아이콘을 클릭하고 View details를 선택합니다.

참고: Data dropped (intentional) 메트릭은 조직의 어느 필터와도 일치하지 않는 로그를 보여줍니다.

조직 수준 메트릭

특정 Datadog 조직의 메트릭을 조회하려면:

1. Observability Pipelines로 이동합니다.
2. 파이프라인을 선택합니다.
3. Datadog Logs 목적지를 클릭하여 조직을 표시합니다.

4. 메트릭을 확인할 조직을 클릭합니다.
5. View Health Metrics를 클릭합니다.

또는 Datadog Logs 목적지에서 Review Configured Organizations를 클릭하세요. 그런 다음 해당 조직의 Metrics 열에 있는 그래프 아이콘을 클릭하세요.

상태 메트릭

모든 목적지에서 내보내는 구성 요소 메트릭 및 목적지 버퍼 메트릭에 대해서는 Pipelines 사용량 메트릭 설명서를 참조하세요.

Datadog Logs 메트릭

• 개별 구성 요소별로 필터링하거나 그룹화하려면 component_id 태그를 사용하세요.
• Datadog Logs 목적지 메트릭에서 component_type태그 값은 datadog_logs입니다.

pipelines.datadog_logs_reserved_attribute_conflicts_total

설명: 의미를 지닌 필드를 Datadog 예약 속성으로 재배치할 때 발생하는 충돌 수입니다. 예시를 참조하세요. Worker 버전 2.18 이상에서 사용할 수 있습니다.

메트릭 유형: count

의미를 지닌 필드를 Datadog 예약 속성으로 재배치하는 예시

OpenTelemetry 소스는 다음 이벤트를 디코딩하며, 여기서 severity_text는 의미상 예약된 status 속성에 매핑됩니다.

{
  "message": "GET /api/users returned 404",
  "severity_text": "WARN",
  "attributes": {
    "status": 404,
    "http.method": "GET"
  },
  "timestamp": "..."
}

그런 다음 프로세서가 이벤트를 평면화하여 status와 severity_text가 모두 최상위 수준에 존재하게 합니다.

{
  "message": "GET /api/users returned 404",
  "severity_text": "WARN",
  "status": 404,
  "http.method": "GET",
  "timestamp": "..."
}

예약된 status 속성이 이미 존재하므로, 목적지는 충돌하는 필드에 의해 덮어쓰이는 것을 방지하기 위해 이름을 _RESERVED_severity로 변경합니다.

{
  "message": "GET /api/users returned 404",
  "status": "WARN",
  "_RESERVED_severity": 404,
  "http.method": "GET",
  "timestamp": "..."
}

목적지의 작동 방식

이벤트 배치 처리

이벤트 배치는 다음 중 하나의 파라미터를 충족하면 플러시됩니다. 자세한 내용은 목적지 이벤트 배치 처리를 참조하세요.