수집된 로그에서 메트릭 생성

개요

이 설명서에 개괄적으로 소개된 솔루션은 클라우드 기반 로깅 환경에 국한합니다. 온프레미스 로그에서 메트릭을 생성하려면 Observability Pipelines 설명서를 참조하세요.

Datadog의 Logging without Limits*를 사용하면 스토리지 및 쿼리를 위해 인덱스에서 무엇을 포함 또는 제외할지 동적으로 결정할 수 있으며, 동시에 많은 유형의 로그는 KPI처럼 장기간 추세를 추적하는 텔레메트리 용도로 쓰입니다. 로그 기반 메트릭은 비용 효율적으로 수집 스트림 전체에서 로그 데이터를 요약하는 방법입니다. 이는 제외 필터를 사용하여 탐색을 위해 무엇을 저장할지 제한하더라도, 15개월 동안은 10초 단위의 세분성으로 로그 데이터 전체의 추세 및 이상치를 시각화할 수 있다는 의미입니다.

로그 기반 메트릭을 사용하면 쿼리와 일치하는 로그의 개수 메트릭을 생성하거나, 로그에 포함된 숫자 값(예: 요청 기간)의 분포 메트릭을 생성할 수 있습니다.

청구 참고 사항: 수집된 로그에서 생성된 메트릭은 Custom Metrics로 청구됩니다.

로그 기반 메트릭 생성

로그를 메트릭으로 생성

새 로그 기반 메트릭을 생성하려면 다음 단계를 따르세요.

  1. 메트릭 생성 페이지로 이동합니다.
  2. Generate Metrics 탭을 선택합니다.
  3. + New Metric를 클릭합니다.

Export 메뉴에서 Generate new metric 옵션을 선택하여 Analytics 검색에서 메트릭을 생성할 수도 있습니다.

로그를 메트릭으로 생성

새 로그 기반 메트릭 추가

로그를 메트릭으로 만들기
  1. Input a query to filter the log stream: Log Explorer 검색 구문을 사용하여 쿼리를 작성합니다. Datadog은 인덱싱된 로그가 아닌 수집 시점의 로그 스트림에 대해 스트림 필터 쿼리를 평가합니다. 이 필터는 전체 텍스트 검색(*:search_term)을 포함하여 모든 Log Explorer 검색 기능을 지원하지 않습니다. Log Explorer에서 결과를 반환하는 쿼리라도 여기서는 일치하는 로그가 없을 수 있습니다. 지난 20분 내에 타임스탬프를 포함하여 수집된 로그만 집계 대상으로 간주됩니다. 인덱스는 쿼리에서 제외됩니다.

    메트릭을 저장한 후, Metrics Explorer에서 데이터 포인트가 생성되는지 확인한 다음 사용하세요. 쿼리가 Log Explorer에서는 로그와 일치하지만 메트릭이 비어 있는 경우, 해당 용어를 따옴표로 묶인 구문으로 다시 작성하세요(예: message:"Database operation failed.").

  2. Select the field you would like to track: 쿼리와 일치하는 모든 로그의 개수를 생성하려면 *를 선택하고, 아니면 로그 특성을 입력하여(예: @network.bytes_written) 숫자 값을 집계하고 그에 상응하는 count, min, max, sum 및 avg의 집계된 메트릭을 생성합니다. 로그 특성 패싯이 측정값인 경우, 메트릭의 값이 로그 특성의 값입니다.

  3. Add dimensions to group by: 기본적으로 로그 기반으로 생성된 메트릭에는 명시적으로 추가하지 않은 한 태그가 없습니다. 로그에 존재하는 모든 특성 또는 태그 차원(예: @network.bytes_written, env)을 사용하여 메트릭 태그를 생성할 수 있습니다. 메트릭 태그 이름은 출처 특성 또는 태그 이름과 같고, @ 기호를 포함하지 않습니다.

  4. Add percentile aggregations: 분포 메트릭의 경우, 필요시 p50, p75, p90, p95, p99 백분위수를 생성할 수 있습니다. 백분위수 메트릭도 Custom Metrics로 간주하며, 그에 따라 청구됩니다.

  5. Name your metric: 로그 기반 메트릭 이름은 Custom Metrics 명명 규칙을 따라야 합니다.

참고: Datadog은 10초 간격으로 로그 기반 메트릭에 대한 데이터 포인트를 생성합니다. 로그 기반 메트릭에 대하여 대시보드 그래프를 작성하면 count unique 파라미터는 10초 간격 이내의 값을 사용합니다.

count unique 쿼리 파라미터가 강조 표시된 시계열 그래프 구성 페이지
로그 기반 메트릭은 Custom Metrics로 간주하며 그에 따라 청구됩니다. 청구에 영향을 미치지 않도록 타임스탬프, 사용자 ID, 요청 ID 또는 세션 ID와 같이 한계가 없거나 카디널리티가 극히 높은 특성을 기준으로 그룹화하지 마세요.

로그 기반 메트릭 업데이트

메트릭이 생성되고 나서 다음과 같은 필드를 업데이트할 수 있습니다.

  • 스트림 필터 쿼리: 메트릭으로 집계될 일치하는 로그 세트를 변경하기 위해
  • 집계 그룹: 생성된 메트릭의 태그를 업데이트하거나 카디널리티를 관리하기 위해
  • 백분위수 선택: Calculate percentiles 상자를 선택하거나 선택 취소하여 백분위수 메트릭 제거 또는 생성

메트릭 유형 또는 이름을 변경하려면 새 메트릭을 만들어야 합니다.

로그 사용량 메트릭

권장 사용량 메트릭

사용량 메트릭은 현재 Datadog 사용량을 준실시간으로 추정한 것입니다. 이것을 이용하여 다음과 같이 할 수 있습니다.

  • 예상 사용량을 그래프로 표시합니다.
  • 예상 사용량을 중심으로 모니터를 만듭니다.
  • 사용량 급증 또는 급감에 관해 즉시 경보를 받습니다.
  • 코드 변경이 사용량에 미치는 잠재적 영향을 준실시간으로 평가합니다.

Log Management 사용량 메트릭에는 3가지 태그가 함께 제공되어 좀 더 세분화된 모니터링이 가능합니다.

태그설명
datadog_index로그를 의도한 인덱스와 매칭하는 라우팅 쿼리를 나타냅니다.
datadog_is_excluded로그가 제외 쿼리와 일치하는지 아닌지를 나타냅니다.
service로그 이벤트의 서비스 특성입니다.

참고: datadog_is_excluded 및 datadog_index 필드에는 N/A 값이 있을 수 있습니다. 이는 로그가 수집되었지만, 명시적으로 인덱스로 라우팅될 포함 또는 제외 기준과 일치하지 않았음을 나타냅니다.

datadog.estimated_usage.logs.ingested_events 메트릭에서 추가 status 태그를 사용하여 로그 상태(info, warning 등)를 반영할 수 있습니다.

추가 자료


*Logging without Limits는 Datadog, Inc.의 상표입니다.