개요

Deduplicate 프로세서는 데이터 복사본을 제거하여 볼륨과 노이즈를 줄입니다. 메시지를 캐싱하고 유입되는 로그 트래픽을 캐시된 메시지와 비교합니다. 예를 들어, 동일한 경고 로그가 연속으로 여러 번 전송되는 경우, 이 프로세서를 사용하여 고유한 경고 로그만 유지할 수 있습니다.

설정

Deduplicate 프로세서를 설정하려면 다음 단계를 따르세요.

1. filter query를 정의합니다. 자세한 내용은 로그 검색 구문을 참조하세요.
   • 지정된 필터 쿼리와 일치하는 로그만 처리됩니다.
   • 모든 로그는 필터 쿼리와 일치하는지 여부에 관계없이 파이프라인의 다음 단계로 전송됩니다.
2. Type of deduplication드롭다운에서 래에 지정된 필드를 Match할지 또는 Ignore할지 선택합니다.
   • Match를 선택하면 로그가 통과한 후 아래에 지정한 모든 필드 값이 동일한 향후 로그가 제거됩니다.
   • Ignore를 선택하면 로그가 통과한 후 아래에 지정한 필드를 제외하고 모든 필드 값이 동일한 향후 로그가 제거됩니다.
3. 일치시키거나 무시할 필드를 입력합니다. 최소 하나의 필드가 필요하며, 최대 3개의 필드를 지정할 수 있습니다.
   • 하위 필드를 일치시키려면 <OUTER_FIELD>.<INNER_FIELD> 경로 표기법을 사용하세요. 아래의 경로 표기법 예시를 참조하세요.
4. Add field를 클릭하여 필터링할 필드를 추가합니다.

선택적 설정

캐시 크기

기본 캐시 크기는 5,000개 메시지입니다(권장). 캐시된 메시지는 들어오는 메시지가 중복인지 판단하기 위해 메모리에 보관됩니다. 필요에 따라 캐시 크기를 늘릴 수 있습니다.

참고:

• 캐시 크기를 늘리면 메모리 사용량이 증가합니다.
• 캐시는 LRU 캐시를 기반으로 하며, LRU 캐시 크기는 구성된 캐시 크기와 동일합니다.
• 캐시는 Worker 간에 공유되지 않으므로 동일한 Worker에 의해 처리된 중복 이벤트만 삭제됩니다.

경로 표기법 예시

For this log structure example:

{
    "outer_key": {
        "inner_key": "inner_value",
        "a": {
            "double_inner_key": "double_inner_value",
            "b": "b value"
        },
        "c": "c value"
    },
    "d": "d value"
}

Follow these reference rules:

• Use outer_key.inner_key to reference the key with the value inner_value.
• Use outer_key.a.double_inner_key to reference the key with the value double_inner_value.

To specify a nested field with a literal . in the attribute key, wrap the key in escaped quotes in the search query. For example, the search query "service.status":disabled matches the event {"service.status": "disabled"}.