로그 아카이브
로그 아카이브 템플릿을 사용하여 클라우드 스토리지 솔루션(Amazon S3, Google Cloud Storage 또는 Azure Storage)에 로그를 저장하세요. 아카이브된 로그는 Datadog에서 필요할 때 다시 로드(rehydrate)할 수 있도록 Datadog에서 다시 로드 가능한 형식으로 저장됩니다. 이는 다음과 같은 경우에 유용합니다.
- 노이즈가 많은 로그의 양이 많지만, 조사 목적으로 필요에 따라 Datadog Log Management에서 인덱싱해야 할 수도 있는 경우.
- Datadog Log Management로 마이그레이션 중이며 마이그레이션 완료 후에도 과거 로그를 보관하려는 경우.
- 규정 준수 요구 사항을 충족하기 위한 보존 정책이 있지만 해당 로그를 반드시 인덱싱할 필요는 없는 경우.
로그 이중 전송
조직이 성장함에 따라 보안, 아카이빙, 로그 관리 등 다양한 사용 사례에 대한 관측 가능성 요구 사항도 변경됩니다. 이는 다양한 아카이빙, SIEM 및 로그 관리 솔루션을 시험해 봐야 함을 의미할 수 있습니다. 하지만 여러 솔루션으로 전송되는 로그 파이프라인을 관리하는 것은 복잡할 수 있습니다. 로그 이중 전송 템플릿을 사용하여 로그를 여러 대상으로 전송하면 프로덕션 환경에 미치는 영향을 최소화하면서 다양한 도구와 워크플로를 평가할 수 있습니다.
로그 기반 메트릭 생성
방화벽 및 네트워크 어플라이언스와 같은 일부 로그 소스는 저장할 필요가 없는 로그 데이터를 포함하는 대량의 로그 이벤트를 생성합니다. 종종 로그 요약과 과거 데이터와의 비교만 필요한 경우가 있습니다. 로그 기반 메트릭은 전체 수집 스트림에서 로그 데이터를 요약하는 비용 효율적인 방법이기도 합니다. Generate Metrics 템플릿을 사용하여 쿼리와 일치하는 로그에서 카운트, 게이지 또는 분포 메트릭을 생성하세요.
사용 가능한 메트릭 유형:
| 메트릭 유형 | 설명 | 예시 |
|---|
| COUNT | 시간 간격 내의 총 이벤트 발생 횟수입니다. 0으로 재설정할 수는 있지만 값을 줄일 수는 없습니다. | status:error가 포함된 로그 수를 계산하려는 경우 |
| GAUGE | 보고되는 시점의 값에 대한 스냅샷입니다. | 각 호스트의 최신 CPU 사용률을 추적하려는 경우 |
| DISTRIBUTION | 원시 값을 Datadog으로 전송하여, 메트릭을 보고하는 모든 호스트에 걸쳐 백분위수 집계(예: p95, p99)를 전역적으로 서버 측에서 계산합니다. | API 엔드포인트를 제공하는 모든 호스트에서 response_time_seconds의 전역 p95를 확인하려는 경우 |
로그 보강
조직의 다양한 서비스, 시스템 및 애플리케이션은 모두 여러 계층의 정보가 포함된 다양한 형식의 로그를 생성합니다. 이러한 로그를 관리하려면 형식을 표준화하고 정보를 추가하여 검색 및 분석을 더 쉽게 만들어야 할 수 있습니다. 예를 들어, 각 로그 소스에는 고유한 형식이 있습니다. 이러한 로그가 재형식화 및 표준화되지 않은 경우 조사 중에 검색하고 분석하기 어려울 수 있습니다. 또한 고객 ID나 IP 주소와 같이 로그에 추가하려는 추가 정보가 있을 수도 있습니다.
로그 볼륨 제어
원시 로그는 노이즈가 많으며, 조사 중 추가 검색 및 분석에 유용한 로그는 일부에 불과합니다. 로그 볼륨 제어 템플릿을 사용하여 SIEM 또는 로그 관리 솔루션과 같은 인덱싱된 솔루션으로 보낼 로그를 결정하세요. 이는 인덱싱된 로그의 가치를 높이고 계획한 예산 범위 내에서 운영하는 데 도움이 됩니다.
민감한 데이터 마스킹
신용 카드 번호, 은행 라우팅 번호 및 API 키와 같은 민감한 데이터는 종종 로그에 의도치 않게 노출되어 조직을 재무 및 프라이버시 위험에 노출시킬 수 있습니다.
Sensitive Data Redaction 템플릿을 사용하여 온프레미스에서 민감한 정보를 감지하고 마스킹하세요. Observability Pipelines 민감한 데이터 스캐너 프로세서는 70개의 기본 스캔 규칙을 제공하지만, 정규식을 사용하여 고유한 사용자 지정 스캔 규칙을 만들 수도 있습니다. 기본 제공(OOTB) 규칙은 신용 카드 번호, 이메일 주소, IP 주소, API 및 SSH 키, 액세스 토큰과 같은 표준 패턴을 인식합니다.
로그 분할
서로 다른 서비스 및 애플리케이션의 로그가 있는 경우, 쿼리, 분석 및 알림을 위해 이를 서로 다른 다운스트림 서비스로 보내야 할 수 있습니다. 예를 들어, 보안 로그는 SIEM 솔루션으로 보내고 DevOps 로그는 Datadog으로 보낼 수 있습니다. 로그 분할 템플릿을 사용하여 로그를 다운스트림으로 보내기 전에 각 대상에 대해 별도로 전처리하세요.
메트릭 태그 거버넌스
메트릭은 환경에 대한 신호를 포착하고 시스템 상태, 비즈니스 워크플로, 보안 활동에 대한 인사이트를 제공합니다. 이러한 메트릭은 다양한 애플리케이션, 네트워크 장치 및 노드에서 전송되지만 개별 메트릭의 가치는 크게 다를 수 있습니다.
메트릭의 품질과 볼륨을 관리하려면 메트릭 태그 거버넌스 템플릿을 사용하여 Observability Pipelines에서 메트릭을 처리한 후 대상으로 전송하세요. 프로세서를 사용하여 필요한 메트릭만 유지하고, 메트릭 태그 지정을 표준화하며, 원치 않는 태그를 제거하여 높은 카디널리티를 방지할 수 있습니다.
