Datadog Archives 목적지

문서 > Observability Pipelines > 대상 > Datadog Archives 목적지

이용 가능:

로그

개요

Datadog Archives 목적지를 사용하여 Datadog 리하이드레이션 가능 형식으로 아카이브를 위해 Amazon S3로 로그를 보냅니다. 그런 다음 Archive Search를 사용하여 이러한 로그를 쿼리할 수 있습니다. 전체 플랫폼 액세스를 위해 결과를 다시 인덱싱해야 할 때 Archive Search의 Search & Rehydration 모드를 사용하세요.

참고: Amazon S3 목적지를 사용하여 로그를 JSON 또는 Parquet 형식으로 Amazon S3에 전송하십시오.

Datadog Archives 목적지를 사용하여 로그를 Snowflake로 라우팅할 수도 있습니다.

전제 조건

Datadog Archives 목적지를 사용하려면 Datadog Log Archives를 구성할 수 있도록 Datadog의 AWS 통합을 설치해야 합니다.

Log Archives 구성

Datadog Log Archives가 이미 구성되어 있다면 파이프라인 목적지 설정하기로 건너뛰세요.

Create an Amazon S3 bucket

Navigate to Amazon S3 buckets.
Click Create bucket.
Enter a descriptive name for your bucket.
Do not make your bucket publicly readable.
Optionally, add tags.
Click Create bucket.

Observability Pipelines Worker가 S3 버킷에 쓸 수 있도록 허용하는 IAM 정책을 설정하세요

IAM console로 이동합니다.
왼쪽 사이드 메뉴에서 Policies를 선택합니다.
Create policy를 클릭합니다.
Specify permissions 섹션에서 JSON을 클릭합니다.

아래 정책을 복사하여 Policy editor에 붙여넣습니다. <MY_BUCKET_NAME_1> 및 <MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1>을 이전 섹션에서 생성한 S3 버킷 정보로 바꿉니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DatadogUploadAndRehydrateLogArchives",
            "Effect": "Allow",
            "Action": ["s3:PutObject", "s3:GetObject"],
            "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>/<MY_OPTIONAL_BUCKET_PATH_1>/*"
        },
        {
            "Sid": "DatadogRehydrateLogArchivesListBucket",
            "Effect": "Allow",
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::<MY_BUCKET_NAME_1>"
        }
    ]
}

Next를 클릭합니다.
정책을 설명하는 이름을 입력합니다.
필요시 태그를 추가합니다.
Create policy를 클릭합니다.

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

Create a service account

Create a service account to use the policy you created above.

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

Create an IAM user or role

Create an IAM user or role and attach the policy to it.

S3 버킷을 Datadog Log Archives에 연결

Datadog Log Forwarding으로 이동합니다.
New archive를 클릭합니다.
아카이브를 설명하는 이름을 입력합니다.
로그 파이프라인을 통과하는 모든 로그를 필터링하여 해당 로그가 이 아카이브로 들어가지 않도록 쿼리를 추가하세요. 예를 들어, 파이프라인을 통과하는 로그에 해당 태그가 추가되지 않았다고 가정하여 쿼리 observability_pipelines_read_only_archive를 추가하세요.
AWS S3를 선택합니다.
버킷이 있는 AWS 계정을 선택합니다.
S3 버킷 이름을 입력합니다.
필요시 경로를 입력합니다.
확인을 요구하는 문장에 체크 표시합니다.
필요시 태그를 추가하고 리하이드레이션을 위한 최대 스캔 크기를 정의하세요. 자세한 내용은 고급 설정을 참조하세요.
Save를 클릭합니다.

추가 정보는 Log Archives 설명서을 참조하세요.

파이프라인 목적지 설정하기

Archive Logs 파이프라인을 설정할 때 Datadog Archives 목적지를 구성하세요. 파이프라인은 UI에서 설정할 수 있으며, API 또는 Terraform을 사용하여 설정할 수 있습니다. 이 섹션에서 설명하는 단계는 UI에서 설정합니다.

파이프라인 UI에서 Datadog Archives 목적지를 선택한 후 다음 단계를 따르세요.

S3 버킷 이름을 입력합니다. Log Archives를 구성한 경우, 이전에 생성한 버킷의 이름을 입력하세요.
S3 버킷이 있는 AWS 리전을 입력합니다.
키 접두사를 입력합니다.
- 접두사는 객체를 파티셔닝하는 데 유용합니다. 예를 들어, 접두사를 객체 키로 사용하여 특정 디렉터리 아래에 객체를 저장하세요. 이 용도로 접두사를 사용하는 경우, 디렉터리 경로로 작동하도록 /로 끝나야 합니다. 후행 /는 자동으로 추가되지 않습니다.
- 로그의 특정 필드를 기반으로 로그를 다른 객체 키로 라우팅하려면 템플릿 구문을 참조하세요.
- 참고: Datadog은 접두사를 디렉터리 이름으로 시작하고 선행 슬래시(/) 없이 시작할 것을 권장합니다. 예를 들어, app-logs/ 또는 service-logs/.
Storage Class 드롭다운 메뉴에서 S3 버킷의 스토리지 클래스를 선택합니다. 로그를 아카이빙하고 리하이드레이션하려는 경우:
- 참고: 리하이드레이션은 다음 스토리지 클래스만 지원합니다.
  - Standard
  - Intelligent-Tiering. 단, 선택 사항인 비동기식 아카이브 액세스 계층이 모두 비활성화된 경우에만 지원됩니다.
  - Standard-IA
  - One Zone-IA
- 다른 스토리지 클래스의 아카이브에서 리하이드레이션하려면 먼저 해당 아카이브를 위의 지원되는 스토리지 클래스 중 하나로 이동해야 합니다.
- Amazon S3 목적지 설정에 따라 로그 아카이브를 구성하는 방법은 이 페이지의 예시 목적지 및 로그 아카이브 설정 섹션을 참조하세요.

선택적 설정

압축

Compression - Algorithm 드롭다운 메뉴에서 보관된 로그에 사용할 압축 알고리즘(gzip 또는 zstd)을 선택하십시오.
- 참고: 압축 알고리즘을 지정하지 않으면 압축 수준이 6인 gzip이 사용됩니다.
Compression - Level 필드에 압축 수준을 입력하십시오. Datadog은 gzip의 경우 6, zstd의 경우 3을 권장합니다.

서버 측 암호화

Server-Side Encryption 드롭다운 메뉴에서 S3 버킷의 암호화 유형(AWS KMS 또는 AES256)을 선택하십시오. AWS KMS을 선택한 경우 AWS KMS 키 ID를 입력하십시오.

AWS 인증

AWS 인증 옵션을 선택하세요. 이전에 생성한 사용자 또는 역할만 인증에 사용하는 경우 Assume role을 선택하지 마세요. 이전에 생성한 사용자 또는 역할이 AWS 리소스에 액세스하기 위해 다른 역할을 맡아야 하는 경우에만 Assume role을 선택하세요. 맡은 역할의 권한은 명시적으로 정의되어야 합니다.
Assume role을 선택하는 경우:

맡으려는 IAM 역할의 ARN을 입력합니다.
- 참고: 이전에 생성한 사용자 또는 역할은 Worker가 AWS로 인증할 수 있도록 이 역할을 맡을 권한이 있어야 합니다.
(필요시) 맡은 역할의 세션 이름과 외부 ID를 입력합니다.

버퍼링

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
To configure a buffer on your destination:
1. Select the buffer type you want to set (Memory or Disk).
2. Enter the buffer size and select the unit.
  1. Maximum memory buffer size is 128 GB.
  2. Maximum disk buffer size is 5 TB.
    - Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

예시 목적지 및 로그 아카이브 설정

Datadog Archives 목적지에 대해 다음 값을 입력하는 경우:

S3 버킷 이름: test-op-bucket
모든 객체 키에 적용할 접두사: op-logs
생성된 객체에 대한 스토리지 클래스: Standard

그러면 Log Archives를 위해 S3 버킷을 구성할 때 입력해야 하는 값은 다음과 같습니다.

S3 버킷: test-op-bucket
경로: op-logs
스토리지 클래스: Standard

시크릿 기본값

These are the defaults used for secret identifiers and environment variables.

구성할 시크릿 식별자가 없습니다.

There are no environment variables to configure.