개요

Observability Pipelines의 OpenSearch 목적지를 사용하여 로그를 OpenSearch로 전송하세요.

설정

파이프라인을 설정할 때 OpenSearch 목적지를 구성하세요. 파이프라인은 UI에서 설정할 수 있으며, API 또는 Terraform을 사용하여 설정할 수 있습니다. 이 섹션에서 설명하는 단계는 UI에서 설정합니다.

파이프라인 UI에서 OpenSearch 목적지를 선택한 후 다음 단계를 따르세요.

1. OpenSearch 엔드포인트 URL의 식별자를 입력합니다. 비워두면 기본값이 사용됩니다.
2. OpenSearch 사용자 이름의 식별자를 입력합니다. 비워두면 기본값이 사용됩니다.
3. OpenSearch 비밀번호의 식별자를 입력합니다. 비워두면 기본값이 사용됩니다.
4. Mode 드롭다운 메뉴에서 Bulk 또는 Data streams를 선택합니다.
   • Bulk 모드
     • OpenSearch의 Bulk API를 사용하여 일괄 처리된 이벤트를 표준 인덱스로 직접 전송합니다.
     • 인덱스 명명 및 수명 주기 관리를 직접 제어하려는 경우 이 모드를 선택하세요. 데이터는 지정한 인덱스에 추가되며, 롤오버, 삭제 및 매핑 처리는 사용자가 담당합니다.
     • Bulk 모드 구성 방법:
       • 필요시 Index 필드에 OpenSearch 인덱스 이름을 입력하세요. 템플릿 구문을 사용하여 로그의 특정 필드를 기반으로 로그를 다른 인덱스로 동적으로 라우팅할 수 있습니다(예: logs-{{service}}).
   • Data streams 모드
     • Uses OpenSearch Data Streams for log storage. Data streams automatically manage backing indexes and rollovers, making them ideal for timeseries log data.
     • Choose this mode when you want OpenSearch to manage the index lifecycle for you. Data streams ensures smooth rollovers, Index Lifecycle Management (ILM) compatibility, and optimized handling of time-based data.
     • To configure Data streams 모드를 구성하려면, 필요시 다음 정보를 입력해 데이터 스트림 이름(기본값: logs-generic-default)을 정의하세요) by entering the following information:).
       • In the Type 필드에 수집되는 데이터 범주를 입력하세요(예: logs.).
       • In the Dataset 필드에 형식을 지정하거나 데이터 구조를 설명하는 데이터 소스를 입력하세요(예: apache.).
       • In the Namespace 필드에 데이터 스트림을 구성하기 위한 그룹화를 입력하세요(예: production.).
       • You can use template syntax for the Type, Dataset, Namespace 필드를 사용하여 로그의 특정 필드를 기반으로 데이터 스트림 이름을 동적으로 구성하세요.
       • In the UI, there is a preview of the data stream name you configured. With the above example inputs, the data stream name that the Worker writes to is logs-apache-production.

선택적 설정

OpenSearch 인덱스

OpenSearch 인덱스 이름을 입력하세요. 로그의 특정 필드를 기반으로 서로 다른 인덱스로 로그를 라우팅하려면 템플릿 구문을 참조하세요.

버퍼링

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

시크릿 기본값

These are the defaults used for secret identifiers and environment variables.

상태 메트릭

모든 목적지에서 내보내는 구성 요소 메트릭 및 목적지 버퍼 메트릭에 대해서는 Pipelines 사용량 메트릭 설명서를 참조하세요. Elasticsearch 목적지 메트릭을 필터링하거나 그룹화하려면 component_type:elasticsearch 태그를 사용하세요.

목적지의 작동 방식

이벤트 배치 처리

이벤트 배치는 다음 중 하나의 파라미터를 충족하면 플러시됩니다. 자세한 내용은 목적지 이벤트 배치 처리를 참조하세요.