Amazon S3 소스

이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().
이용 가능:

로그

개요

Observability Pipelines의 Amazon S3 소스를 사용하여 Amazon S3에서 로그를 수신합니다.

전제 조건

To use Observability Pipelines’ Amazon S3 source, you must configure a SQS queue to receive your S3 bucket notifications.

설정

시크릿 관리: Amazon S3 URL에 대한 식별자 및 TLS 키 암호(해당하는 경우)만 입력하세요. 실제 값은 입력하지 마세요.

파이프라인을 설정할 때 이 소스를 설정하세요. 파이프라인은 UI, API 또는 Terraform을 사용하여 설정할 수 있습니다. 이 섹션의 지침은 UI에서 소스를 설정하기 방법을 설명합니다.

파이프라인 UI에서 Amazon S3 소스를 선택한 후:

  1. Amazon S3 URL에 대한 식별자를 입력하세요. 비워두면 기본값이 사용됩니다.
  2. AWS 리전을 입력합니다.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

선택적 설정

AWS 인증

AWS authentication 옵션을 선택하세요. Assume role을 선택한 경우:

  1. 맡으려는 IAM 역할의 ARN을 입력합니다.
  2. 필요시 맡은 역할의 세션 이름과 외부 ID를 입력합니다.

TLS 활성화

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

시크릿 기본값

These are the defaults used for secret identifiers and environment variables.

    • Amazon S3 URL 식별자:
      • S3 버킷이 알림 이벤트를 보내는 SQS 대기열의 URL을 참조합니다.
      • 기본 식별자는 SOURCE_AWS_S3_SQS_URL입니다.
    • Amazon S3 TLS 암호 식별자(TLS가 활성화된 경우):
      • 기본 식별자는 SOURCE_AWS_S3_KEY_PASS입니다.
    • Amazon S3 SQS URL:
      • The URL of the SQS queue to which the S3 bucket sends the notification events.
      • The default environment variable is DD_OP_SOURCE_AWS_S3_SQS_URL
    • AWS_CONFIG_FILE path:
      • The path to the AWS configuration file local to this node.
      • The default environment variable is AWS_CONFIG_FILE.
    • AWS_PROFILE name:
      • The name of the profile to use within these files.
      • The default environment variable is AWS_PROFILE.
    • AWS S3 TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_AWS_S3_KEY_PASS.

    AWS 인증

    The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

    권한

    For Observability Pipelines to collect logs from Amazon S3, the following policy permissions are required:

    • s3:GetObject
    • sqs:ReceiveMessage
    • sqs:DeleteMessage

    상태 메트릭

    모든 소스에서 내보내는 구성 요소 메트릭 및 소스 버퍼 메트릭은 파이프라인 사용량 메트릭 설명서를 참조하세요. Amazon S3 소스 메트릭별로 필터링하거나 그룹화하려면 component_type:aws_s3 태그를 사용하세요.

    Amazon S3 메트릭

    • component_id 태그를 사용하여 개별 구성 요소별로 필터링하거나 그룹화하세요.
    • component_type 태그를 사용하여 소스 유형별로 필터링하거나 그룹화하세요.
    pipelines.sqs_message_received_messages_total
    설명: 수신된 SQS 메시지 수입니다.
    메트릭 유형: 개수
    pipelines.sqs_message_processing_succeeded_total
    설명: 성공적으로 처리된 SQS 메시지 수입니다.
    메트릭 유형: 개수
    pipelines.sqs_message_delete_succeeded_total
    설명: 성공적으로 삭제된 SQS 메시지 수입니다.
    메트릭 유형: 개수
    pipelines.sqs_message_defer_succeeded_total
    설명: 가시성 제한 시간 연기가 성공한 SQS 메시지 수입니다.
    메트릭 유형: 개수
    pipelines.sqs_s3_event_record_ignored_total
    설명: ObjectCreated 이벤트 종류가 아니어서 무시된 SQS 메시지의 S3 이벤트 레코드 수입니다.
    메트릭 유형: 개수
    pipelines.s3_object_processing_succeeded_duration_seconds
    설명: S3 객체를 성공적으로 처리하는 데 걸린 시간(초)입니다.
    메트릭 유형: 분포
    pipelines.s3_object_processing_failed_duration_seconds
    설명: 실패한 S3 객체를 처리하는 데 소요된 시간(초)입니다.
    메트릭 유형: 분포