Amazon S3 ソース

This product is not supported for your selected Datadog site. ().
利用可能な対象:

ログ

概要

Observability Pipelines の Amazon S3 ソースを使用して、Amazon S3 からログを受信します。

前提条件

To use Observability Pipelines’ Amazon S3 source, you must configure a SQS queue to receive your S3 bucket notifications.

セットアップ

シークレット管理の場合: Amazon S3 URL の識別子と、該当する場合は TLS キーパスの識別子のみを入力してください。実際の値を入力しないでください
。

パイプラインをセットアップする際に、このソースを設定します。パイプラインは、UI、API、または Terraform を使用してセットアップできます。このセクションの手順は、UI でソースをセットアップするためのものです。

パイプライン UI で Amazon S3 ソースを選択した後、

  1. Amazon S3 URL の識別子を入力します。空白のままにすると、デフォルトが使用されます。
  2. AWS リージョンを入力します。
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

オプション設定

AWS 認証

AWS authentication オプションを選択します。Assume role を選択した場合、

  1. 引き受ける IAM ロールの ARN を入力します。
  2. 必要に応じて、引き受けロールのセッション名と外部 ID を入力します。

TLS を有効にする

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

シークレットのデフォルト値

These are the defaults used for secret identifiers and environment variables.

    • Amazon S3 URL 識別子:
      • S3 バケットが通知イベントを送信する SQS キューの URL を参照します。
      • デフォルトの識別子は SOURCE_AWS_S3_SQS_URL です。
    • Amazon S3 TLS パスフレーズ識別子 (TLS が有効な場合):
      • デフォルトの識別子は SOURCE_AWS_S3_KEY_PASS です。
    • Amazon S3 SQS URL:
      • The URL of the SQS queue to which the S3 bucket sends the notification events.
      • The default environment variable is DD_OP_SOURCE_AWS_S3_SQS_URL
    • AWS_CONFIG_FILE path:
      • The path to the AWS configuration file local to this node.
      • The default environment variable is AWS_CONFIG_FILE.
    • AWS_PROFILE name:
      • The name of the profile to use within these files.
      • The default environment variable is AWS_PROFILE.
    • AWS S3 TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_AWS_S3_KEY_PASS.

    AWS 認証

    The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

    権限

    For Observability Pipelines to collect logs from Amazon S3, the following policy permissions are required:

    • s3:GetObject
    • sqs:ReceiveMessage
    • sqs:DeleteMessage

    Health メトリクス

    すべてのソースから出力されるコンポーネントメトリクスおよびソースバッファメトリクスについては、Pipelines 使用状況メトリクスのドキュメントを参照してください。Amazon S3 ソース メトリクスでフィルタリングまたはグループ化するには、タグ component_type:aws_s3 を使用します。

    Amazon S3 メトリクス

    • component_id タグを使用して、個々のコンポーネントごとにフィルタリングまたはグループ化します。
    • ソース タイプでフィルタリングまたはグループ化するには、component_type タグを使用します。
    pipelines.sqs_message_received_messages_total
    説明: 受信した SQS メッセージの数。
    メトリクスタイプ: カウント
    pipelines.sqs_message_processing_succeeded_total
    説明: 正常に処理された SQS メッセージの数。
    メトリクスタイプ: カウント
    pipelines.sqs_message_delete_succeeded_total
    説明: SQS メッセージの削除に成功した数。
    メトリクスタイプ: カウント
    pipelines.sqs_message_defer_succeeded_total
    説明: 可視性タイムアウトの延期に成功した SQS メッセージの数。
    メトリクスタイプ: カウント
    pipelines.sqs_s3_event_record_ignored_total
    説明: ObjectCreated イベントの種類ではないため無視された、SQS メッセージ内の S3 イベントレコードの数。
    メトリクスタイプ: カウント
    pipelines.s3_object_processing_succeeded_duration_seconds
    説明: S3 オブジェクトの処理に成功するまでにかかった時間 (秒)。
    メトリクスタイプ: 分布
    pipelines.s3_object_processing_failed_duration_seconds
    説明: 処理に失敗した S3 オブジェクトの処理にかかった時間 (秒)。
    メトリクスタイプ: 分布