Fuente de Amazon S3

Este producto no es compatible con el sitio Datadog seleccionado. ().
Disponible para:

Registros

Descripción general

Utilice la fuente de Amazon S3 de Observability Pipelines para recibir registros de Amazon S3.

Requisitos previos

To use Observability Pipelines’ Amazon S3 source, you must configure a SQS queue to receive your S3 bucket notifications.

Configuración

Para la gestión de secretos: solo ingrese los identificadores para la URL de Amazon S3 y, si corresponde, la contraseña de la clave TLS. No ingrese los valores reales.

Configure esta fuente cuando configure una canalización. Puede configurar una canalización en la interfaz de usuario, utilizando la API o con Terraform. Las instrucciones de esta sección son para configurar la fuente en la interfaz de usuario.

Después de seleccionar la fuente de Amazon S3 en la interfaz de usuario de la canalización:

  1. Ingrese el identificador para su URL de Amazon S3. Si lo deja en blanco, se utiliza el predeterminado.
  2. Ingrese la región de AWS.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Configuración opcional

Autenticación de AWS

Seleccione una opción de AWS authentication. Si selecciona Assume role:

  1. Ingrese el ARN del rol de IAM que desea asumir.
  2. Opcionalmente, ingrese el nombre de la sesión del rol asumido y el ID externo.

Habilitar TLS

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

Valores predeterminados de secretos

These are the defaults used for secret identifiers and environment variables.

    • Identificador de URL de Amazon S3:
      • Hace referencia a la URL de la cola SQS a la que el bucket de S3 envía los eventos de notificación.
      • El identificador predeterminado es SOURCE_AWS_S3_SQS_URL.
    • Identificador de frase de contraseña de TLS de Amazon S3 (cuando TLS está habilitado):
      • El identificador predeterminado es SOURCE_AWS_S3_KEY_PASS.
    • Amazon S3 SQS URL:
      • The URL of the SQS queue to which the S3 bucket sends the notification events.
      • The default environment variable is DD_OP_SOURCE_AWS_S3_SQS_URL
    • AWS_CONFIG_FILE path:
      • The path to the AWS configuration file local to this node.
      • The default environment variable is AWS_CONFIG_FILE.
    • AWS_PROFILE name:
      • The name of the profile to use within these files.
      • The default environment variable is AWS_PROFILE.
    • AWS S3 TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_AWS_S3_KEY_PASS.

    Autenticación de AWS

    The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

    Permisos

    For Observability Pipelines to collect logs from Amazon S3, the following policy permissions are required:

    • s3:GetObject
    • sqs:ReceiveMessage
    • sqs:DeleteMessage

    Métricas de estado

    Para métricas de componente y métricas de búfer de fuente emitidas por todas las fuentes, consulte la documentación de Pipelines Usage Metrics. Para filtrar o agrupar por métricas de fuente de Amazon S3, utilice la etiqueta component_type:aws_s3.

    Métricas de Amazon S3

    • Utilice la etiqueta component_id para filtrar o agrupar por componentes individuales.
    • Use la etiqueta component_type para filtrar o agrupar por el tipo de fuente.
    pipelines.sqs_message_received_messages_total
    Descripción: La cantidad de mensajes de SQS recibidos.
    Tipo de métrica: conteo
    pipelines.sqs_message_processing_succeeded_total
    Descripción: La cantidad de mensajes de SQS procesados correctamente.
    Tipo de métrica: conteo
    pipelines.sqs_message_delete_succeeded_total
    Descripción: La cantidad de eliminaciones correctas de mensajes de SQS.
    Tipo de métrica: conteo
    pipelines.sqs_message_defer_succeeded_total
    Descripción: La cantidad de mensajes de SQS para los cuales el aplazamiento del tiempo de espera de visibilidad fue exitoso.
    Tipo de métrica: count
    pipelines.sqs_s3_event_record_ignored_total
    Descripción: La cantidad de registros de eventos de S3 en un mensaje de SQS que se ignoraron porque no eran tipos de eventos ObjectCreated.
    Tipo de métrica: count
    pipelines.s3_object_processing_succeeded_duration_seconds
    Descripción: Tiempo, en segundos, necesario para procesar correctamente un objeto de S3.
    Tipo de métrica: distribución
    pipelines.s3_object_processing_failed_duration_seconds
    Descripción: Tiempo, en segundos, necesario para procesar un objeto de S3 que falló.
    Tipo de métrica: distribución