Source Amazon S3

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().
Disponible pour:

Logs

Présentation

Utilisez la source Amazon S3 d’Observability Pipelines pour recevoir des logs depuis Amazon S3.

Prérequis

To use Observability Pipelines’ Amazon S3 source, you must configure a SQS queue to receive your S3 bucket notifications.

Configuration

Pour la gestion des secrets : saisissez uniquement les identifiants de l'URL Amazon S3 et, le cas échéant, de la phrase secrète de la clé TLS. Ne saisissez pas les valeurs réelles.

Configurez cette source lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans le UI, en utilisant l’API ou avec Terraform. Les instructions de cette section concernent la configuration de la source dans l’IU.

Après avoir sélectionné la source Amazon S3 dans l’interface utilisateur du pipeline :

  1. Saisissez l’identifiant de votre URL Amazon S3. Si vous le laissez vide, le default est utilisé.
  2. Saisissez la région AWS.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Paramètres optionnels

Authentification AWS

Sélectionnez une option AWS authentication . Si vous sélectionnez Assume role :

  1. Saisissez l’ARN du rôle IAM que vous souhaitez assumer.
  2. Facultativement, saisissez le nom de session du rôle assumé et l’ID externe.

Activer TLS

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

    • Identifiant de l’URL Amazon S3 :
      • Fait référence à l’URL de la file d’attente SQS vers laquelle le compartiment S3 envoie les événements de notification.
      • L’identifiant par défaut est SOURCE_AWS_S3_SQS_URL.
    • Identifiant de la phrase secrète TLS Amazon S3 (lorsque TLS est activé) :
      • L’identifiant par défaut est SOURCE_AWS_S3_KEY_PASS.
    • Amazon S3 SQS URL:
      • The URL of the SQS queue to which the S3 bucket sends the notification events.
      • The default environment variable is DD_OP_SOURCE_AWS_S3_SQS_URL
    • AWS_CONFIG_FILE path:
      • The path to the AWS configuration file local to this node.
      • The default environment variable is AWS_CONFIG_FILE.
    • AWS_PROFILE name:
      • The name of the profile to use within these files.
      • The default environment variable is AWS_PROFILE.
    • AWS S3 TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_AWS_S3_KEY_PASS.

    Authentification AWS

    The Observability Pipelines Worker uses the standard AWS credential provider chain for authentication. See AWS SDKs and Tools standardized credential providers for more information.

    Autorisations

    For Observability Pipelines to collect logs from Amazon S3, the following policy permissions are required:

    • s3:GetObject
    • sqs:ReceiveMessage
    • sqs:DeleteMessage

    Métriques de santé

    Pour les métriques de composant et les métriques de tampon de source émises par toutes les sources, consultez la documentation sur les Métriques d’utilisation des pipelines. Pour filtrer ou regrouper par métriques de source Amazon S3, utilisez le tag component_type:aws_s3.

    Métriques Amazon S3

    • Utilisez le tag component_id pour filtrer ou regrouper par composants individuels.
    • Utilisez le tag component_type pour filtrer ou regrouper par type de source.
    pipelines.sqs_message_received_messages_total
    Description: Le nombre de messages SQS reçus.
    Type de métrique: count
    pipelines.sqs_message_processing_succeeded_total
    Description: Le nombre de messages SQS traités avec succès.
    Type de métrique: count
    pipelines.sqs_message_delete_succeeded_total
    Description: Le nombre de suppressions réussies de messages SQS.
    Type de métrique: count
    pipelines.sqs_message_defer_succeeded_total
    Description: Le nombre de messages SQS pour lesquels le report du délai de visibilité a réussi.
    Type de métrique : count
    pipelines.sqs_s3_event_record_ignored_total
    Description : Le nombre d’enregistrements d’événements S3 dans un message SQS qui ont été ignorés car il ne s’agissait pas de types d’événements ObjectCreated.
    Type de métrique : count
    pipelines.s3_object_processing_succeeded_duration_seconds
    Description : Temps, en secondes, nécessaire pour traiter avec succès un objet S3.
    Type de métrique : distribution
    pipelines.s3_object_processing_failed_duration_seconds
    Description : Temps, en secondes, nécessaire pour traiter un objet S3 ayant échoué.
    Type de métrique : distribution