Présentation

Utilisez la destination BYOC (Bring Your Own Cloud) Logs d’Observability Pipelines pour envoyer des logs vers Datadog BYOC Logs.

Prérequis

Avant de configurer la destination, vous devez déployer un cluster BYOC Logs. Apprenez à l’installer dans la section d’installation de BYOC Logs.

Configuration

Configurez la destination BYOC Logs lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’interface utilisateur, en utilisant l’API, ou avec Terraform. Les étapes de cette section sont configurées dans l’interface utilisateur.

Paramètres optionnels

Activer TLS

Toggle the switch to Enable TLS.

• If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
• Enter the following certificate and key files:
  • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
  • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
  • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
  • Notes:
    • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
    • The file must be readable by the observability-pipelines-worker group and user.

• (Facultatif) Saisissez le nom du serveur pour la vérification du certificat TLS.

Mise en mémoire tampon

Après avoir sélectionné la destination BYOC Logs dans l’interface utilisateur du pipeline, vous pouvez configurer la mise en tampon.

Toggle the switch to enable Buffering Options. Enable a configurable buffer on your destination to ensure intermittent latency or an outage at the destination doesn’t create immediate backpressure, and allow events to continue to be ingested from your source. Disk buffers can also increase pipeline durability by writing data to disk, ensuring buffered data persists through a Worker restart. See Destination buffers for more information.

• If left unconfigured, your destination uses a memory buffer with a capacity of 500 events.
• To configure a buffer on your destination:
  1. Select the buffer type you want to set (Memory or Disk).
  2. Enter the buffer size and select the unit.
     1. Maximum memory buffer size is 128 GB.
     2. Maximum disk buffer size is 5 TB.
        • Note: For Worker versions 2.20.x and older, the maximum disk buffer size is 500 GB.
  3. In the Behavior on full buffer dropdown menu, select whether you want to block events or drop new events when the buffer is full.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

• Identifiant de l’URL de l’endpoint BYOC Logs :
  • Référence le endpoint d’ingestion vers lequel Observability Pipelines envoie les logs.
  • Dans votre gestionnaire de secrets :
    • Définissez l’URL du cluster, telle que http://byoc-logs.acme.internal:7280. Remarque : L’URL doit inclure le port.
    • Le Worker ajoute /api/v2/logs et /api/v1/validate à l’URL de l’endpoint ; ces endpoints doivent donc être autorisés si vous utilisez des règles de transfert ou de pare-feu.
  • L’identifiant par défaut est DESTINATION_CLOUDPREM_ENDPOINT_URL.
• Identifiant de la phrase secrète TLS de BYOC Logs (lorsque TLS est activé) :
  • L’identifiant par défaut est DESTINATION_CLOUDPREM_KEY_PASS.

• URL de l’endpoint BYOC Logs
  • Observability Pipelines envoie les logs vers le endpoint d’ingestion BYOC Logs. Définissez l’URL du cluster, telle que http://byoc-logs.acme.internal:7280. Remarque : L’URL doit inclure le port.
  • Le Worker ajoute /api/v2/logs et /api/v1/validate à l’URL de l’endpoint ; ces endpoints doivent donc être autorisés si vous utilisez des règles de transfert ou de pare-feu.
  • Stocké en tant que variable d’environnement : DD_OP_DESTINATION_CLOUDPREM_ENDPOINT_URL.
• Phrase secrète TLS de BYOC Logs (lorsque TLS est activé)
  • Stocké en tant que variable d’environnement : DD_OP_DESTINATION_CLOUDPREM_KEY_PASS.

Métriques de santé

Pour les métriques de composant et les métriques de tampon de destination émises par toutes les destinations, consultez la documentation Métriques d’utilisation des pipelines. Pour filtrer ou regrouper par métriques de destination Datadog Logs, utilisez le tag component_type:datadog_logs.

Comment fonctionne la destination

Regroupement d’événements

Un lot d’événements est vidé lorsque l’un de ces paramètres est atteint. Consultez Regroupement d’événements par destination pour plus d’informations.