Sources Fluentd et Fluent Bit

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().
Disponible pour:

Logs

Présentation

Utilisez la source Fluentd ou Fluent Bit d’Observability Pipelines pour recevoir des logs de votre agent Fluentd ou Fluent Bit.

Prérequis

To use Observability Pipelines’ Fluentd or Fluent Bit source, you need the following information available:

  1. The Observability Pipelines Worker listens on this bind address to receive logs from your applications. For example, 0.0.0.0:8088. Later on, you configure your applications to send logs to this address.
  2. The appropriate TLS certificates and the password you used to create your private key if your forwarders are globally configured to enable SSL.

Configuration

Pour la gestion des secrets : saisissez uniquement les identifiants de l'adresse Fluent et, le cas échéant, du mot de passe de la clé TLS. Ne saisissez pas les valeurs réelles.

Configurez cette source lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans le UI, en utilisant l’API ou avec Terraform. Les instructions de cette section concernent la configuration de la source dans l’UI.

Après avoir sélectionné la source Fluent dans l’UI du pipeline, saisissez l’identifiant de votre adresse Fluent. Si vous le laissez vide, le default est utilisé.

If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Paramètres optionnels

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.
  • (Optional) Toggle Verify certificate to require connecting clients to present a valid client certificate. This enforces mutual TLS (mTLS), where the Worker verifies the identity of each connecting client.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

    • Identifiant de l’adresse Fluent :
      • Référence l’adresse sur laquelle l’Observability Pipelines Worker écoute les messages de logs entrants.
      • L’identifiant par défaut est SOURCE_FLUENT_ADDRESS.
    • Identifiant de la phrase secrète TLS Fluent (lorsque TLS est activé) :
      • L’identifiant par défaut est SOURCE_FLUENT_KEY_PASS.
    • Fluent socket address and port:
      • The Observability Pipelines Worker listens on this address for incoming log messages.
      • The default environment variable is DD_OP_SOURCE_FLUENT_ADDRESS.
    • Fluent Bit TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_FLUENT_KEY_PASS.

    Envoyer des logs à l’Observability Pipelines Worker via Fluent

    Fluent Bit configuration

    To configure Fluent Bit to send logs to the Observability Pipelines Worker, use the following output configuration:

    [OUTPUT]
	Name          forward
	Match         *
	# Update these to point to your Observability Pipelines Worker
	Host          127.0.0.1
	Port          24224

    Fluentd configuration

    To configure Fluentd to send logs to the Observability Pipelines Worker, use the following output configuration:

    <match *>
	  @type forward
	  <server>
		# Update these to point to your Observability Pipelines Worker
		name  local
		host  127.0.0.1
		port 24224
	  </server>
	  compress gzip
	</match>

    Métriques de santé

    Pour les métriques de composant et les métriques de tampon de source émises par toutes les sources, consultez la documentation sur les métriques d’utilisation des pipelines. Pour filtrer ou regrouper par métriques de source Fluent, utilisez le tag component_type:fluent.