Source Kafka

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().
Disponible pour:

Logs

Présentation

Utilisez la source Kafka d’Observability Pipelines pour recevoir des logs de vos sujets Kafka. La source Kafka utilise librdkafka.

Vous pouvez également envoyer des logs Azure Event Hub vers Observability Pipelines en utilisant la source Kafka.

Prérequis

To use Observability Pipelines’ Kafka source, you need the following information available:

  • The hosts and ports of the Kafka bootstrap servers, which clients should use to connect to the Kafka cluster and discover all the other hosts in the cluster.
  • The appropriate TLS certificates and the password you used to create your private key, if your forwarders are globally configured to enable SSL.

Configuration

Pour la gestion des secrets : saisissez uniquement les identifiants des serveurs Kafka, du nom d'utilisateur, du mot de passe et, le cas échéant, du mot de passe de la clé TLS. Ne saisissez pas les valeurs réelles.

Configurez cette source lorsque vous configurez un pipeline. Vous pouvez configurer un pipeline dans l’UI, en utilisant l’API ou avec Terraform. Les instructions de cette section concernent la configuration de la source dans l’UI.

Après avoir sélectionné la source Kafka dans l’interface utilisateur du pipeline :

  1. Saisissez l’identifiant de vos serveurs Kafka. Si vous le laissez vide, le default est utilisé.
  2. Saisissez l’identifiant de votre nom d’utilisateur Kafka. Si vous le laissez vide, le default est utilisé.
  3. Saisissez l’identifiant de votre mot de passe Kafka. Si vous le laissez vide, le default est utilisé.
  4. Saisissez l’ID de groupe.
  5. Saisissez le nom du sujet. S’il y en a plus d’un, cliquez sur Add Field pour ajouter des sujets supplémentaires.
If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

Paramètres optionnels

Activer l’authentification SASL

  1. Activez le commutateur pour activer SASL Authentication
  2. Sélectionnez le mécanisme (PLAIN, SCHRAM-SHA-256 ou SCHRAM-SHA-512) dans le menu déroulant.

Activer TLS

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

Ajouter des options librdkafka supplémentaires

  1. Cliquez sur Advanced puis sur Add Option.
  2. Sélectionnez une option dans le menu déroulant.
  3. Saisissez une valeur pour cette option.
  4. Vérifiez vos valeurs par rapport à la documentation librdkafka pour vous assurer qu’elles sont du type correct et qu’elles se situent dans la plage définie.
  5. Cliquez sur Add Option pour ajouter une autre option librdkafka.

Valeurs par défaut des secrets

These are the defaults used for secret identifiers and environment variables.

    • Identifiant des serveurs bootstrap Kafka :
      • Référence le serveur bootstrap que le client utilise pour se connecter au cluster Kafka et découvrir tous les autres hosts du cluster.
      • Dans votre gestionnaire de secrets, le host et le port doivent être saisis au format host:port, tel que 10.14.22.123:9092. S’il y a plus d’un serveur, utilisez des virgules pour les séparer.
      • L’identifiant par défaut est SOURCE_KAFKA_BOOTSTRAP_SERVERS.
    • Identifiant du nom d’utilisateur SASL Kafka :
      • L’identifiant par défaut est SOURCE_KAFKA_SASL_USERNAME.
    • Identifiant du mot de passe SASL Kafka :
      • L’identifiant par défaut est SOURCE_KAFKA_SASL_PASSWORD.
    • Identifiant de la phrase secrète TLS Kafka (lorsque TLS est activé) :
      • L’identifiant par défaut est SOURCE_KAFKA_KEY_PASS.
    • The host and port of the Kafka bootstrap servers.
      • The bootstrap server that the client uses to connect to the Kafka cluster and discover all the other hosts in the cluster. The host and port must be entered in the format of host:port, such as 10.14.22.123:9092. If there is more than one server, use commas to separate them.
      • The default environment variable is DD_OP_SOURCE_KAFKA_BOOTSTRAP_SERVERS.
    • SASL (when enabled):
      • Kafka SASL username
        • The default environment variable is DD_OP_SOURCE_KAFKA_SASL_USERNAME.
      • Kafka SASL password
        • The default environment variable is DD_OP_SOURCE_KAFKA_SASL_PASSWORD.
    • Kafka TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_KAFKA_KEY_PASS.

    Options librdkafka

    Voici les options librdkafka disponibles :

    • auto.offset.reset
    • auto.commit.interval.ms
    • client.id
    • coordinator.query.interval.ms
    • enable.auto.commit
    • enable.auto.offset.store
    • fetch.max.bytes
    • fetch.message.max.bytes
    • fetch.min.bytes
    • fetch.wait.max.ms
    • group.instance.id
    • heartbeat.interval.ms
    • queued.min.messages
    • session.timeout.ms
    • socket.timeout.ms

    Consultez la documentation de librdkafka pour plus d’informations et pour vous assurer que vos valeurs sont du type correct et dans la plage autorisée.

    Métriques de santé

    Pour les métriques de composant et les métriques de tampon source émises par toutes les sources, consultez la documentation sur les métriques d’utilisation des pipelines.

    Métriques Kafka

    • Utilisez le tag component_id pour filtrer ou regrouper par composants individuels.
    • Le tag component_type est kafka pour ces métriques.
    pipelines.kafka_consumer_lag
    Description: Retard du consommateur Kafka par sujet et par partition. Des valeurs élevées indiquent que la source ne parvient pas à suivre le débit des messages entrants.
    Type de métrique: jauge
    pipelines.kafka_consumed_messages_total
    Description: Le nombre de messages que le Worker a consommés depuis les courtiers Kafka.
    Type de métrique: count
    pipelines.kafka_consumed_messages_bytes_total
    Description: Le nombre d’octets de messages que le Worker a consommés depuis les courtiers Kafka.
    Type de métrique: count
    pipelines.kafka_requests_total
    Description: Le nombre de requêtes que le Worker a envoyées aux courtiers Kafka.
    Type de métrique : count
    pipelines.kafka_requests_bytes_total
    Description : Le nombre d’octets que le Worker a envoyés aux courtiers Kafka.
    Type de métrique : count
    pipelines.kafka_responses_total
    Description : Le nombre de réponses que le Worker a reçues des courtiers Kafka après y avoir écrit.
    Type de métrique : count
    pipelines.kafka_responses_bytes_total
    Description : Le nombre d’octets que le Worker a reçus des courtiers Kafka après y avoir écrit.
    Type de métrique : count