Fuente Kafka

Este producto no es compatible con el sitio Datadog seleccionado. ().
Disponible para:

Logs

Utilice Observability Pipelines’ Kafka source (fuente) para recibir registros de sus temas Kafka. Selecciona y configura este source (fuente) cuando configures un pipeline. Kafka source (fuente) utiliza librdkafka.

También puede enviar registros de Azure Event Hub a Observability Pipelines utilizando Kafka source (fuente).

Requisitos previos

To use Observability Pipelines’ Kafka source, you need the following information available:

  • The hosts and ports of the Kafka bootstrap servers, which clients should use to connect to the Kafka cluster and discover all the other hosts in the cluster.
  • The appropriate TLS certificates and the password you used to create your private key, if your forwarders are globally configured to enable SSL.

Configurar la fuente en la interfaz de usuario del pipeline

Selecciona y configura esta fuente cuando configures un pipeline. La siguiente información corresponde a la configuración de la fuente en la interfaz de usuario del pipeline.

Introduzca únicamente los identificadores de los servidores Kafka, el nombre de usuario, la contraseña y, si procede, el pase de clave TLS. No introduzca los valores reales.
  1. Introduzca el identificador de sus servidores Kafka. Si lo deja en blanco, se utilizará el predeterminado.
  2. Introduzca el identificador de su nombre de usuario de Kafka. Si lo deja en blanco, se utilizará el por defecto.
  3. Introduzca el identificador de su contraseña de Kafka. Si lo deja en blanco, se utilizará la por defecto.
  4. Introduzca el ID del grupo.
  5. Introduzca el nombre del tema. Si hay más de uno, haga clic en Añadir campo para añadir temas adicionales.

Ajustes opcionales

Activar autenticación SASL

  1. Active el interruptor para activar la Autenticación SASL.
  2. Seleccione el mecanismo (PLAIN, SCHRAM-SHA-256 o SCHRAM-SHA-512) en el menú desplegable.

Activar TLS

Cambie el interruptor a Habilitar TLS. Si activa TLS, se requieren los siguientes archivos de certificados y claves.
Nota: Todas las rutas de archivos son relativas al directorio de datos de configuración, que es /var/lib/observability-pipelines-worker/config/ por defecto. Consulte Configuraciones avanzadas del trabajador para obtener más información. El archivo debe ser propiedad del usuario observability-pipelines-worker group y observability-pipelines-worker, o al menos legible por el grupo o usuario.

  • Introduzca el identificador de su pase de clave Kafka. Si lo deja en blanco, se utilizará por defecto.
  • Server Certificate Path: La ruta al archivo del certificado que ha sido firmado por el archivo raíz de su Autoridad de Certificación (CA) en DER o PEM (X.509).
  • CA Certificate Path: La ruta al archivo de certificado que es el archivo raíz de su Autoridad de Certificación (CA) en DER o PEM (X.509).
  • Private Key Path: la ruta al archivo de clave privada .key que pertenece a la ruta de tu certificado de servidor en formato DER o PEM (PKCS#8).

Añadir opciones librdkafka adicionales

  1. Haga clic en Avanzado y luego en Añadir opción.
  2. Seleccione una opción en el menú desplegable.
  3. Introduzca un valor para esa opción.
  4. Comprueba tus valores en la documentación de librdkafka para asegurarte de que tienen el tipo correcto y están dentro del rango establecido.
  5. Haga clic en Añadir opción para añadir otra opción librdkafka.

Establecer secretos

These are the defaults used for secret identifiers and environment variables.

Note: If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

    • Identificador de los servidores de arranque de Kafka:
      • Hace referencia al servidor de arranque que el cliente utiliza para conectarse al clúster Kafka y descubrir todos los demás hosts del clúster.
      • En tu gestor de secretos, el host y el puerto deben introducirse en el formato host:port, como 10.14.22.123:9092. Si hay más de un servidor, utiliza comas para separarlos.
      • El identificador por defecto es SOURCE_KAFKA_BOOTSTRAP_SERVERS.
    • Identificador del nombre de usuario SASL de Kafka:
      • El identificador por defecto es SOURCE_KAFKA_SASL_USERNAME.
    • Identificador de contraseña SASL de Kafka:
      • El identificador por defecto es SOURCE_KAFKA_SASL_PASSWORD.
    • Identificador de frase de contraseña TLS de Kafka (cuando TLS está activado):
      • El identificador por defecto es SOURCE_KAFKA_KEY_PASS.
    • The host and port of the Kafka bootstrap servers.
      • The bootstrap server that the client uses to connect to the Kafka cluster and discover all the other hosts in the cluster. The host and port must be entered in the format of host:port, such as 10.14.22.123:9092. If there is more than one server, use commas to separate them.
      • The default environment variable is DD_OP_SOURCE_KAFKA_BOOTSTRAP_SERVERS.
    • SASL (when enabled):
      • Kafka SASL username
        • The default environment variable is DD_OP_SOURCE_KAFKA_SASL_USERNAME.
      • Kafka SASL password
        • The default environment variable is DD_OP_SOURCE_KAFKA_SASL_PASSWORD.
    • Kafka TLS passphrase (when enabled):
      • The default environment variable is DD_OP_SOURCE_KAFKA_KEY_PASS.

    opciones de librdkafka

    Estas son las opciones disponibles de librdkafka:

    • auto.offset.reset
    • auto.commit.interval.ms
    • id.cliente
    • intervalo.ms.de.consulta.del.coordinador
    • habilitar.auto.commit
    • habilitar.auto.offset.store
    • fetch.max.bytes
    • fetch.message.max.bytes
    • fetch.min.bytes
    • fetch.wait.max.ms
    • id.instancia.grupo
    • intervalo.ms.latido
    • cola.min.mensajes
    • session.timeout.ms
    • socket.timeout.ms

    Consulte la documentación de librdkafka para obtener más información y asegurarse de que sus valores tienen el tipo correcto y están dentro del rango.