Nube Confluent

Versión de la integración1.0.0

Información general

La integración de Confluent Cloud no es compatible con el sitio Datadog .

Confluent Cloud es un servicio de transmisión de datos alojado en la nube y totalmente gestionado. Conecta Datadog con Confluent Cloud para visualizar y recibir alertas sobre métricas clave para tus recursos de Confluent Cloud.

El dashboard de Confluent Cloud listo para usar de Datadog te muestra métricas de clúster clave para monitorizar el estado y el rendimiento de tu entorno, incluida información como la tasa de cambio en las conexiones activas y tu relación entre el promedio de registros consumidos y producidos.

Puedes utilizar los monitores recomendados para notificar y alertar a tu equipo cuando el retraso del tema sea demasiado alto, o utilizar estas métricas para crear las tuyas propias.

Configuración

Instalación

Instala la integración con el cuadro de integración de Datadog y Confluent Cloud.

Configuración

  1. En Confluent Cloud, haz clic en + Add API Key para ingresar tu clave y secreto de API de Confluent Cloud.
    • Crea una clave y un secreto de API Cloud Resource Management.
    • Haz clic en Save. Datadog busca las cuentas asociadas a esas credenciales.
    • En la configuración de la integración con Datadog, añade la clave y el secreto de API a los campos de API Key and API Secret.
  2. Añade tu ID de clúster o ID de conector de Confluent Cloud. Datadog rastrea las métricas de Confluent Cloud y las carga en cuestión de minutos.
  3. Para recopilar tus etiquetas (tags) definidas en Confluent Cloud (opcional):
    • Crea una clave y un secreto de API de Registro de esquemas. Obtén más información sobre la Gestión de esquemas en Confluent Cloud.
    • Haz clic en Save. Datadog recopila las etiquetas definidas en Confluent Cloud.
    • En la configuración de la integración con Datadog, añade la clave y el secreto de API a los campos de Schema Registry API Key and Secret.
  4. Si utilizas Cloud Cost Management y habilitas la recopilación de datos de costes:

Para obtener más información sobre los recursos de configuración, como Clústeres y conectores, consulta la documentación de la integración de Confluent Cloud.

Clave y secreto de API

Para crear tu clave y secreto de API de Confluent Cloud, consulta Añadir el rol MetricsViewer a una nueva cuenta de servicio en la interfaz de usuario.

ID de clúster

Para encontrar tu ID de clúster de Confluent Cloud:

  1. En Confluent Cloud, navega hasta Environment Overview y selecciona el clúster que desees monitorizar.
  2. En la navegación de la izquierda, haz clic en Cluster overview > Cluster settings.
  3. En Identification, copia el ID de clúster que empieza con lkc.

ID de conector

Para encontrar tu ID de conector de Confluent Cloud:

  1. En Confluent Cloud, navega hasta Environment Overview y selecciona el clúster que desees monitorizar.
  2. En la navegación de la izquierda, haz clic en Data integration > Connectors.
  3. En Connectors, copia el ID de conector que empieza con lcc.

Dashboards

Después de configurar la integración, consulta el dashboard de Confluent Cloud listo para usar para obtener información general de las métricas de conector y de clúster de Kafka.

Por defecto, se muestran todas las métricas recopiladas en Confluent Cloud.

Datos recopilados

Métricas

confluent_cloud.kafka.received_bytes
(count)
El recuento delta de bytes recibidos de la red. Cada muestra es el número de bytes recibidos desde la muestra de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.kafka.sent_bytes
(count)
El recuento delta de bytes enviados a través de la red. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.kafka.received_records
(count)
El recuento delta de registros recibidos. Cada muestra es el número de registros recibidos desde la muestra de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como registro
confluent_cloud.kafka.sent_records
(count)
El recuento delta de registros enviados. Cada muestra es el número de registros enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como registro
confluent_cloud.kafka.retained_bytes
(gauge)
El recuento actual de bytes retenidos por el clúster. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.kafka.active_connection_count
(gauge)
El recuento de conexiones autenticadas activas.
Se muestra como conexión
confluent_cloud.kafka.connection_info
(gauge)
Metadatos de conexión de cliente.
Se muestra como conexión
confluent_cloud.kafka.request_count
(count)
Recuento delta de solicitudes recibidas a través de la red. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como solicitud
confluent_cloud.kafka.partition_count
(gauge)
El número de particiones.
confluent_cloud.kafka.successful_authentication_count
(count)
Recuento delta de autenticaciones correctas. Cada muestra es el número de autenticaciones con éxito desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como intento
confluent_cloud.kafka.cluster_link_destination_response_bytes
(count)
El recuento delta de bytes de respuesta de enlace de clúster de todos los tipos de solicitud. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.kafka.cluster_link_source_response_bytes
(count)
El recuento delta de bytes de respuesta fuente del enlace de clúster de todos los tipos de solicitud. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.kafka.cluster_active_link_count
(gauge)
Recuento actual de enlaces de clúster activos. El recuento se muestrea cada 60 segundos. La agregación de tiempo implícita para esta métrica es MAX.
confluent_cloud.kafka.cluster_load_percent
(gauge)
Una medida de la utilización del clúster. El valor está comprendido entre 0,0 y 1,0.
Se muestra como porcentaje
confluent_cloud.kafka.cluster_load_percent_max
(gauge)
Una medida de la utilización máxima del broker en todo el clúster. El valor está comprendido entre 0,0 y 1,0.
Se muestra como porcentaje
confluent_cloud.kafka.cluster_load_percent_avg
(gauge)
Medida de la utilización media en todo el clúster. El valor está comprendido entre 0,0 y 1,0.
Se muestra como porcentaje
confluent_cloud.kafka.consumer_lag_offsets
(gauge)
El desfase entre el desplazamiento comprometido de un miembro del grupo y la marca de agua alta de la partición. Etiquetado con consumer_group_id y tema.
confluent_cloud.kafka.cluster_link_count
(gauge)
El recuento actual de enlaces de clúster. El recuento se muestrea cada 60 segundos. La agregación de tiempo implícita para esta métrica es MAX.
confluent_cloud.kafka.cluster_link_task_count
(gauge)
El recuento actual de tareas de enlaces de clúster. El recuento se muestrea cada 60 segundos. La agregación de tiempo implícita para esta métrica es MAX.
confluent_cloud.kafka.cluster_link_mirror_transition_in_error
(gauge)
El recuento de errores de transición de estado del tema espejo de enlace de clúster para un enlace. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.cluster_link_mirror_topic_bytes
(count)
El recuento delta de bytes del tema de réplica de enlace de clúster. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.cluster_link_mirror_topic_count
(gauge)
El recuento de temas de réplica de enlace de clúster para un enlace. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.cluster_link_mirror_topic_offset_lag
(gauge)
El desfase máximo del tema de espejo del enlace del clúster en todas las particiones. El desfase se muestrea cada 60 segundos.
confluent_cloud.kafka.request_bytes
(gauge)
El recuento delta del total de bytes de solicitud de los tipos de solicitud especificados enviados a través de la red. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.response_bytes
(gauge)
El recuento delta del total de bytes de respuesta de los tipos de respuesta especificados enviados a través de la red. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.rest_produce_request_bytes
(count)
El recuento delta del total de bytes de solicitud de llamadas Kafka REST produce enviadas a través de la red solicitadas por Kafka REST.
confluent_cloud.kafka.dedicated_cku_count
(count)
Recuento de CKU de un clúster dedicado
confluent_cloud.kafka.producer_latency_avg_milliseconds
(gauge)
La latencia media de la solicitud del cliente productor.
Se muestra como milisegundo
confluent_cloud.connect.sent_records
(count)
El recuento delta del número total de registros enviados desde las transformaciones y escritos en Kafka para el conector fuente. Cada muestra es el número de registros enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como registro
confluent_cloud.connect.received_records
(count)
El recuento delta del número total de registros recibidos por el conector del sink. Cada muestra es el número de registros recibidos desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como registro
confluent_cloud.connect.sent_bytes
(count)
El recuento delta del total de bytes enviados desde las transformaciones y escritos en Kafka para el conector fuente. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.connect.received_bytes
(count)
El recuento delta del total de bytes recibidos por el conector del sink. Cada muestra es el número de bytes recibidos desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como byte
confluent_cloud.connect.dead_letter_queue_records
(count)
El recuento delta de registros de cola de mensajes no entregados escritos en Kafka para el conector de sink. El recuento se muestrea cada 60 segundos.
Se muestra como registro
confluent_cloud.connect.connector_status
(count)
Esta métrica monitoriza el estado de un conector dentro del sistema. Su valor siempre es 1, lo que significa que el conector está presente. El estado operativo actual del conector se identifica a través de la etiqueta de estado.
Se muestra como registro
confluent_cloud.connect.sql_server_cdc_source_connector_snapshot_running
(gauge)
Representa si el snapshot se está ejecutando. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.sql_server_cdc_source_connector_snapshot_completed
(gauge)
Representa si el snapshot se ha completado. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.sql_server_cdc_source_connector_schema_history_status
(gauge)
Representa el estado del historial de esquemas del conector. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.mysql_cdc_source_connector_snapshot_running
(gauge)
Representa si el snapshot se está ejecutando. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.mysql_cdc_source_connector_snapshot_completed
(gauge)
Representa si el snapshot se ha completado. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.mysql_cdc_source_connector_schema_history_status
(gauge)
Representa el estado del historial de esquemas del conector. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.postgres_cdc_source_connector_snapshot_running
(gauge)
Representa si el snapshot se está ejecutando. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.postgres_cdc_source_connector_snapshot_completed
(gauge)
Representa si el snapshot se ha completado. Los valores incorporarán cualquier diferencia entre los relojes de las máquinas en las que se ejecutan el servidor de base de datos y el conector.
confluent_cloud.connect.connector_task_status
(gauge)
Controla el estado de la tarea de un conector dentro del sistema. Su valor siempre es 1, lo que significa que la tarea del conector está presente.
confluent_cloud.connect.connector_task_batch_size_avg
(gauge)
Monitoriza el tamaño medio de los lotes (medido por el recuento de registros) por minuto. Para un conector fuente indica el tamaño medio del lote enviado a Kafka.
Se muestra como porcentaje
confluent_cloud.connect.connector_task_batch_size_max
(gauge)
Monitoriza el tamaño máximo del lote (medido por el recuento de registros) por minuto. Para un conector fuente, indica el tamaño máximo de lote enviado a Kafka.
Se muestra como porcentaje
confluent_cloud.ksql.streaming_unit_count
(gauge)
Recuento de unidades de streaming de Confluent (CSUs) para esta instancia KSQL. El recuento se muestrea cada 60 segundos. La agregación de tiempo implícita para esta métrica es MAX.
Se muestra como unidad
confluent_cloud.ksql.query_saturation
(gauge)
La saturación máxima para una consulta ksqlDB dada en todos los nodos. Devuelve un valor entre 0 y 1. Un valor cercano a 1 indica que el procesamiento de consultas ksqlDB está saturado en los recursos disponibles.
confluent_cloud.ksql.task_stored_bytes
(gauge)
El tamaño de los almacenes de estado de una tarea determinada en bytes.
Se muestra como byte
confluent_cloud.ksql.storage_utilization
(gauge)
La utilización total de almacenamiento para una aplicación ksqlDB dada.
confluent_cloud.schema_registry.schema_count
(gauge)
Número de esquemas registrados.
confluent_cloud.schema_registry.request_count
(count)
El recuento delta de solicitudes recibidas por el servidor de registro de esquemas. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
confluent_cloud.kafka.deprecated_request_count
(count)
El recuento delta de solicitudes obsoletas recibidas a través de la red. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
Se muestra como solicitud
confluent_cloud.schema_registry.schema_operations_count
(count)
El recuento delta de operaciones relacionadas con el esquema. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se muestrea cada 60 segundos.
confluent_cloud.flink.num_records_in
(count)
Número total de registros que han recibido todas las sentencias SQL de Flink que aprovechan un grupo de computación de Flink.
confluent_cloud.flink.num_records_out
(count)
Número total de registros que han emitido todas las sentencias SQL de Flink que aprovechan un grupo de computación de Flink.
confluent_cloud.flink.pending_records
(gauge)
Demora total de todas las sentencias SQL de Flink que aprovechan un grupo de computación de Flink.
confluent_cloud.flink.compute_pool_utilization.current_cfus
(gauge)
El número absoluto de UFC en un momento dado.
confluent_cloud.flink.compute_pool_utilization.cfu_minutes_consumed
(count)
El número de CFUs consumidas desde la última medición.
confluent_cloud.flink.compute_pool_utilization.cfu_limit
(gauge)
El número máximo posible de CFUs para el grupo.
confluent_cloud.flink.current_input_watermark_ms
(gauge)
La última marca de agua que ha recibido esta sentencia (en milisegundos) para la tabla dada.
confluent_cloud.flink.current_output_watermark_ms
(gauge)
La última marca de agua que esta sentencia ha producido (en milisegundos) en la tabla dada.
confluent_cloud.custom.kafka.consumer_lag_offsets
(gauge)
El desfase entre el desplazamiento comprometido de un miembro del grupo y la marca de agua alta de la partición. Etiquetado con consumer_group_id, tema, partición, consumer_group_id y client_id.

Eventos

La integración de Confluent Cloud no incluye eventos.

Checks de servicio

La integración de Confluent Cloud no incluye checks de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.

Referencias adicionales