Amazon Kinesis

Información general

Amazon Kinesis es un servicio totalmente gestionado, basado en la nube utilizado para procesar grandes flujos de datos distribuidos en tiempo real.

Habilita esta integración para ver en Datadog todas tus métricas Kinesis y recopilar etiquetas (tags) personalizadas de Kinesis.

Configuración

Instalación

Si aún no lo has hecho, configura primero la integración de Amazon Web Services. No es necesario realizar ningún otro paso de instalación.

Recopilación de métricas

  1. En la página de la integración de AWS, asegúrate de que Kinesis está habilitado en la pestaña Metric Collection.

  2. Añade estos permisos a tu política de Datadog IAM para recopilar métricas de Amazon Kinesis:

    • kinesis:ListStreams: Enumera los flujos (flows) disponibles.
    • kinesis:DescribeStream: Añade etiquetas y nuevas métricas para flujos Kinesis.
    • kinesis:ListTagsForStream: Añade etiquetas personalizadas.

    Para más información, consulta las políticas de Kinesis en el sitio web de AWS.

  3. Instala la integración de Datadog y Amazon Kinesis.

Recopilación de logs

Activar logging

Datadog es uno de los destinos predeterminados para los flujos de entrega de Amazon Data Firehose. AWS administra completamente Amazon Data Firehose, por lo que no es necesario mantener ninguna infraestructura adicional ni configuraciones de reenvío para los logs de streaming.

Puedes configurar un flujo de entrega de Amazon Data Firehose en la consola de AWS Firehose o puedes configurar automáticamente el destino utilizando una plantilla de CloudFormation:

Sin embargo, si generas logs en un bucket de S3, utiliza la función AWS Lambda y asegúrate de que amazon_kinesis esté configurado como Prefijo de destino.

  1. Si aún no lo has hecho, configura la función de Lambda del Datadog Forwarder.

  2. Una vez instalada la función de Lambda, añade manualmente un activador en el bucket de S3 o en el grupo de logs de CloudWatch que contiene tus logs de Amazon Kinesis en la consola de AWS.

Datos recopilados

Métricas

aws.kinesis.get_records_bytes
(gauge)
Número medio de bytes por operación GetRecords
Se muestra como byte
aws.kinesis.get_records_bytes.maximum
(gauge)
Número máximo de bytes por operación GetRecords
Se muestra como byte
aws.kinesis.get_records_bytes.minimum
(gauge)
Número mínimo de bytes por operación GetRecords
Se muestra como byte
aws.kinesis.get_records_bytes.sum
(count)
Número total de bytes devueltos en todas las operaciones GetRecords
Se muestra como byte
aws.kinesis.get_records_iterator_age
(gauge)
Diferencia media entre la hora actual y el momento en que se escribió en el flujo el último registro de una llamada a GetRecords.
Se muestra como segundo
aws.kinesis.get_records_iterator_age.maximum
(gauge)
Diferencia máxima entre la hora actual y el momento en que se escribió en el flujo el último registro de una llamada a GetRecords.
Se muestra como segundo
aws.kinesis.get_records_iterator_age_milliseconds
(gauge)
Diferencia entre la hora actual y el momento en que se escribió en el flujo el último registro de una llamada a GetRecords.
Se muestra como milisegundo
aws.kinesis.get_records_iterator_age_milliseconds.maximum
(gauge)
Diferencia máxima entre la hora actual y el momento en que se escribió en el flujo el último registro de una llamada a GetRecords.
Se muestra como milisegundo
aws.kinesis.get_records_latency
(gauge)
Tiempo medio empleado en cada operación GetRecords.
Se muestra en milisegundos
aws.kinesis.get_records_latency.maximum
(gauge)
Tiempo máximo que tarda cada operación GetRecords.
Se muestra en milisegundos
aws.kinesis.get_records_records
(gauge)
Número medio de registros por operación GetRecords
Se muestra como registro
aws.kinesis.get_records_records.maximum
(gauge)
Número máximo de registros por operación GetRecords
Se muestra como registro
aws.kinesis.get_records_records.minimum
(gauge)
Número mínimo de registros por operación GetRecords
Se muestra como registro
aws.kinesis.get_records_records.sum
(count)
Número total de registros devueltos en todas las operaciones GetRecords
Se muestra como registro
aws.kinesis.get_records_success
(count)
Suma de operaciones GetRecords realizadas con éxito por flujo.
Se muestra como evento
aws.kinesis.get_records_success.average
(count)
Número medio de operaciones GetRecords realizadas con éxito por flujo.
Se muestra como evento
aws.kinesis.incoming_bytes
(gauge)
Número medio de bytes introducidos con éxito en el flujo de Amazon Kinesis por operación.
Se muestra como byte
aws.kinesis.incoming_bytes.sum
(count)
Número total de bytes introducidos correctamente en el flujo de Amazon Kinesis.
Se muestra como byte
aws.kinesis.incoming_records
(count)
Número total de registros introducidos correctamente en el flujo de Amazon Kinesis.
Se muestra como registro
aws.kinesis.incoming_records.average
(gauge)
Número medio de registros introducidos con éxito en el flujo de Amazon Kinesis por operación.
Se muestra como registro
aws.kinesis.iterator_age_milliseconds
(gauge)
La antigüedad del último registro en todas las llamadas GetRecords realizadas contra un fragmento, medida en el periodo especificado.
Se muestra en milisegundos
aws.kinesis.outgoing_bytes
(gauge)
Número medio de bytes recuperados en una operación GetRecords
Se muestra como byte
aws.kinesis.outgoing_bytes.sum
(count)
Número total de bytes recuperados del flujo de Amazon Kinesis
Se muestra como byte
aws.kinesis.outgoing_records
(count)
El número de registros recuperados del fragmento, medido durante el periodo especificado.
Se muestra como registro
aws.kinesis.outgoing_records.average
(gauge)
El número medio de registros recuperados del fragmento, medido durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_record_bytes
(gauge)
Número medio de bytes por operación PutRecord
Se muestra como byte
aws.kinesis.put_record_bytes.maximum
(gauge)
Número máximo de bytes por operación PutRecord
Se muestra como byte
aws.kinesis.put_record_bytes.minimum
(gauge)
Número mínimo de bytes por operación PutRecord
Se muestra como byte
aws.kinesis.put_record_bytes.sum
(count)
Número total de bytes para todas las operaciones PutRecord
Se muestra como byte
aws.kinesis.put_record_latency
(gauge)
Tiempo medio empleado en cada operación PutRecord.
Se muestra en milisegundos
aws.kinesis.put_record_latency.maximum
(gauge)
Tiempo máximo que tarda cada operación PutRecord.
Se muestra en milisegundos
aws.kinesis.put_record_success
(count)
Suma de operaciones PutRecord realizadas con éxito por flujo de Amazon Kinesis.
Se muestra como evento
aws.kinesis.put_record_success.average
(count)
Número medio de operaciones PutRecord realizadas con éxito por flujo de Amazon Kinesis.
Se muestra como evento
aws.kinesis.put_records_bytes
(gauge)
Número medio de bytes por operación PutRecords.
Se muestra como byte
aws.kinesis.put_records_bytes.maximum
(gauge)
Número máximo de bytes por operación PutRecords.
Se muestra como byte
aws.kinesis.put_records_bytes.minimum
(gauge)
Número mínimo de bytes por operación PutRecords.
Se muestra como byte
aws.kinesis.put_records_bytes.sum
(count)
Número total de bytes para todas las operaciones PutRecords.
Se muestra como byte
aws.kinesis.put_records_failed_records
(gauge)
El número de registros rechazados debido a fallos internos en una operación PutRecords por flujo de datos de Kinesis, sumado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_failed_records.average
(gauge)
El número de registros rechazados debido a fallos internos en una operación PutRecords por flujo de datos de Kinesis, promediado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_failed_records.maximum
(gauge)
El número de registros rechazados debido a fallos internos en una operación PutRecords por flujo de datos de Kinesis, máximo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_failed_records.minimum
(gauge)
El número de registros rechazados debido a fallos internos en una operación PutRecords por flujo de datos de Kinesis, mínimo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_latency
(gauge)
Tiempo medio empleado en cada operación PutRecords.
Se muestra en milisegundos
aws.kinesis.put_records_latency.maximum
(gauge)
Tiempo máximo empleado en todas las operaciones PutRecords.
Se muestra en milisegundos
aws.kinesis.put_records_records
(gauge)
Número medio de registros por operación PutRecords
Se muestra como registro
aws.kinesis.put_records_records.maximum
(gauge)
Número máximo de registros para operaciones PutRecords
Se muestra como registro
aws.kinesis.put_records_records.minimum
(gauge)
Número mínimo de registros para las operaciones PutRecords
Se muestra como registro
aws.kinesis.put_records_records.sum
(count)
Número total de registros para operaciones PutRecords
Se muestra como registro
aws.kinesis.put_records_success
(count)
Suma de operaciones PutRecords realizadas con éxito por flujo de Amazon Kinesis.
Se muestra como evento
aws.kinesis.put_records_success.average
(count)
Número medio de operaciones PutRecords realizadas con éxito por flujo de Amazon Kinesis.
Se muestra como evento
aws.kinesis.put_records_successful_records
(gauge)
El número de registros realizados con éxito en una operación PutRecords por flujo de datos de Kinesis, sumados durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_successful_records.average
(gauge)
El número de registros realizados con éxito en una operación PutRecords por flujo de datos de Kinesis, promediado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_successful_records.maximum
(gauge)
El número de registros realizados con éxito en una operación PutRecords por flujo de datos de Kinesis, máximo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_successful_records.minimum
(gauge)
El número de registros realizados con éxito en una operación PutRecords por flujo de datos de Kinesis, mínimo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_throttled_records
(gauge)
Número de registros rechazados debido a la limitación en una operación PutRecords por flujo de datos de Kinesis, sumado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_throttled_records.average
(gauge)
Número de registros rechazados debido a la limitación en una operación PutRecords por flujo de datos de Kinesis, promediado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_throttled_records.maximum
(gauge)
Número de registros rechazados debido a la limitación en una operación PutRecords por flujo de datos de Kinesis, máximo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_throttled_records.minimum
(gauge)
Número de registros rechazados debido a la limitación en una operación PutRecords por flujo de datos de Kinesis, mínimo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_total_records
(gauge)
El número total de registros enviados en una operación PutRecords por flujo de datos de Kinesis, sumado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_total_records.average
(gauge)
El número total de registros enviados en una operación PutRecords por flujo de datos de Kinesis, promediado durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_total_records.maximum
(gauge)
El número total de registros enviados en una operación PutRecords por flujo de datos de Kinesis, máximo durante el periodo especificado.
Se muestra como registro
aws.kinesis.put_records_total_records.minimum
(gauge)
El número total de registros enviados en una operación PutRecords por flujo de datos de Kinesis, mínimo durante el periodo especificado.
Se muestra como registro
aws.kinesis.read_provisioned_throughput_exceeded
(count)
Número de llamadas a GetRecords limitadas para el flujo
Se muestra como registro
aws.kinesis.read_provisioned_throughput_exceeded.average
(count)
Media de llamadas GetRecords limitadas para el flujo
Se muestra como registro
aws.kinesis.read_provisioned_throughput_exceeded.maximum
(count)
Número máximo de llamadas GetRecords limitadas para el flujo
Se muestra como registro
aws.kinesis.read_provisioned_throughput_exceeded.minimum
(count)
Número mínimo de llamadas GetRecords limitadas para el flujo
Se muestra como registro
aws.kinesis.subscribe_to_shard_event_bytes
(gauge)
El número de bytes recibidos del fragmento, promediado durante el periodo especificado.
Se muestra como byte
aws.kinesis.subscribe_to_shard_event_bytes.maximum
(gauge)
El número de bytes recibidos del fragmento, máximo durante el periodo especificado.
Se muestra como byte
aws.kinesis.subscribe_to_shard_event_bytes.minimum
(gauge)
El número de bytes recibidos del fragmento, mínimo durante el periodo especificado.
Se muestra como byte
aws.kinesis.subscribe_to_shard_event_bytes.sum
(gauge)
El número de bytes recibidos del fragmento, sumados durante el periodo especificado.
Se muestra como byte
aws.kinesis.subscribe_to_shard_event_millis_behind_latest
(gauge)
La diferencia entre la hora actual y el momento en que el último registro del evento SubscribeToShard se escribió en el flujo.
Se muestra como milisegundo
aws.kinesis.subscribe_to_shard_event_millis_behind_latest.maximum
(gauge)
La diferencia entre la hora actual y el momento en que el último registro del evento SubscribeToShard se escribió en el flujo.
Se muestra como milisegundo
aws.kinesis.subscribe_to_shard_event_records
(count)
El número de registros recibidos del fragmento, promediados durante el periodo especificado.
Se muestra como registro
aws.kinesis.subscribe_to_shard_event_records.maximum
(count)
Número de registros recibidos del fragmento, máximo durante el periodo especificado.
Se muestra como registro
aws.kinesis.subscribe_to_shard_event_records.minimum
(count)
Número de registros recibidos del fragmento, mínimo durante el periodo especificado.
Se muestra como registro
aws.kinesis.subscribe_to_shard_event_records.sum
(count)
Número de registros recibidos del fragmento, sumados durante el periodo especificado.
Se muestra como registro
aws.kinesis.subscribe_to_shard_event_success
(count)
Esta métrica se emite cada vez que un evento se publica correctamente. Sólo se emite cuando hay una suscripción activa.
Se muestra como evento
aws.kinesis.subscribe_to_shard_event_success.average
(count)
Esta métrica se emite cada vez que un evento se publica correctamente. Sólo se emite cuando hay una suscripción activa.
Se muestra como evento
aws.kinesis.subscribe_to_shard_rate_exceeded
(count)
Esta métrica se emite cuando falla un nuevo intento de suscripción porque ya hay una suscripción activa por parte del mismo consumidor o si se supera el número de llamadas por segundo permitidas para esta operación.
Se muestra como registro
aws.kinesis.subscribe_to_shard_rate_exceeded.average
(count)
Esta métrica se emite cuando falla un nuevo intento de suscripción porque ya hay una suscripción activa por parte del mismo consumidor o si se supera el número de llamadas por segundo permitidas para esta operación.
Se muestra como registro
aws.kinesis.subscribe_to_shard_rate_exceeded.maximum
(count)
Esta métrica se emite cuando falla un nuevo intento de suscripción porque ya hay una suscripción activa por parte del mismo consumidor o si se supera el número de llamadas por segundo permitidas para esta operación.
Se muestra como registro
aws.kinesis.subscribe_to_shard_rate_exceeded.minimum
(count)
Esta métrica se emite cuando falla un nuevo intento de suscripción porque ya hay una suscripción activa por parte del mismo consumidor o si se supera el número de llamadas por segundo permitidas para esta operación.
Se muestra como registro
aws.kinesis.subscribe_to_shard_success
(gauge)
Esta métrica registra si la suscripción SubscribeToShard se ha establecido correctamente. La suscripción sólo dura un máximo de 5 minutos. Por lo tanto, esta métrica se emite al menos una vez cada 5 minutos.
Se muestra como evento
aws.kinesis.subscribe_to_shard_success.average
(gauge)
Esta métrica registra si la suscripción SubscribeToShard se ha establecido correctamente. La suscripción sólo dura un máximo de 5 minutos. Por lo tanto, esta métrica se emite al menos una vez cada 5 minutos.
Se muestra como evento
aws.kinesis.write_provisioned_throughput_exceeded
(count)
Número de registros rechazados debido a la limitación del flujo
Se muestra como registro
aws.kinesis.write_provisioned_throughput_exceeded.average
(count)
Promedio de registros rechazados debido a la limitación para el flujo
Se muestra como registro
aws.kinesis.write_provisioned_throughput_exceeded.maximum
(count)
Número máximo de registros rechazados debido a la limitación del flujo
Se muestra como registro
aws.kinesis.write_provisioned_throughput_exceeded.minimum
(count)
Número mínimo de registros rechazados debido a la limitación del flujo
Se muestra como registro

A cada una de las métricas recuperadas de AWS se le asignan las mismas etiquetas (tags) que aparecen en la consola de AWS, donde se incluyen el nombre del host y los grupos de seguridad, entre otras cosas.

Eventos

La integración Amazon Kinesis no incluye eventos.

Checks de servicio

La integración Amazon Kinesis no incluye checks de servicios.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.