Manguera de datos de Amazon

Información general

Amazon Data Firehose es la forma más sencilla de cargar datos de streaming en AWS.

Habilita esta integración para ver en Datadog todas tus métricas de Firehose.

Nota: Amazon Data Firehose se conocía anteriormente como Amazon Kinesis Data Firehose. Lee la publicación AWS What’s New para obtener más información.

Configuración

Instalación

Si aún no lo has hecho, configura primero la integración Amazon Web Services.

Recopilación de métricas

  1. En la página de la integración de AWS, asegúrate de que Firehose está habilitado en la pestaña Metric Collection.
  2. Instala la integración de Datadog y Amazon Data Firehose.

Recopilación de logs

Activar logging

Configura Amazon Data Firehose para enviar logs a un bucket de S3 o a CloudWatch.

Nota: Si vas a loguear en un bucket de S3, asegúrate de que amazon_firehose está configurado como Target prefix (Prefijo de destino).

Enviar logs a Datadog

  1. Si aún no lo has hecho, configura la función de Lambda del Datadog Forwarder.

  2. Una vez instalada la función de Lambda, añade manualmente un activador en el bucket de S3 o en el grupo de logs de CloudWatch que contiene tus logs de Amazon Data Firehose en la consola de AWS:

Datos recopilados

Métricas

aws.firehose.backup_to_s_3bytes
(count)
El número de bytes entregados a Amazon S3 para copia de seguridad durante el periodo especificado.
Se muestra como byte
aws.firehose.backup_to_s_3data_freshness
(gauge)
Antigüedad (desde que entra en Kinesis Data Firehose hasta ahora) del registro más antiguo de Kinesis Data Firehose. Cualquier registro anterior a esta antigüedad se ha entregado al bucket de Amazon S3 para copia de seguridad.
Se muestra como segundo
aws.firehose.backup_to_s_3records
(count)
El número de registros entregados a Amazon S3 para la copia de seguridad durante el periodo especificado.
aws.firehose.backup_to_s_3success
(gauge)
Fracción de comandos put de Amazon S3 con éxito para la copia de seguridad.
Se muestra como fracción
aws.firehose.backup_to_s_3success.sum
(count)
El número total de comandos put de Amazon S3 realizados con éxito para la copia de seguridad.
aws.firehose.bytes_per_second_limit
(count)
El número máximo actual de bytes por segundo que un flujo de entrega puede ingerir antes de la limitación.
aws.firehose.data_read_from_kinesis_stream_bytes
(count)
Cuando la fuente de datos es un flujo de datos de Kinesis, esta métrica indica el número de bytes leídos de ese flujo de datos. Este número incluye las relecturas debidas a conmutaciones por error.
Se muestra como byte
aws.firehose.data_read_from_kinesis_stream_records
(count)
Cuando la fuente de datos es un flujo de datos de Kinesis, esta métrica indica el número de registros leídos de ese flujo de datos.
aws.firehose.data_read_from_kinesis_stream_records.average
(gauge)
Cuando la fuente de datos es un flujo de datos de Kinesis, esta métrica indica el número medio de registros leídos de ese flujo de datos.
aws.firehose.data_read_from_source_bytes
(count)
El número de bytes leídos desde la fuente Kafka Topic.
Se muestra como byte
aws.firehose.data_read_from_source_bytes.sum
(count)
El número de bytes leídos desde la fuente Kafka Topic.
Se muestra como byte
aws.firehose.data_read_from_source_records
(count)
El número de registros leídos desde la fuente Kafka Topic.
Se muestra como count
aws.firehose.data_read_from_source_records.sum
(count)
El número de registros leídos desde la fuente Kafka Topic.
Se muestra como count
aws.firehose.delivery_to_elasticsearch_bytes
(count)
El número total de bytes indexados en Amazon ElasticSearch.
Se muestra como byte
aws.firehose.delivery_to_elasticsearch_records
(count)
El número total de registros indexados en Amazon ElasticSearch.
aws.firehose.delivery_to_elasticsearch_success
(gauge)
Fracción de registros indexados con éxito en Amazon ElasticSearch.
Se muestra como fracción
aws.firehose.delivery_to_elasticsearch_success.sum
(count)
Número total de registros indexados correctamente en Amazon ElasticSearch.
aws.firehose.delivery_to_http_endpoint_bytes
(count)
El número de bytes entregados con éxito al endpoint HTTP.
Se muestra como byte
aws.firehose.delivery_to_http_endpoint_data_freshness
(gauge)
Antigüedad del registro más antiguo en Kinesis Data Firehose.
Se muestra como segundo
aws.firehose.delivery_to_http_endpoint_processed_bytes
(count)
El número de bytes intentados procesados, incluidos los reintentos.
Se muestra como byte
aws.firehose.delivery_to_http_endpoint_processed_records
(count)
Número de registros intentados, incluidos los reintentos.
aws.firehose.delivery_to_http_endpoint_processed_records.average
(gauge)
Número medio de registros intentados, incluidos los reintentos.
aws.firehose.delivery_to_http_endpoint_records
(count)
Número de registros entregados correctamente al endpoint HTTP.
aws.firehose.delivery_to_http_endpoint_records.average
(gauge)
Número medio de registros entregados correctamente al endpoint HTTP.
aws.firehose.delivery_to_http_endpoint_success
(gauge)
La fracción de solicitudes de entrega de datos con éxito al endpoint HTTP.
Se muestra como fracción
aws.firehose.delivery_to_http_endpoint_success.sum
(count)
El número total de todas las solicitudes de entrega de datos con éxito al endpoint HTTP.
Se muestra como fracción
aws.firehose.delivery_to_redshift_bytes
(gauge)
El número medio de bytes copiados a Amazon Redshift por entrega.
Se muestra como byte
aws.firehose.delivery_to_redshift_bytes.sum
(count)
El número total de bytes copiados a Amazon Redshift.
Se muestra como byte
aws.firehose.delivery_to_redshift_records
(count)
El número total de registros copiados en Amazon Redshift.
aws.firehose.delivery_to_redshift_records.average
(gauge)
El número medio de registros copiados a Amazon Redshift por entrega.
aws.firehose.delivery_to_redshift_success
(gauge)
Fracción de comandos COPY de Redshift ejecutados con éxito
Se muestra como fracción
aws.firehose.delivery_to_redshift_success.sum
(count)
Número total de comandos COPY de Redshift ejecutados con éxito
aws.firehose.delivery_to_s_3bytes
(gauge)
El número medio de bytes entregados a Amazon S3 por entrega.
Se muestra como byte
aws.firehose.delivery_to_s_3bytes.sum
(count)
El número total de bytes entregados a Amazon S3.
Se muestra como byte
aws.firehose.delivery_to_s_3data_freshness
(gauge)
Antigüedad (desde que entró en Firehose hasta ahora) del registro más antiguo en Firehose. Cualquier registro más antiguo que esta antigüedad ha sido entregado al bucket de S3.
Se muestra como segundo
aws.firehose.delivery_to_s_3records
(count)
El número total de registros entregados a Amazon S3.
aws.firehose.delivery_to_s_3records.average
(gauge)
El número medio de registros entregados a Amazon S3 por entrega.
aws.firehose.delivery_to_s_3success
(gauge)
Fracción de entregas con éxito a S3
Se muestra como fracción
aws.firehose.delivery_to_s_3success.sum
(count)
Suma de entregas con éxito a S3
aws.firehose.delivery_to_splunk_bytes
(gauge)
El número medio de bytes entregados a Splunk por entrega.
Se muestra como byte
aws.firehose.delivery_to_splunk_bytes.sum
(count)
El número total de bytes entregados a Splunk.
Se muestra como byte
aws.firehose.delivery_to_splunk_data_ack_latency
(gauge)
La duración media aproximada que se tarda en recibir una aceptación de Splunk después de que Kinesis Data Firehose le envíe datos.
Se muestra como segundo
aws.firehose.delivery_to_splunk_data_ack_latency.maximum
(gauge)
La duración máxima aproximada que se tarda en recibir una aceptación de Splunk después de que Kinesis Data Firehose le envíe datos.
Se muestra como segundo
aws.firehose.delivery_to_splunk_data_freshness
(gauge)
Antigüedad media (desde que entró en Firehose hasta ahora) del registro más antiguo en Firehose. Cualquier registro más antiguo que esta antigüedad ha sido entregado a Splunk.
Se muestra como segundo
aws.firehose.delivery_to_splunk_data_freshness.maximum
(gauge)
Antigüedad máxima (desde que entró en Firehose hasta ahora) del registro más antiguo en Firehose. Cualquier registro más antiguo que esta antigüedad ha sido entregado a Splunk.
Se muestra como segundo
aws.firehose.delivery_to_splunk_records
(count)
El número total de registros entregados a Splunk.
aws.firehose.delivery_to_splunk_records.average
(gauge)
El número medio de registros entregados a Splunk por entrega.
aws.firehose.delivery_to_splunk_success
(gauge)
Fracción de registros indexados con éxito
Se muestra como fracción
aws.firehose.delivery_to_splunk_success.maximum
(gauge)
Valor máximo de la fracción de registros indexados con éxito
Se muestra como fracción
aws.firehose.delivery_to_splunk_success.minimum
(gauge)
Valor mínimo para la fracción de registros indexados con éxito
Se muestra como fracción
aws.firehose.describe_delivery_stream_latency
(gauge)
El tiempo medio que tarda cada operación DescribeDeliveryStream.
Se muestra en milisegundos
aws.firehose.describe_delivery_stream_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación DescribeDeliveryStream.
Se muestra en milisegundos
aws.firehose.describe_delivery_stream_requests
(count)
Número total de solicitudes DescribeDeliveryStream.
aws.firehose.incoming_bytes
(gauge)
El número de bytes ingeridos en el flujo de entrega de Firehose.
Se muestra como byte
aws.firehose.incoming_put_requests
(count)
El número de solicitudes PutRecord y PutRecordBatch realizadas con éxito durante el periodo especificado después de la limitación.
aws.firehose.incoming_records
(count)
El número de registros ingeridos en el flujo de entrega de Firehose.
aws.firehose.kinesis_millis_behind_latest
(gauge)
Cuando la fuente de datos es un flujo de datos de Kinesis, esta métrica indica el tiempo medio que el último registro leído está por detrás del registro más reciente del flujo de datos de Kinesis.
Se muestra en milisegundos
aws.firehose.kinesis_millis_behind_latest.maximum
(gauge)
Cuando la fuente de datos es un flujo de datos de Kinesis, esta métrica indica el tiempo máximo que el último registro leído está por detrás del registro más reciente del flujo de datos de Kinesis.
Se muestra en milisegundos
aws.firehose.kmskey_access_denied
(count)
El número de veces que el servicio encuentra una KMSAccessDeniedException para el flujo de entrega.
Se muestra como milisegundo
aws.firehose.kmskey_disabled
(count)
El número de veces que el servicio encuentra una KMSDisabledException para el flujo de entrega.
Se muestra como milisegundo
aws.firehose.kmskey_invalid_state
(count)
El número de veces que el servicio encuentra una KMSInvalidStateException para el flujo de entrega.
Se muestra como milisegundo
aws.firehose.kmskey_not_found
(count)
El número de veces que el servicio encuentra una KMSNotFoundException para el flujo de entrega.
Se muestra en milisegundos
aws.firehose.list_delivery_stream_latency
(gauge)
El tiempo medio que tarda cada operación de ListDeliveryStream.
Se muestra en milisegundos
aws.firehose.list_delivery_stream_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación ListDeliveryStream.
Se muestra en milisegundos
aws.firehose.list_delivery_stream_requests
(count)
Número total de solicitudes ListDeliveryStream.
aws.firehose.list_delivery_streams_latency
(gauge)
El tiempo medio que tarda cada operación de ListDeliveryStreams.
Se muestra en milisegundos
aws.firehose.list_delivery_streams_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación ListDeliveryStreams.
Se muestra en milisegundos
aws.firehose.list_delivery_streams_requests
(count)
Número total de solicitudes ListDeliveryStreams.
aws.firehose.put_record_batch_bytes
(count)
Número total de bytes enviados al flujo de entrega de Firehose mediante PutRecordBatch.
Se muestra como byte
aws.firehose.put_record_batch_bytes.average
(gauge)
El número medio de bytes por solicitud PutRecordBatch.
Se muestra como byte
aws.firehose.put_record_batch_latency
(gauge)
El tiempo medio que tarda cada operación PutRecordBatch.
Se muestra en milisegundos
aws.firehose.put_record_batch_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación PutRecordBatch.
Se muestra en milisegundos
aws.firehose.put_record_batch_records
(count)
Número total de registros de las operaciones PutRecordBatch.
aws.firehose.put_record_batch_records.average
(gauge)
Número medio de registros por operación PutRecordBatch.
aws.firehose.put_record_batch_requests
(count)
Número total de solicitudes PutRecordBatch.
aws.firehose.put_record_bytes
(count)
Número total de bytes enviados al flujo de entrega de Firehose mediante PutRecord.
Se muestra como byte
aws.firehose.put_record_bytes.average
(gauge)
El número medio de bytes por solicitud PutRecord.
Se muestra como byte
aws.firehose.put_record_latency
(gauge)
El tiempo medio que tarda cada operación PutRecord.
Se muestra en milisegundos
aws.firehose.put_record_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación PutRecord.
Se muestra en milisegundos
aws.firehose.put_record_requests
(count)
Número total de solicitudes PutRecord.
aws.firehose.put_requests_per_second_limit
(count)
El número máximo de solicitudes put por segundo que un flujo de entrega puede manejar antes de la limitación.
aws.firehose.records_per_second_limit
(count)
El número máximo actual de registros por segundo que un flujo de entrega puede ingerir antes de la limitación.
aws.firehose.throttled_describe_stream
(count)
Número total de veces que se ralentiza la operación DescribeStream cuando la fuente de datos es un flujo de datos de Kinesis.
Se muestra en milisegundos
aws.firehose.throttled_get_records
(count)
Número total de veces que se ralentiza la operación GetRecords cuando la fuente de datos es un flujo de datos de Kinesis.
Se muestra en milisegundos
aws.firehose.throttled_get_shard_iterator
(count)
El número total de veces que se ralentiza la operación GetShardIterator cuando la fuente de datos es un flujo de datos de Kinesis.
Se muestra en milisegundos
aws.firehose.throttled_records
(count)
El número de registros que fueron limitados porque la ingesta de datos excedió uno de los límites de flujo de entrega.
aws.firehose.update_delivery_stream_latency
(gauge)
El tiempo medio que tarda cada operación UpdateDeliveryStream.
Se muestra en milisegundos
aws.firehose.update_delivery_stream_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación UpdateDeliveryStream.
Se muestra en milisegundos
aws.firehose.update_delivery_stream_requests
(count)
Número total de solicitudes UpdateDeliveryStream.
aws.firehose.update_firehose_latency
(gauge)
El tiempo medio que tarda cada operación UpdateFirehose.
Se muestra en milisegundos
aws.firehose.update_firehose_latency.maximum
(gauge)
El tiempo máximo que tarda cada operación UpdateFirehose.
Se muestra en milisegundos
aws.firehose.update_firehose_requests
(count)
Número total de solicitudes UpdateFirehose.

A cada una de las métricas recuperadas de AWS se le asignan las mismas etiquetas (tags) que aparecen en la consola de AWS, incluidos, entre otros, el nombre del host y los grupos de seguridad.

Eventos

La integración de Amazon Data Firehose no incluye ningún evento.

Checks de servicio

La integración de Amazon Data Firehose no incluye ningún check de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.