AWS CloudWatch Metric Streams con Amazon Data Firehose
To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.
To initiate an exception request to enable this integration for your organization, email support@ddog-gov.com.
Al utilizar Amazon CloudWatch Metric Streams y Amazon Data Firehose, puede obtener métricas de CloudWatch en Datadog con solo dos a tres minutos de latencia. Esto es significativamente más rápido que el enfoque de sondeo de API predeterminado de Datadog, que proporciona métricas actualizadas cada 10 minutos. Puede obtener más información sobre el enfoque de sondeo de API en la documentación de retraso de métricas en la nube.
Descripción general
- Cree un Metric Stream de CloudWatch en cada cuenta y región de AWS para las que desee transmitir métricas.
- Opcionalmente, especifique un conjunto limitado de espacios de nombres o métricas para transmitir.
- Una vez que cree el Metric Stream, Datadog comienza a recibir inmediatamente las métricas transmitidas y las muestra en el sitio de Datadog sin necesidad de configuración adicional.
El filtrado de etiquetas configurado en el mosaico de integración de AWS también se aplica a CloudWatch Metric Streams.
Diferencias entre la transmisión de métricas y el sondeo de API
Las siguientes son diferencias clave entre el uso de Amazon CloudWatch Metric Streams y el sondeo de API.
Métricas que se reportan con más de dos horas de retraso: el sondeo de API continúa recopilando métricas como aws.s3.bucket_size_bytes y aws.billing.estimated_charges después de que se habilita la transmisión de métricas, ya que estas no se pueden enviar a través de Amazon CloudWatch Metric Stream.
Metadatos de métricas: Datadog continúa utilizando el sondeo de API para recopilar etiquetas personalizadas y otros metadatos para sus métricas transmitidas. Para asegurarse de seguir recibiendo estas métricas, no cambie la configuración en la integración de AWS.
Cambio del sondeo de API a transmisión de métricas
Si ya recibe métricas para un espacio de nombres de CloudWatch determinado a través del método de sondeo de API, Datadog lo detecta automáticamente y deja de sondear métricas para ese espacio de nombres una vez que comienza a transmitirlas. Deje sin cambios sus ajustes de configuración en la página de integración de AWS; ya que Datadog continúa utilizando el sondeo de API para recopilar etiquetas personalizadas y otros metadatos para sus métricas transmitidas.
Volver a cambiar de transmisión de métricas a sondeo de API
Si más adelante decide que no desea transmitir métricas para una cuenta y región de AWS determinadas, o incluso solo para un espacio de nombres específico, Datadog comienza automáticamente a recopilar esas métricas utilizando el sondeo de API nuevamente según la configuración en la página de integración de AWS. Si desea dejar de transmitir todas las métricas para una cuenta y región de AWS, siga las instrucciones en la sección Deshabilitar la transmisión de métricas de este documento.
Evitar métricas duplicadas durante la migración
Al realizar la transición del sondeo de API a Metric Streams, hay un periodo de superposición donde ambos métodos de recopilación pueden enviar datos para las mismas métricas. Esto puede causar que los valores de las métricas aparezcan duplicados en Datadog.
Para minimizar la duplicación:
- Habilite Metric Streams para los espacios de nombres y regiones deseados.
- Espere a que Datadog detecte la transmisión de métricas y detenga el sondeo para esos espacios de nombres. Esta detección puede tardar hasta cinco minutos, pero en la práctica el periodo de superposición puede durar más dependiendo del tiempo de los rastreadores de sondeo activos.
- Verifique que la transición se haya completado revisando la pestaña Recopilación de métricas en la página de integración de AWS para las regiones en las que la transmisión de métricas esté activada.
- No modifique su configuración de integración de AWS existente durante la transición. Datadog continúa utilizando el sondeo de API para recopilar etiquetas personalizadas y metadatos para las métricas transmitidas.
Algunas métricas no se pueden enviar a través de CloudWatch Metric Streams, incluyendo aws.s3.bucket_size_bytes y aws.billing.estimated_charges. Datadog continúa recopilándolas mediante sondeo de API independientemente de su configuración de Metric Streams.
Facturación
No hay cargo adicional de Datadog por transmitir métricas.
AWS cobra según la cantidad de actualizaciones de métricas en CloudWatch Metric Streams y el volumen de datos enviado a Amazon Data Firehose. Como tal, existe la posibilidad de ver un aumento en el costo de CloudWatch para el subconjunto de métricas que está transmitiendo. Por esta razón, Datadog recomienda utilizar la transmisión de métricas para las métricas, servicios, regiones y cuentas de AWS donde más necesite la latencia más baja, y sondeo para los demás. Para obtener más información, consulte Amazon CloudWatch pricing.
Las métricas de EC2 o Lambda en la transmisión de métricas podrían aumentar el número de hosts facturables e invocaciones de Lambda (si esos hosts y funciones aún no se supervisan con la integración de AWS o el Datadog Agent en el caso de EC2).
Nota: Puede crear filtros en CloudWatch para transmitir solo las métricas especificadas. Consulte la guía del usuario de Amazon CloudWatch para obtener más información.
Configuración
Antes de comenzar
Lea atentamente la sección Diferencias entre la transmisión de métricas y el sondeo ed API para comprender las diferencias antes de habilitar la transmisión de métricas.
Si aún no lo ha hecho, conecte su cuenta de AWS a Datadog. Para obtener más información, consulte las instrucciones de configuración de CloudFormation.
Instalación
Datadog recomienda usar CloudFormation porque es automático y más sencillo si utiliza varias regiones de AWS.
Nota: La transmisión de métricas solo admite el formato de salida OpenTelemetry. La versión más reciente es la v1.0; la v0.7 es compatible, pero puede provocar la pérdida de métricas.
En su sitio de Datadog, vaya a la pestaña Configuration de la página de integración de AWS.
Haga clic en la cuenta de AWS para configurar transmisión de métricas.
En Metric Collection, haga clic en Automatically Using CloudFormation bajo CloudWatch Metric Streams para iniciar una pila en la consola de AWS.
Complete los parámetros requeridos:
Complete los parámetros opcionales:
- FilterMethod: Lista de inclusión o exclusión de espacios de nombres para incluir en la transmisión de métricas.
- Primer/Segundo/Tercer espacio de nombres: Especifique los espacios de nombres que desea incluir o excluir. Nota: Los valores de los espacios de nombres deben coincidir exactamente con los valores de la columna de espacios de nombres en la documentación de AWS. Por ejemplo, AWS/EC2.
Marque la casilla de confirmación que indica: "Reconozco que AWS CloudFormation podría crear recursos de IAM con nombres personalizados".
Haga clic en Create Stack.
Resultados
Una vez que la pila se haya creado correctamente, espere cinco minutos para que Datadog reconozca el cambio. Para validar la finalización, vaya a la pestaña Recopilación de métricas en la página de integración de AWS de Datadog y verifique que las regiones activadas aparezcan para la cuenta seleccionada.
Para configurar transmisiones de métricas mediante la consola de AWS, cree un CloudWatch Metric Stream para cada región de AWS.
Nota: La transmisión de métricas solo admite el formato de salida OpenTelemetry. La versión más reciente es la v1.0; la v0.7 es compatible, pero puede provocar la pérdida de métricas.
Elija la Configuración rápida de socio de AWS y seleccione Datadog como destino del socio de AWS en el menú desplegable.
Elija el sitio de Datadog al que desea transmitir las métricas e ingrese su clave de Datadog API.
Elija si desea transmitir todas las métricas de CloudWatch o solo espacios de nombres específicos. También tiene la opción de excluir métricas específicas. Si se encuentra en una cuenta de monitoreo, también puede optar por habilitar la transmisión entre cuentas.
En Agregar estadísticas adicionales, incluya las métricas de percentiles de AWS para enviar a Datadog. Consulte la plantilla de CloudFormation para obtener una lista de las métricas de percentiles que Datadog admite mediante sondeo.
Asigne un nombre a su flujo de métricas.
Haga clic en Crear transmisión de métrica.
Resultados
Después de ver que el recurso Metric Stream se ha creado correctamente, espere cinco minutos para que Datadog reconozca el cambio. Para validar la finalización, vaya a la pestaña Metric Collection en la página de integración de AWS de Datadog y verifique que las regiones activadas estén habilitadas en CloudWatch Metric Streams para la cuenta de AWS especificada.
Nota: Si ya ha habilitado el sondeo de las API de CloudWatch, la transición al streaming podría causar un breve período (de hasta cinco minutos) en el que las métricas específicas que está transmitiendo se contabilicen por duplicado en Datadog. Esto se debe a la diferencia de tiempo entre el momento en que los rastreadores de Datadog se ejecutan y envían sus métricas de CloudWatch, y el momento en que Datadog reconoce que usted ha comenzado a transmitir esas métricas y desactiva los rastreadores.
Transmisión de métricas entre cuentas
Utilice la transmisión de métricas entre cuentas para incluir métricas en una única Metric Stream que abarque varias cuentas de AWS dentro de una región de AWS. Esto ayuda a reducir la cantidad de transmisiones de métricas necesarias para recopilar métricas para un destino común. Para hacer esto, conecte sus cuentas de fuente con su cuenta de monitoreo y habilite la transmisión entre cuentas a Datadog en su cuenta de monitoreo de AWS.
Su cuenta de monitoreo necesita tener los siguientes permisos para que esta función funcione correctamente:
- oam:ListSinks
- oam:ListAttachedLinks
Nota: Para recopilar etiquetas personalizadas y otros metadatos para sus métricas transmitidas, integre sus cuentas de fuente con Datadog.
Deshabilitar la transmisión de métricas
Para deshabilitar la transmisión de métricas por completo para una cuenta y región de AWS determinadas, debe eliminar el AWS Metric Stream y sus recursos relacionados. Para evitar la pérdida de métricas en Datadog, es importante seguir estos pasos de eliminación cuidadosamente:
Si configuró la transmisión con CloudFormation:
- Elimine la pila que se creó durante la configuración.
Si configuró la transmisión a través de la Consola de AWS:
- Elimine el CloudWatch Metric Stream vinculado a su transmisión de entrega.
- Elimine todos los recursos que se crearon al configurar el flujo, incluidos los roles de IAM de S3 y Firehose que están asociados con el flujo.
Una vez eliminados los recursos, espere cinco minutos para que Datadog reconozca el cambio. Para validar la finalización, vaya a la pestaña Recopilación de métricas en la página de integración de AWS de Datadog y verifique que las regiones deshabilitadas no se muestren en Transmisiones de métricas de CloudWatch para la cuenta de AWS especificada.
Hacer un seguimiento del estado de la transmisión
Datadog envía la métrica datadog.aws_metric_streams.data_received cuando recibe datos de una transmisión de métricas de CloudWatch. Utilice esta métrica para confirmar que AWS está enviando métricas y que Datadog las está recibiendo.
datadog.aws_metric_streams.data_received- Tipo: Gauge
Informa un valor de 1 cuando Datadog recibe datos de un CloudWatch Metric Stream, y no informa cuando Datadog no recibe datos. Etiquetado con stream_arn, stream_name, aws_account y region. La frecuencia con la que informa la métrica depende de su volumen de datos y de la configuración de almacenamiento en búfer de su flujo de entrega de Firehose.
Para un flujo entre cuentas, el flujo de métricas y el flujo de entrega de Firehose se encuentran en la cuenta de monitoreo. La etiqueta aws_account identifica la cuenta de monitoreo, no las cuentas fuente de las que provienen las métricas.
Para verificar si un stream está entregando datos, consulte esta métrica en el Metrics Explorer y agrúpela por stream_name o stream_arn.
Debido a que la métrica no informa cuando un flujo deja de entregar datos, haga un seguimiento para detectar la transición de informar a no tener datos. Cree un monitor de métricas en datadog.aws_metric_streams.data_received, agrúpelo por stream_arn y habilite las notificaciones de datos faltantes. Para conocer los pasos de configuración, consulte Configurar una alerta para cuando una etiqueta específica deja de informar.
Solución de problemas
Si encuentra problemas al configurar Metric Streams o los recursos asociados, consulte Solución de problemas de AWS. Si las métricas de CloudWatch dejan de aparecer después de que Metric Streams haya estado funcionando correctamente, el problema puede deberse a errores de destino de Firehose.
Errores persistentes de destino de Firehose
Si las métricas de CloudWatch dejan de aparecer en Datadog, el flujo de métricas de CloudWatch y el flujo de entrega de Amazon Data Firehose aún pueden mostrar un estado de running. Esto puede suceder incluso cuando Firehose ya no entrega registros.
Esto puede suceder cuando Firehose no puede entregar registros al punto de conexión HTTP de Datadog dentro de su período de reintento, ni escribir los registros en su respaldo de S3. Cuando ambas rutas de entrega fallan, es posible que el flujo de entrega no reanude automáticamente la entrega HTTP después de que el punto de conexión vuelva a estar disponible.
Para diagnosticar y restaurar la entrega:
Localice el flujo de entrega de Firehose asociado con el flujo de métricas de CloudWatch afectado. Ejecute el siguiente comando de AWS CLI para encontrar el FirehoseArn en la respuesta:
aws cloudwatch get-metric-stream \
--name <METRIC_STREAM_NAME> \
--region <AWS_REGION>
Revise los registros de errores de entrega de Firehose en CloudWatch Logs. Si el registro de errores de entrega no está habilitado, habilítelo para que pueda capturar futuros errores de entrega. Los errores relevantes incluyen HttpEndpoint.DestinationException (como respuestas HTTP 408) y S3.AccessDenied.
Inspeccione las métricas de CloudWatch de Firehose en la consola de CloudWatch (es posible que Datadog no muestre estas métricas mientras la entrega esté interrumpida). Verifique DeliveryToHttpEndpoint.Success, DeliveryToHttpEndpoint.DataFreshness, DeliveryToHttpEndpoint.Records y IncomingRecords.
Si Firehose recibe registros pero no los entrega, verifique la configuración de respaldo de S3 y el rol de IAM:
- Confirme que Firehose pueda asumir el rol configurado y escribir en el bucket de respaldo.
- Verifique que la política del bucket, el límite de permisos, las políticas de control de servicio (SCP) y la política de claves KMS no denieguen el acceso requerido.
Verifique si los registros están llegando a S3 buscando en el bucket de respaldo bajo el prefijo configurado en la configuración de respaldo de S3 de su flujo de entrega de Firehose. Si no se están escribiendo objetos, esto confirma un problema de permisos o configuración con la ruta de respaldo de S3. Si los registros de errores de entrega del paso 2 muestran un error de permisos de S3, corríjalo antes de continuar.
Actualice la configuración de destino HTTP de Firehose usando la API UpdateDestination de Firehose; por ejemplo, cambiando su duración de reintento. Una actualización de configuración como esta puede reiniciar un destino estancado.
Si la entrega no se recupera, contacte a Datadog Support y proporcione:
- El ID de la cuenta de AWS y la región
- Los ARN del flujo de métricas de CloudWatch y del flujo de entrega de Firehose
- La hora aproximada en que se detuvo la entrega
- Registros de errores relevantes de Firehose
Nota: Reiniciar la entrega afecta solo a los registros nuevos y no rellena los registros que fallaron durante la interrupción. Los registros escritos en la copia de seguridad de S3 no se ingieren automáticamente en Datadog.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales: