Configuración de reenvío automático de registros de Azure

Este producto no es compatible con el sitio Datadog seleccionado. ().

Descripción general

Utiliza esta guía para configurar y gestionar el reenvío automático de registros de Azure. Puedes configurar el reenvío de registros directamente en Datadog o implementarlo con una plantilla de Azure Resource Manager (ARM).

La plantilla de ARM implementa recursos de una serie de servicios de Azure (cuentas de almacenamiento y aplicaciones de función) en tus suscripciones, que recopilan y reenvían registros a Datadog. Estos servicios se escalan automáticamente hacia arriba o hacia abajo para coincidir con el volumen de registros. El escalado es gestionado por un plano de control, que es un conjunto de aplicaciones de función implementadas en una suscripción y región de su elección. Las cuentas de almacenamiento y las aplicaciones de función se implementan en cada una de las suscripciones que reenvían registros a Datadog.

Todos los sitios: El reenvío automático de registros está disponible para usar en todos los sitios de Datadog.

Entornos de Azure compatibles: El reenvío automático de registros solo es compatible con la nube comercial (pública) de Azure. Azure Government y Azure China no son compatibles. Si utiliza sitios gubernamentales de Datadog, solo puede usar esta función con cargas de trabajo en la nube comercial de Azure.

Cómo elegir entre la configuración automática y manual

Elija el método de configuración manual si desea:

  • aplicar etiquetas personalizadas a sus recursos

Utilice el método de configuración automática si desea:

  • automatizar la implementación a través del portal de Azure
  • gestionar su infraestructura a través de plantillas declarativas
  • controlar centralmente el acceso, las etiquetas y la facturación
  • redistribuir sus recursos en el orden correcto y de manera consistente
  • ahorrar costos utilizando una cuenta de almacenamiento en lugar de un hub de eventos

Configurar

Configurar el reenvío de registros

Utilice el flujo de Configurar el reenvío de registros para configurar nuevos o gestionar Forwarders existentes directamente en Datadog. Puede utilizar este flujo para implementar el reenvío automático de registros desde cero o actualizar una configuración existente, como agregar o eliminar suscripciones o modificar filtros de registros.

  1. In Datadog, navegue a Integrations > Azure.
  2. Haga clic en Configure Log Forwarding.
  3. Elija implementar una nueva configuración o actualizar una existente.
  4. Copie el comando proporcionado y péguelo en su Azure Cloud Shell.
  5. Seleccione las suscripciones de las que desea reenviar registros.
  6. Opcionalmente, agregue o elimine filtros de registros.
  7. Haga clic en Confirm.

Plantilla ARM

Alternativamente, puede implementar el reenvío automático de registros con una plantilla ARM pública de Azure. Las secciones a continuación proporcionan instrucciones para completar cada página de la plantilla.

Conceptos básicos

  1. Bajo Project details, seleccione el grupo de administración. Esto es necesario para que la plantilla ARM otorgue permisos a las suscripciones que seleccione para el reenvío automático de registros.
  2. Bajo Instance details, seleccione valores para:
    • Region. Aquí es donde se despliega el plano de control.
    • Subscriptions to Forward Logs. Estas son las suscripciones que se configurarán para el reenvío de registros.
    • Control Plane Subscription. Esta es la suscripción a la que se despliega el plano de control.
    • Resource Group Name. Este es el grupo de recursos que utilizará el plano de control. Se recomienda elegir un nombre de grupo de recursos nuevo y no utilizado para simplificar la gestión de los servicios del plano de control.
La página de conceptos básicos de la plantilla ARM para el reenvío automatizado de registros de Azure
  1. Haga clic en Next.

Configuración de Datadog

  1. Ingrese su valor de clave de API de Datadog.
  2. Seleccione su sitio de Datadog.
La página de configuración de Datadog de la plantilla ARM para el reenvío automatizado de registros de Azure
  1. Haga clic en Next.

Despliegue

  1. Marque la casilla para reconocer las advertencias de despliegue.
  2. Haga clic en Review + create.

Revisar + crear

  1. Revise los detalles de implementación finalizados.
  2. Haga clic en Create.

Filtrado de etiquetas de recursos

Puede usar filtros de etiquetas para controlar qué recursos de Azure tienen sus registros reenviados a Datadog. Para la sintaxis de filtros de etiquetas, soporte de comodines y ejemplos, consulte Filtrado de etiquetas de recursos en la guía de inicio de Azure.

Espacios de trabajo de Log Analytics

Puede reenviar registros desde los Espacios de trabajo de Log Analytics de Azure (LAWs) a Datadog a través del reenvío automático de registros. Anteriormente, Datadog solo admitía registros de configuración de diagnóstico de LAWs. Con reglas de exportación de datos, también puede reenviar registros desde las Tablas de Registros de LAW a Datadog.

Restricciones

  • Solo puede configurar el reenvío para recursos de LAW dentro de la misma región que el reenvío de registros.
  • Puede tener un máximo de 10 reglas de exportación de datos en un LAW. Si el LAW no tiene capacidad restante para una Regla de Exportación de Datos, elimine una regla existente para hacer espacio.
  • No todas las tablas de registros pueden ser exportadas. Consulte la lista de Microsoft de tablas no admitidas.

Reenvíe registros desde un Espacio de trabajo de Log Analytics

  1. Si aún no ha creado un Forwarder de registros automático, siga las instrucciones de Configuración. Si ya tiene un Forwarder de registros, asegúrese de que esté actualizado a la última versión.
  2. En el Portal de Azure, navegue hasta el Espacio de trabajo de Log Analytics deseado.
  3. Bajo Settings, haga clic en Data export.
  4. Haga clic en New export rule.
  5. Asigne un nombre a la regla, verifique Enable upon creation y haga clic en Next.
  6. Seleccione las tablas para exportar. Puede modificar esta selección más tarde editando la regla de exportación de datos. Haga clic en Next.
  7. Para Destination type, seleccione Storage Account. Seleccione la suscripción que contiene su Forwarder de registros y elija una cuenta de almacenamiento para el Forwarder de registros. Estas cuentas típicamente tienen el prefijo ddlogstorage. Haga clic en Next.
  8. Revise la regla y haga clic en Create. Los registros del LAW comienzan a aparecer en Datadog en unos minutos.

Solución de problemas

Los registros no están apareciendo en Datadog

Si ha creado una regla de exportación de datos pero no ve registros en Datadog:

  1. Verifique que la regla de exportación de datos esté habilitada.
  2. Verifique que la cuenta de almacenamiento de destino sea una creada por el Forwarder de registros automatizado (el nombre típicamente comienza con ddlogstorage).
  3. En la cuenta de almacenamiento, inspeccione los contenedores. Los contenedores con el prefijo am- indican exportaciones de LAW. Si solo ve contenedores con el prefijo insights-, la regla de exportación de datos puede estar configurada incorrectamente.
  4. Verifique que el LAW haya recopilado nuevos registros en las últimas dos horas.

Consulte la FAQ de solución de problemas de exportación de datos de Microsoft para obtener información adicional.

Seleccionando qué registros se exportan

La regla de exportación de datos le permite especificar qué tablas de registros de su espacio de trabajo de Log Analytics se exportan. Edite la regla de exportación de datos para agregar o eliminar tablas.

Latencia esperada

Los registros de LAW generalmente aparecen en Datadog dentro de dos a cinco minutos, pero pueden tardar hasta 20 minutos en aparecer por primera vez. Los registros de LAW pueden tener propiedades diferentes a los registros que no son de LAW.

Arquitectura

Servicios utilizados

  • Azure Function apps se utilizan para descubrir recursos en sus suscripciones de Azure, escalar los Forwarders y configurar ajustes de diagnóstico en los recursos detectados.
  • Las Azure Container Apps se utilizan para recopilar registros de recursos generados por ajustes de diagnóstico, rastrear qué registros ya han sido procesados y enviarlos a Datadog.
  • Las Azure Storage Accounts se utilizan para almacenar registros generados por sus recursos, así como un pequeño caché de metadatos como IDs de suscripción, IDs de recursos y regiones.

Arquitectura de alto nivel

Diagrama de arquitectura que muestra tres componentes principales del reenvío automático de registros de Azure: plano de control y Forwarder de registros (desplegado por Datadog en entornos de clientes) conectándose a recursos de Azure.

La plantilla de implementación configura un plano de control y reenviadores de registros en sus suscripciones seleccionadas.

Plano de control

El plano de control es un conjunto de aplicaciones de Azure Function y una cuenta de almacenamiento para almacenamiento en caché. Un plano de control se despliega en su suscripción seleccionada y realiza las siguientes tareas:

  • Descubrimiento de recursos en sus suscripciones seleccionadas que pueden generar registros mediante ajustes de diagnóstico.
  • Configuración automática de los ajustes de diagnóstico en los recursos descubiertos para enviar registros a una cuenta de almacenamiento que los reenviadores de registros están rastreando.
  • Escalado de los reenviadores de registros en las regiones donde se encuentran sus recursos, permitiéndoles adaptarse dinámicamente al volumen de registros.

Reenviadores de registros

Los reenviadores de registros consisten en un trabajo de Azure Container Apps y una cuenta de almacenamiento para registros. Son desplegados por el plano de control en cada suscripción que seleccione para el reenviador de registros. El número de reenviadores de registros desplegados por suscripción escala según el volumen de registros generados por sus recursos. Los reenviadores de registros realizan las siguientes tareas:

  • Almacenar temporalmente los registros generados por los ajustes de diagnóstico de sus recursos en una cuenta de almacenamiento.
  • Procesar los registros almacenados y reenviarlos a Datadog.

En Azure, los ajustes de diagnóstico de un recurso solo pueden dirigirse a cuentas de almacenamiento dentro de la misma región. Por lo tanto, los reenviadores se inician en cada región donde existen recursos con ajustes de diagnóstico.

Consulte la página de Azure Ajustes de diagnóstico en Azure Monitor para más información.

Arquitectura detallada

Diagrama de flujo que muestra el reenvío automatizado de registros en Azure: el plano de control descubre recursos, escala los reenviadores de registros a través de regiones, configura los ajustes de diagnóstico para enviar registros a cuentas de almacenamiento, y luego Container Apps verifican y reenvían nuevos registros a Datadog Log Management.

Seguridad y permisos

La plantilla ARM otorga al plano de control solo los permisos necesarios para gestionar los reenviadores y establecer los ajustes de diagnóstico en sus recursos. Para lograr esto, se crean grupos de recursos y se otorgan permisos durante el despliegue de la plantilla ARM. Después de esto, puede agregar permisos para más suscripciones volviendo a desplegar la plantilla ARM.

Permisos utilizados

  • Monitoring Contributor rol a nivel de suscripción para las suscripciones seleccionadas.

    • Esto es necesario para descubrir recursos con configuraciones de diagnóstico disponibles y habilitar la salida de registros a almacenamiento.
  • Contributor rol a nivel del grupo de recursos para los grupos de recursos de reenviadores de registros en las suscripciones seleccionadas.

    • Esto es necesario para gestionar (crear y eliminar) las cuentas de almacenamiento para los reenviadores y los Container Apps jobs.
  • Website Contributor rol a nivel del grupo de recursos del plano de control para actualizar las Function Apps del plano de control.

No se exporta información sobre sus recursos. Datadog solo solicita la información necesaria para habilitar la salida de registros, y la única salida de esta arquitectura son los registros enviados a Datadog.

Nota: Opcionalmente, puede habilitar el plano de control para enviar sus propias métricas de salud, registros y eventos a Datadog con fines de depuración. Para hacer esto, establezca la variable de entorno DD_TELEMETRY=true en cualquier Function App o Container App en el plano de control.

Log archiving

Archiving logs to Azure Blob Storage requires an App Registration. If you haven’t already, follow the automatic or manual setup instructions to configure the integration using an App Registration. App Registrations created for archiving purposes do not need the Monitoring Reader role.

After configuring an App Registration, create a log archive that writes to Azure Blob Storage.

Note: If your storage bucket is in a subscription being monitored through the Azure Native integration, a redundancy warning appears in the Azure integration tile. This warning can be safely ignored for log archiving.

Desinstalar

Comience abriendo un Azure Cloud Shell, y asegúrese de que esté ejecutándose en Azure CLI/Bash, no en PowerShell.

Descargue y ejecute el script de desinstalación:

wget https://ddazurelfo.blob.core.windows.net/uninstall/uninstall.py
python uninstall.py

El script primero descubre cualquier instancia que se esté ejecutando en cada suscripción, luego le solicita que seleccione la(s) instancia(s) para desinstalar. Confirme las eliminaciones de recursos y espere a que los recursos sean eliminados.

Lectura adicional