Amazon MWAA

Información general

Amazon Managed Workflows para Apache Airflow (MWAA) es un servicio gestionado para Apache Airflow que facilita la creación y administración de flujos de trabajo en la nube.

Habilita esta integración para ver todas tus métricas de Amazon MWAA en Datadog.

Configuración

Instalación

Si aún no lo has hecho, configura primero la integración Amazon Web Services.

Recopilación de métricas

  1. En la página de integración de AWS, asegúrate de que MWAA está activado en la pestaña Metric Collection.
  2. Instala la integración de Datadog y Amazon Managed Workflows para Apache Airflow (MWAA).

Recopilación de logs

  1. Configura Amazon MWAA para enviar logs a CloudWatch.
  2. Enviar los logs a Datadog.

Datos recopilados

Métricas

aws.mwaa.collect_dbdags
(gauge)
Promedio de milisegundos necesarios para obtener todos los datos serializados de la base de datos. Disponible en Airflow v1 y v2.
Se muestra en milisegundos
aws.mwaa.collect_dbdags.maximum
(gauge)
Máximo de milisegundos que se tarda en obtener todos los datos serializados de la base de datos. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.collect_dbdags.minimum
(gauge)
Mínimo de milisegundos que se tarda en obtener todos los datos serializados de la base de datos. Disponible en Airflow v1 y v2.
Se muestra en milisegundos
aws.mwaa.critical_section_busy
(count)
Recuento de veces que un proceso programador intentó obtener un bloqueo en la sección crítica (necesaria para enviar tareas al ejecutor) y lo encontró bloqueado por otro proceso. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.critical_section_duration
(gauge)
Promedio de milisegundos transcurridos en la sección crítica del bucle del programador: solo un programador puede entrar en este bucle a la vez. Solo disponible en Airflow v2.
Se muestra como milisegundo
aws.mwaa.critical_section_duration.maximum
(gauge)
Milisegundos máximos pasados en la sección crítica del bucle del programador, solo un programador puede entrar en este bucle a la vez. Solo disponible en Airflow v2.
Se muestra como milisegundo
aws.mwaa.critical_section_duration.minimum
(gauge)
Mínimo de milisegundos pasados en la sección crítica del bucle del programador, solo un programador puede entrar en este bucle a la vez. Solo disponible en Airflow v2.
Se muestra como milisegundo
aws.mwaa.dag_bag_size
(count)
Número de DAGs encontrados cuando el programador ejecutó un escaneo basado en su configuración. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.dag_callback_exceptions
(count)
Número de excepciones generadas por las devoluciones de llamada DAG. Cuando esto ocurre, significa que la devolución de llamada DAG no está funcionando. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.dagdependency_check
(gauge)
Promedio de milisegundos que se tarda en comprobar las dependencias DAG. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagdependency_check.maximum
(gauge)
Máximo de milisegundos que se tarda en comprobar las dependencias DAG. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagdependency_check.minimum
(gauge)
Mínimo de milisegundos que se tarda en comprobar las dependencias DAG. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagduration_failed
(gauge)
Milisegundos que tarda un DagRun en alcanzar el estado de fallo. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagduration_success
(gauge)
Milisegundos que tarda un DagRun en alcanzar el estado de éxito. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagfile_processing_last_duration
(gauge)
Promedio de milisegundos que se tarda en cargar el archivo DAG dado. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagfile_processing_last_duration.maximum
(gauge)
Máximo de milisegundos que se tarda en cargar el archivo DAG dado. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagfile_processing_last_duration.minimum
(gauge)
Mínimo de milisegundos que se tarda en cargar el archivo DAG dado. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.dagfile_processing_last_run_seconds_ago
(gauge)
Segundos transcurridos desde el último procesamiento de <dag_file>. Disponible en Airflow v1 y v2.
Se muestra como segundo
aws.mwaa.dagfile_refresh_error
(count)
Número de fallos al cargar cualquier archivo DAG. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.dagschedule_delay
(gauge)
Milisegundos de retraso entre la fecha programada de inicio de DagRun y la fecha real de inicio de DagRun. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.exception_failures
(count)
Número de fallos causados por una excepción en el bucle de sondeo del sensor inteligente anterior. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.failed_slaemail_attempts
(count)
Número de intentos fallidos de notificación por correo electrónico de SLA fallidos. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.first_task_scheduling_delay
(gauge)
Milisegundos transcurridos entre la fecha de inicio de la primera tarea y el inicio previsto de dagrun. Solo disponible en Airflow v2.
Se muestra como milisegundo
aws.mwaa.import_errors
(count)
Número de errores al intentar analizar archivos DAG. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.infra_failures
(count)
Número de fallos de la infraestructura en el bucle de sondeo del sensor inteligente anterior. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.job_end
(count)
Número de trabajos <job_name> terminados, por ejemplo, SchedulerJob, LocalTaskJob. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.job_heartbeat_failure
(count)
Número de Heartbeats fallidos para un trabajo <job_name>, por ejemplo, SchedulerJob, LocalTaskJob. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.job_start
(count)
Número de trabajos <job_name> iniciados, por ejemplo, SchedulerJob, LocalTaskJob. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.manager_stalls
(count)
Número de DagFileProcessorManager estancados. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.open_slots
(count)
Número de ranuras abiertas en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.operator_failures
(count)
Errores del operador <operator_name>. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.operator_successes
(count)
Éxitos del operador <operator_name>. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.orphaned_tasks_adopted
(count)
Número de tareas huérfanas adoptadas por el Programador. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.orphaned_tasks_cleared
(count)
Número de tareas huérfanas borradas por el Programador. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.poked_exceptions
(count)
Número de excepciones en el bucle de sondeo del sensor inteligente anterior. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.poked_success
(count)
Número de nuevas tareas ejecutadas con éxito por el sensor inteligente en el bucle de ejecución anterior. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.poked_tasks
(count)
Número de tareas pinchadas por el sensor inteligente en el bucle de pinchado anterior. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.pool_open_slots
(count)
Número de ranuras abiertas en el grupo. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.pool_queued_slots
(count)
Número de ranuras en cola en el grupo. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.pool_running_slots
(count)
Número de ranuras en funcionamiento en el grupo. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.pool_starving_tasks
(count)
Número de tareas hambrientas en el grupo. Disponible en Airflow v1 y v2.
Se muestra como unidad.
aws.mwaa.pool_used_slots
(count)
Número de ranuras utilizadas en el grupo. Solo disponible en Airflow v1.
Se muestra como unidad
aws.mwaa.processor_timeouts
(count)
Número de procesadores de archivos que han muerto por tardar demasiado. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.queued_tasks
(count)
Número total de tareas en cola en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.queued_tasks.average
(gauge)
Número medio de tareas en cola en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.running_tasks
(count)
Número total de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.running_tasks.average
(gauge)
Número medio de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.scheduler_heartbeat
(count)
Latidos del programador. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_instance_created_using_operator
(count)
Número de instancias de tareas creadas para un operador determinado. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_instance_duration
(gauge)
Milisegundos que se tarda en finalizar una tarea. Disponible en Airflow v1 y v2.
Se muestra como milisegundo
aws.mwaa.task_instance_failures
(count)
Fallos globales de las instancias de tareas. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_instance_finished
(count)
Número de tareas completadas en un día determinado. Similar a <job_name>_end pero para la tarea. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.task_instance_previously_succeeded
(count)
Número de instancias de tareas realizadas con éxito anteriormente. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.task_instance_started
(count)
Número de tareas iniciadas en un día determinado. Similar a <job_name>_start pero para tarea. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.task_instance_successes
(count)
Éxitos globales de las instancias de tareas. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_removed_from_dag
(count)
Número de tareas eliminadas para un dag determinado (es decir, la tarea ya no existe en el DAG). Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_restored_to_dag
(count)
Número de tareas restauradas para un dag determinado (es decir, la instancia de tarea que anteriormente se encontraba en estado REMOVED en la base de datos se añade al archivo DAG). Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.task_timeout_error
(count)
Número de errores AirflowTaskTimeout generados al publicar una tarea en Celery Broker. Solo disponible en Airflow v2.
Se muestra como unidad
aws.mwaa.tasks_executable
(count)
Número total de tareas que están listas para su ejecución (en cola) con respecto a los límites del grupo, la concurrencia del DAG, el estado del ejecutor y la prioridad. Disponible en Airflow v1 y v2.
Se muestra como unidad.
aws.mwaa.tasks_executable.average
(gauge)
Número medio de tareas que están listas para su ejecución (en cola) con respecto a los límites del grupo, la concurrencia del DAG, el estado del ejecutor y la prioridad. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_killed_externally
(count)
Número total de tareas eliminadas externamente. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_killed_externally.average
(count)
Número medio de tareas eliminadas externamente. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_pending
(count)
Suma el número de tareas pendientes. Disponible en Airflow v1.
Se muestra como unidad
aws.mwaa.tasks_pending.average
(gauge)
Número medio de tareas pendientes. Disponible tanto en Airflow v1.
Se muestra como unidad
aws.mwaa.tasks_running
(count)
Número total de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_running.average
(gauge)
Número medio de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_starving
(count)
Número total de tareas que no se pueden programar porque no hay ningún espacio libre en el grupo. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_starving.average
(gauge)
Número medio de tareas que no se pueden programar porque no hay espacio libre en el grupo. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_without_dag_run
(count)
Número de tareas sin DagRuns o con DagRuns que no están en estado de ejecución. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.total_parse_time
(gauge)
Promedio de segundos necesarios para escanear e importar todos los archivos DAG una vez. Disponible en Airflow v1 y v2.
Se muestra en segundos
aws.mwaa.total_parse_time.maximum
(gauge)
Máximo de segundos que se tarda en escanear e importar todos los archivos DAG de una vez. Disponible en Airflow v1 y v2.
Se muestra como segundo
aws.mwaa.total_parse_time.minimum
(gauge)
Segundos mínimos necesarios para escanear e importar todos los archivos DAG una vez. Disponible en Airflow v1 y v2.
Se muestra como segundo
aws.mwaa.zombies_killed
(count)
Tareas de zombis abatidos. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.queued_tasks.max
(gauge)
Número máximo de tareas en cola en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.queued_tasks.min
(gauge)
Número mínimo de tareas en cola en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.running_tasks.max
(gauge)
Número máximo de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.running_tasks.min
(gauge)
Número mínimo de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_executable.max
(gauge)
Número máximo de tareas que están listas para su ejecución (en cola) con respecto a los límites del grupo, la concurrencia del DAG, el estado del ejecutor y la prioridad. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_executable.min
(gauge)
Número mínimo de tareas que están listas para su ejecución (en cola) con respecto a los límites del grupo, la concurrencia del DAG, el estado del ejecutor y la prioridad. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_killed_externally.max
(count)
Número máximo de tareas eliminadas externamente. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_killed_externally.min
(count)
Número mínimo de tareas eliminadas externamente. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_pending.max
(gauge)
Número máximo de tareas pendientes. Disponible tanto en Airflow v1.
Se muestra como unidad
aws.mwaa.tasks_pending.min
(gauge)
Número mínimo de tareas pendientes. Disponible tanto en Airflow v1.
Se muestra como unidad
aws.mwaa.tasks_running.max
(gauge)
Número máximo de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_running.min
(gauge)
Número mínimo de tareas en ejecución en el ejecutor. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_starving.max
(gauge)
Número máximo de tareas que no se pueden programar porque no hay ningún espacio libre en el grupo. Disponible en Airflow v1 y v2.
Se muestra como unidad
aws.mwaa.tasks_starving.min
(gauge)
Número mínimo de tareas que no se pueden programar porque no hay espacio libre en el grupo. Disponible en Airflow v1 y v2.
Se muestra como unidad

Eventos

La integración de Amazon Managed Workflows para Apache Airflow (MWAA) no incluye ningún evento.

Checks de servicio

La integración de Amazon Managed Workflows para Apache Airflow (MWAA) no incluye ningún check de servicio.

Solucionar problemas

¿Necesitas ayuda? Ponte en contacto con el soporte de Datadog.