Mettez à niveau le fournisseur OpenLineage sur Amazon MWAA pour Airflow 2.7.2, 2.8.1 ou 2.9.2.
Ce produit n'est pas pris en charge pour le
site Datadog que vous avez sélectionné. (
).
Présentation
Utilisez ce guide si votre environnement Amazon MWAA exécute Airflow 2.7.2, 2.8.1 ou 2.9.2.
Pour ces versions d’Airflow, les contraintes par défaut de MWAA épinglent des versions plus anciennes de apache-airflow-providers-openlineage et des packages OpenLineage. Ces versions peuvent entraîner des problèmes connus de fiabilité et de compatibilité, ce qui peut dégrader l’expérience d’utilisation de Data Observability.
Pour utiliser des versions de fournisseur incluant ces correctifs, mettez à jour les contraintes et les exigences ensemble. Amazon MWAA applique des contraintes de package pour chaque version d’Airflow et de Python, donc la mise à niveau des packages OpenLineage peut entrer en conflit avec les valeurs par défaut de MWAA, sauf si vous fournissez des contraintes personnalisées.
Pour plus de détails sur le comportement des dépendances et des contraintes MWAA, consultez la documentation AWS sur les dépendances Python. Pour consulter la compatibilité et les exigences du fournisseur, consultez la documentation du fournisseur OpenLineage.
Pour les étapes de configuration de base, consultez Activez Data Observability : Jobs Monitoring pour Apache Airflow.
Pour les autres versions de MWAA
Si votre environnement MWAA exécute une version d’Airflow qui n’est pas répertoriée dans ce guide, Datadog recommande d’utiliser la version apache-airflow-providers-openlineage la plus récente compatible avec votre version d’Airflow. Utilisez le tableau de compatibilité du fournisseur Airflow OpenLineage pour choisir cette version, puis suivez le même modèle de contraintes :
- Téléchargez le fichier de contraintes MWAA pour vos versions d’Airflow et de Python.
- Mettez à jour l’épinglage du fournisseur OpenLineage et tous les épinglages de dépendances OpenLineage requis dans
constraints.txt. - Épinglez les mêmes versions dans
requirements.txt. - Téléchargez les deux fichiers dans votre bucket S3 MWAA et mettez à jour l’environnement MWAA.
Datadog recommande d’utiliser la version de fournisseur compatible la plus récente disponible pour votre version d’Airflow. Consultez le log des modifications du fournisseur OpenLineage avant la mise à jour, car les versions du fournisseur peuvent modifier la version minimale d’Airflow prise en charge ou les versions de dépendances requises.
Prérequis
- Accès au compartiment Amazon S3 configuré pour votre environnement MWAA
- Autorisation de mettre à jour
requirements.txt et la configuration de l’environnement MWAA
Versions recommandées
Le tableau suivant présente les versions par défaut épinglées par les contraintes MWAA et les versions de mise à niveau recommandées pour chaque version d’Airflow :
| Package | Airflow 2.7.2 | Airflow 2.8.1 | Airflow 2.9.2 |
|---|
apache-airflow-providers-openlineage | Par défaut : 1.1.0 Mise à niveau : 1.14.0 - Roue corrigée Datadog | Par défaut : 1.4.0 Mise à niveau : 1.14.0 | Par défaut : 1.8.0 Mise à niveau : 2.2.0 |
apache-airflow-providers-common-sql | Par défaut : 1.7.2 Mise à niveau : aucun changement | Par défaut : 1.10.0 Mise à niveau : 1.20.0 | Par défaut : 1.14.0 Mise à niveau : 1.21.0 |
apache-airflow-providers-common-compat | Par défaut : n/a Mise à niveau : 1.2.2 - Roue corrigée Datadog | Par défaut : n/a Mise à niveau : 1.2.1 | Par défaut : n/a Mise à niveau : 1.4.0 |
openlineage-integration-common | Par défaut : 1.3.1 Mise à niveau : 1.24.2 | Par défaut : 1.7.0 Mise à niveau : 1.24.2 | Par défaut : 1.16.0 Mise à niveau : 1.31.0 |
openlineage-python | Par défaut : 1.3.1 Mise à niveau : 1.24.2 | Par défaut : 1.7.0 Mise à niveau : 1.24.2 | Par défaut : 1.16.0 Mise à niveau : 1.31.0 |
openlineage-sql | Par défaut : 1.3.1 Mise à niveau : 1.24.2 | Par défaut : 1.7.0 Mise à niveau : 1.24.2 | Par défaut : 1.16.0 Mise à niveau : 1.31.0 |
Mettez à jour les contraintes et les exigences
Airflow 2.7.2 n’est pas compatible avec le package apache-airflow-providers-openlineage 1.14.0 en amont. Datadog fournit des versions corrigées des packages de fournisseur et common-compat avec des contraintes de version Airflow assouplies pour une utilisation sur MWAA 2.7.2.
Téléchargez les fichiers wheel corrigés et téléversez-les dans votre compartiment S3 MWAA :
MWAA_BUCKET=<MWAA_BUCKET_NAME>
curl -Lo apache_airflow_providers_openlineage-1.14.0-py3-none-any.whl \
"https://docs.datadoghq.com/resources/whl/apache_airflow_providers_openlineage-1.14.0-py3-none-any.whl"
curl -Lo apache_airflow_providers_common_compat-1.2.2-py3-none-any.whl \
"https://docs.datadoghq.com/resources/whl/apache_airflow_providers_common_compat-1.2.2-py3-none-any.whl"
aws s3 cp apache_airflow_providers_openlineage-1.14.0-py3-none-any.whl "s3://${MWAA_BUCKET}/dags/"
aws s3 cp apache_airflow_providers_common_compat-1.2.2-py3-none-any.whl "s3://${MWAA_BUCKET}/dags/"
Téléchargez le fichier de contraintes Airflow :
curl -o constraints.txt \
"https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt"
Remarque : Vérifiez la version de Python pour votre environnement MWAA. Si votre environnement utilise une version de Python différente, remplacez 3.11 dans l’URL.
Modifiez constraints.txt et mettez à jour ces épinglages de package :
apache-airflow-providers-openlineage==1.14.0
openlineage-integration-common==1.24.2
openlineage-python==1.24.2
openlineage-sql==1.24.2
Ajoutez également la ligne suivante, car elle n’est pas présente dans le fichier de contraintes par défaut :
apache-airflow-providers-common-compat==1.2.2
Aucun changement n’est nécessaire pour apache-airflow-providers-common-sql (le 1.7.2 par défaut est compatible).
Téléversez le fichier de contraintes mis à jour dans votre compartiment S3 MWAA :
aws s3 cp constraints.txt "s3://${MWAA_BUCKET}/dags/constraints.txt"
Mettez à jour requirements.txt pour référencer les roues corrigées et les contraintes :
--constraint /usr/local/airflow/dags/constraints.txt
/usr/local/airflow/dags/apache_airflow_providers_openlineage-1.14.0-py3-none-any.whl
/usr/local/airflow/dags/apache_airflow_providers_common_compat-1.2.2-py3-none-any.whl
openlineage-integration-common==1.24.2
openlineage-python==1.24.2
openlineage-sql==1.24.2
Téléversez le fichier requirements.txt mis à jour :
aws s3 cp requirements.txt "s3://${MWAA_BUCKET}/requirements.txt"
Téléchargez le fichier de contraintes Airflow :
curl -o constraints.txt \
"https://raw.githubusercontent.com/apache/airflow/constraints-2.8.1/constraints-3.11.txt"
Remarque : Vérifiez la version de Python pour votre environnement MWAA. Si votre environnement utilise une version de Python différente, remplacez 3.11 dans l’URL.
Modifiez constraints.txt et mettez à jour ces épinglages de package :
apache-airflow-providers-openlineage==1.14.0
apache-airflow-providers-common-sql==1.20.0
openlineage-integration-common==1.24.2
openlineage-python==1.24.2
openlineage-sql==1.24.2
Ajoutez également la ligne suivante, car elle n’est pas présente dans le fichier de contraintes par défaut :
apache-airflow-providers-common-compat==1.2.1
Téléversez le fichier de contraintes mis à jour dans votre compartiment S3 MWAA :
MWAA_BUCKET=<MWAA_BUCKET_NAME>
aws s3 cp constraints.txt "s3://${MWAA_BUCKET}/dags/constraints.txt"
Mettez à jour requirements.txt pour référencer le fichier de contraintes et épingler les versions des paquets mis à niveau :
--constraint /usr/local/airflow/dags/constraints.txt
apache-airflow-providers-openlineage==1.14.0
apache-airflow-providers-common-sql==1.20.0
apache-airflow-providers-common-compat==1.2.1
openlineage-integration-common==1.24.2
openlineage-python==1.24.2
openlineage-sql==1.24.2
Téléversez le fichier requirements.txt mis à jour :
aws s3 cp requirements.txt "s3://${MWAA_BUCKET}/requirements.txt"
Téléchargez le fichier de contraintes Airflow :
curl -o constraints.txt \
"https://raw.githubusercontent.com/apache/airflow/constraints-2.9.2/constraints-3.11.txt"
Remarque : Vérifiez la version de Python pour votre environnement MWAA. Si votre environnement utilise une version de Python différente, remplacez 3.11 dans l’URL.
Modifiez constraints.txt et mettez à jour ces épinglages de package :
apache-airflow-providers-openlineage==2.2.0
apache-airflow-providers-common-sql==1.21.0
openlineage-integration-common==1.31.0
openlineage-python==1.31.0
openlineage-sql==1.31.0
Ajoutez également la ligne suivante, car elle n’est pas présente dans le fichier de contraintes par défaut :
apache-airflow-providers-common-compat==1.4.0
Téléversez le fichier de contraintes mis à jour dans votre compartiment S3 MWAA :
MWAA_BUCKET=<MWAA_BUCKET_NAME>
aws s3 cp constraints.txt "s3://${MWAA_BUCKET}/dags/constraints.txt"
Mettez à jour requirements.txt pour référencer le fichier de contraintes et épingler les versions des paquets mis à niveau :
--constraint /usr/local/airflow/dags/constraints.txt
apache-airflow-providers-openlineage==2.2.0
apache-airflow-providers-common-sql==1.21.0
apache-airflow-providers-common-compat==1.4.0
openlineage-integration-common==1.31.0
openlineage-python==1.31.0
openlineage-sql==1.31.0
Téléversez le fichier requirements.txt mis à jour :
aws s3 cp requirements.txt "s3://${MWAA_BUCKET}/requirements.txt"
Déployez et validez
- Dans la console MWAA, mettez à jour l’environnement afin qu’il prenne en compte le nouveau
requirements.txt. - Attendez que la mise à jour de l’environnement soit terminée.
- Examinez les logs d’installation et de démarrage de MWAA. Confirmez qu’il n’y a aucune erreur de résolution de dépendances.
- Déclenchez une exécution de DAG qui émet des événements OpenLineage.
- Dans Datadog, vérifiez que les exécutions apparaissent sur la page Data Observability: Jobs Monitoring.
Dépannage
- Si la résolution des dépendances échoue toujours, vérifiez que les mêmes versions de paquets sont épinglées dans
constraints.txt et requirements.txt. - Si MWAA installe des versions plus anciennes, vérifiez que
requirements.txt pointe vers --constraint /usr/local/airflow/dags/constraints.txt et que le fichier existe dans votre chemin S3 dags/. - Si les chargements ou les lectures échouent, vérifiez que le rôle d’exécution MWAA a accès aux objets S3 requis. Pour plus de détails, consultez Rôle d’exécution Amazon MWAA.
Si vous gérez une image personnalisée
Si votre équipe gère les versions des paquets via une image Airflow personnalisée, mettez d’abord à jour les versions des paquets dans la définition de l’image, puis régénérez requirements.txt à partir de l’image construite afin que les contraintes et les exigences restent alignées.