Запись // 20.04.2024
Паттерны пайплайнов в Airflow
#Пайплайны-данных
#ETL
#Airflow
Обеспечение идемпотентности в ежедневных загрузках (ETL).
Чек-лист
- XИспользовать logical_date вместо datetime.now()
- XПаттерн DELETE-INSERT перед загрузкой
- По умолчанию Catchup=False