Apache Airflow: как строят и запускают ETL-пайплайны и где научиться оркестрации данных
Apache Airflow — открытая платформа, в которой цепочку обработки данных описывают кодом на Python. Инженер или аналитик разбивает пайплайн на задачи, например «дождаться выгрузки, забрать файл, загрузить в базу, пересчитать витрину», задаёт их порядок, расписание, число повторов при сбое и получает интерфейс, где видно, что запустилось, что упало и почему. Чтобы им пользоваться, нужны Python, SQL, основы Linux и понимание того, как устроены ваши источники данных. Сам Airflow данные не преобразует: он запускает и контролирует то, что делают другие системы.
Содержание

Именно с последним чаще всего путаются новички. Если в задаче Airflow читать в память гигабайтный файл и считать его в pandas, страдают и соседние пайплайны на том же воркере. Тяжёлую работу должны выполнять база данных, Spark или отдельный контейнер, а задача Airflow — отправить команду, дождаться результата и решить, что делать дальше. Поэтому хороший DAG похож на диспетчерский план, а не на программу обработки.
Что делает оркестратор и когда он не нужен
Для одного скрипта, который раз в сутки выгружает отчёт, хватит cron: он запускает команду по расписанию и только. Проблемы начинаются, когда скрипты зависят друг от друга: витрина не должна считаться, пока не пришли заказы, а после сбоя хочется перезапустить только сломанный шаг, а не всю ночную цепочку. Cron этих связей не видит, а Airflow хранит их явно.
Основная единица в Airflow — DAG, направленный ациклический граф. Проще говоря, это задачи и стрелки между ними без возврата к пройденному шагу. Каждая задача создаётся из оператора — готового шаблона действия. BashOperator выполняет команду в терминале, PythonOperator или декоратор @task запускают функцию на Python, операторы из пакетов-провайдеров отправляют SQL-запрос в базу или запускают задание Spark. Отдельный вид операторов — сенсоры: они ничего не делают, а ждут события, например появления файла или ответа API.
Airflow плохо подходит для потоковой обработки, где события нужно обрабатывать за секунды: для этого есть Kafka и потоковые движки, о них подробно рассказывает наша статья о брокерах сообщений. Не нужен он и там, где все преобразования живут внутри одного хранилища и их удобнее описать моделями dbt: тогда Airflow остаётся лишь пусковой кнопкой для dbt. У Airflow есть и прямые конкуренты, например Dagster и Prefect.
Учебный пример: ежедневная загрузка заказов
Возьмём условную задачу. Интернет-магазин каждую ночь выкладывает в объектное хранилище файл с заказами за прошедшие сутки, а аналитикам к девяти утра нужна обновлённая витрина выручки по категориям. Пайплайн разбивают на пять задач: сенсор ждёт файл, загрузка копирует его в промежуточную таблицу PostgreSQL, SQL-задача пересобирает витрину, проверка сравнивает число строк, последняя задача пишет в рабочий чат.
В коде зависимости записывают стрелками: wait >> load >> mart >> check >> notify, и витрина не начнёт строиться, пока загрузка не завершилась успешно. Расписание задают строкой в формате cron, например 0 3 * * * — три часа ночи каждый день. Имя файла собирают из шаблона с датой интервала, поэтому тот же DAG можно перезапустить за прошлую неделю. Сенсор переводят в режим reschedule: между проверками он освобождает рабочий слот, а не держит его всё время ожидания.
Здесь же видна разница между ETL и ELT. В нашем примере сырой файл сначала ложится в базу как есть, а преобразование делает SQL внутри хранилища — это ELT. В ETL данные преобразуют до загрузки, например чтобы замаскировать персональные поля, и тогда в DAG появляется отдельная задача на внешнем движке. Подробно этот выбор разобран в нашей статье об инженере данных; для Airflow разница лишь в том, где стоит тяжёлая задача.
Что Airflow делает при сбое по умолчанию
Новички часто считают, что оркестратор «сам всё перезапустит». Справочник конфигурации Airflow 3.3.2 показывает обратное: параметр defaulttaskretries по умолчанию равен 0, то есть упавшая задача без явно заданных повторов сразу получает статус failed. Если повторы включить, пауза между ними по умолчанию — 300 секунд, а верхний предел задержки, maxtaskretrydelay, — 86 400 секунд, то есть сутки. Параметр defaulttaskexecutiontimeout по умолчанию пуст: операторы не прерываются по времени, и зависший запрос к внешнему API может занимать слот часами.
На практике это значит, что в нашем примере нужно явно прописать retries и retrydelay хотя бы для задачи загрузки, которая ходит в сеть, и executiontimeout для каждой задачи. С сенсором есть своя тонкость. В документации о задачах сказано: если сенсор превысил свой timeout, он падает сразу и не повторяется, даже когда retries задан; повторы срабатывают только при других ошибках, например сетевых. Поэтому timeout сенсора выбирают по бизнес-сроку: если файл не пришёл к семи утра, витрину к девяти уже не успеть, и лучше сразу поднять тревогу.
Повторы безопасны только тогда, когда задача при повторном запуске даёт тот же результат. Загрузка, которая дописывает строки в конец таблицы, после ретрая удвоит выручку за день, поэтому шаг загрузки сначала очищает партицию за свою дату, а потом записывает её заново.
По умолчанию задана и параллельность: 32 одновременные задачи на планировщик и 16 задач внутри одного запуска DAG. Если к одной базе ходят двадцать DAG, её защищают отдельным пулом с несколькими слотами.
Мониторинг: как понять, что пайплайн сломался
Веб-интерфейс Airflow показывает сетку запусков, где цвет ячейки — состояние задачи. Отсюда открывают лог, перезапускают задачу вместе с зависимыми шагами или отмечают её успешной, если данные поправили вручную. Но ждать, пока кто-то заглянет в интерфейс, рискованно. Обычно в DAG добавляют функцию onfailurecallback, которая при падении шлёт сообщение в чат или систему оповещений, а метрики планировщика выводят в Prometheus и Grafana.
Зелёный статус не означает правильные данные: задача может успешно загрузить пустой файл, и витрина покажет нулевую выручку. Поэтому в пайплайн встраивают проверки: число строк не меньше обычного, суммы сходятся с источником, ключи уникальны. Упавшая проверка останавливает цепочку раньше, чем неверные цифры увидит руководитель.
С чего начать и в каком порядке осваивать
Порядок здесь задаётся зависимостями самих навыков. Без SQL и Python писать задачи нечем, без Docker не поднять Airflow локально, а ретраи и пулы имеет смысл настраивать только тогда, когда есть пайплайн, который может упасть. Поэтому план идёт от одного работающего DAG к его усложнению:
- Поднимите Airflow через официальный docker-compose из документации и запустите учебный DAG из примеров.
- Напишите DAG из двух задач на декораторе @task: скачать открытые данные по API и сохранить их в PostgreSQL.
- Добавьте сенсор, SQL-задачу для витрины и проверку числа строк, свяжите их стрелками.
- Сломайте пайплайн нарочно: отключите сеть, подложите пустой файл, повесьте долгий запрос. Настройте retries, execution_timeout и оповещение.
- Перезапустите DAG за прошлую дату и убедитесь, что в витрине нет дублей.
Типичные ошибки новичков видны уже на этих шагах: тяжёлые вычисления внутри задачи Airflow, обращения к базе прямо на верхнем уровне файла DAG (этот код выполняется при каждом разборе файла планировщиком), передача таблиц через XCom, который предназначен для небольших служебных значений. Проверка результата: DAG переживает перезапуск любой задачи, а коллега по графу понимает, что делает каждый шаг.
Где учиться оркестрации данных
Курс нужен, когда самостоятельный DAG уже работает, но не хватает обратной связи и общей картины: хранилища, потоки, качество данных. Ниже три программы разных онлайн-школ с Airflow в плане; число часов именно на оркестрацию уточняйте у каждой школы.
Для тех, кто уже уверенно работает в Linux и пишет скрипты на Python, подходит курс Слёрма «Инженер данных: основы работы». Это 120 часов, из них 88 практики, обучение в своём темпе на стендах. Один из разделов посвящён ETL и ELT, оркестрации, Airflow, Kafka и NiFi, рядом — dbt и качество данных. Практика включает выгрузку из API, витрины с месячными агрегатами и перенос данных из PostgreSQL в ClickHouse.
Самостоятельный формат подходит не всем: тому, кто не привык разбирать ошибки без подсказки, нужны живые разборы и ритм занятий.
Такой ритм задаёт онлайн-курс TeachMeSkills «Дата-инженер»: 6,5 месяца, 200 академических часов, только живые занятия по вечерам дважды в неделю, без записей. Программа начинается с Python и SQL, отдельный модуль посвящён Airflow: DAG, планирование, мониторинг. Подробный план модуля и состав итогового проекта на странице не описаны — запросите их до оплаты.
Аналитику, которому Airflow нужен для автоматизации собственных отчётов, а не для смены профессии, полноценная программа инженера данных избыточна. Ему важнее связка SQL, Python и одного регулярного пайплайна.
На этот случай есть курс Академии ТОП «Аналитик данных + ИИ»: 5 месяцев, 160 академических часов, Python, Git, SQL, статистика и визуализация, а Apache Airflow вынесен в дополнительный блок перед дипломным проектом. Объём блока не раскрыт, а формат обучения в карточке и на сайте школы указан по-разному — уточните и то и другое.
Какую бы программу вы ни выбрали, итогом обучения должен стать проект, который можно показать: репозиторий с DAG, docker-compose для запуска, описанием источников и тем, как пайплайн ведёт себя при сбое. По нему видно, понимаете ли вы зависимости, повторы и проверки данных.
При выборе программы проверьте, будет ли у вас свой Airflow, где можно ломать и чинить DAG, разбирают ли ретраи, таймауты и перезапуск за прошлую дату и проверяет ли кто-то ваш код. Сравнить школы по инженерии данных целиком помогает рейтинг онлайн-школ по Data Engineering на Учи.Онлайн: он охватывает всё направление, а не один инструмент.
Как навык Airflow влияет на доход
Отдельной профессии «специалист по Airflow» нет: навык входит в требования к инженерам данных, а иногда к аналитикам и MLOps-инженерам. По калькулятору зарплат «Хабр Карьеры» на 14 октября 2026 года инженеры по данным с навыком Apache Airflow по России указывают 289 916 ₽ в месяц, расчёт основан на 86 анкетах всех уровней. Для всех инженеров по данным калькулятор на ту же дату показывает 256 666 ₽ по 374 анкетам.
Это зарплаты, которые сообщили сами пользователи, а не предложения в вакансиях; период расчёта и разбивка по уровням на открытой странице не показаны, выборка с Airflow небольшая. Разница около 33 тысяч рублей не означает, что Airflow сам по себе прибавляет столько к зарплате: состав выборок по опыту и региону на странице не сопоставить. Честнее сказать так: без оркестрации трудно претендовать на позицию инженера данных, а у аналитика умение самому поставить отчёт на расписание снимает зависимость от чужой очереди задач.