Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Celery для Python-разработчика: фоновые задачи, очереди, Flower и где этому учат

Celery — библиотека для Python, которая выполняет работу вне обработчика веб-запроса. Приложение кладёт сообщение о задаче в брокер (Redis или RabbitMQ), отдельный процесс-воркер забирает его, выполняет функцию и при необходимости записывает результат в бэкенд результатов. Так отправляют письма, собирают отчёты, обрабатывают файлы и запускают задачи по расписанию через beat. Чтобы пользоваться Celery уверенно, нужно понять подтверждение сообщений и повторы, писать задачи, которые безопасно выполнить дважды, разводить работу по очередям и следить за воркерами во Flower.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Celery для Python-разработчика: фоновые задачи, очереди, Flower и где этому учат

Главное заблуждение новичка — считать, что вызов send_invoice.delay(order_id) означает «счёт уйдёт ровно один раз». На деле delay() лишь публикует сообщение. Задача может потеряться, если воркер упал после подтверждения, или выполниться дважды, если сообщение вернулось в очередь. Поэтому работа с Celery начинается не с декоратора @app.task, а с вопроса, что произойдёт при повторе.

Какую задачу решает Celery и когда он лишний

Веб-сервер должен отвечать за доли секунды. Если обработчик заказа ждёт почтовый сервис и собирает PDF, пользователь смотрит на индикатор загрузки, а процессы сервера заняты ожиданием. Celery позволяет ответить сразу, а медленную часть передать воркерам: отправить письмо, сжать изображения, синхронизировать данные с внешним API, раз в сутки удалить просроченные черновики.

Celery лишний, если результат нужен в том же ответе. Для одного письма в FastAPI часто хватает встроенных BackgroundTasks, хотя они пропадут при перезапуске сервера. Конвейеры данных с зависимостями между шагами удобнее строить в Airflow, а маршрутизацию RabbitMQ и журналы Kafka мы разбирали в статье о брокерах сообщений. Здесь речь о том, как фоновыми задачами управляет само Python-приложение.

Брокер, воркер и бэкенд результатов

По описанию проекта на PyPI полностью поддерживаются брокеры RabbitMQ и Redis, последняя стабильная версия — 5.6.3 от 26 марта 2026 года. Воркер — отдельный процесс celery worker с пулом дочерних процессов. Бэкенд результатов хранит статус и возвращаемое значение задачи и нужен, только если приложение спрашивает «готов ли отчёт». По умолчанию результаты удаляются через сутки (result_expires), так что ссылку «проверить статус» не стоит давать пользователю на неделю.

Учебный пример: счёт по заказу в Django

Ситуация учебная. Магазин на Django после оформления заказа формирует PDF-счёт и отправляет его покупателю; почтовый сервис иногда отвечает ошибкой. Нужно, чтобы страница заказа открывалась сразу, а счёт приходил один раз даже после сбоя.

Задача send_invoice(order_id) получает идентификатор, а не объект модели: руководство по задачам Celery предупреждает, что объект, сериализованный при вызове, к началу выполнения может устареть. Если заказ создаётся в транзакции, воркер способен взять задачу раньше фиксации и не найти запись, поэтому с версии 5.4 есть delay_on_commit(). Для сбоев почты задают autoretry_for и retry_backoff=True: паузы растут, по умолчанию не дольше 600 секунд, и включён случайный разброс, чтобы упавшие задачи не ударили по сервису одновременно. Без настройки max_retries равен трём. Перед отправкой задача проверяет поле invoice_sent_at и при повторе просто завершается — это и есть идемпотентность.

Почему задача выполняется дважды

По умолчанию воркер подтверждает сообщение до выполнения: если процесс упадёт посреди работы, задача потеряна. acks_late переносит подтверждение на конец, и упавшая задача вернётся в очередь. Но руководство уточняет: если дочерний процесс убит сигналом, сообщение всё равно подтверждается, и для повторной доставки нужна ещё task_reject_on_worker_lost — с риском бесконечного цикла, если задача стабильно убивает процесс нехваткой памяти.

С Redis в роли брокера есть ловушка, о которой узнают уже в продакшене. В документации Celery о Redis сказано, что тайм-аут видимости (visibility timeout) по умолчанию равен одному часу: неподтверждённое за это время сообщение Redis отдаёт другому воркеру. Задача с eta, countdown или отложенным повтором, ждущая дольше часа, будет выдана повторно — документация называет это выполнением «снова и снова в цикле». Если несколько приложений делят брокер с разными настройками, действует самый короткий тайм-аут. Увеличивать его под самую длинную отсрочку не советуют: хуже восстановление после падения воркера. Письмо «оцените заказ через три дня» правильнее не ставить через countdown, а сохранить дату в таблице и раз в несколько минут выбирать созревшие записи периодической задачей.

Расписание, очереди и приоритеты

Celery beat — отдельный процесс, который кладёт задачи в брокер по расписанию. Раздел о периодических задачах требует, чтобы для расписания работал один экземпляр beat, иначе задачи дублируются: если запустить beat в каждой реплике веб-сервиса, ночной отчёт уйдёт несколько раз. Время по умолчанию — UTC; в Django расписание часто хранят в базе через django-celery-beat.

Без маршрутизации всё попадает в очередь celery, и сотня отчётов встаёт перед письмами о сбросе пароля. Через task_routes отчёты отправляют в reports, письма — в emails и запускают для них отдельных воркеров. По умолчанию каждый процесс заранее берёт до четырёх сообщений (worker_prefetch_multiplier); для долгих задач множитель ставят равным единице, иначе одни процессы простаивают, а другие держат чужие задачи.

Приоритеты в брокерах устроены по-разному. В RabbitMQ очередь объявляют с x-max-priority. В Redis приоритетов нет, и по руководству о маршрутизации Celery имитирует их отдельными списками: десять уровней сводятся к четырём, а 0 — наивысший приоритет. Код, перенесённый между брокерами без проверки, начинает обслуживать важные задачи последними.

Flower и что смотреть кроме него

Flower — веб-интерфейс, который показывает воркеров, выполняемые и упавшие задачи, их аргументы и время работы и позволяет отменить задачу. В рабочей системе он инструмент разбора, а не сигнал тревоги: важнее длина очередей в брокере, доля повторов и время выполнения. Лимиты task_soft_time_limit и task_time_limit по умолчанию не заданы, поэтому зависший запрос к API может занять процесс надолго. Flower закрывают авторизацией: в аргументах задач бывают адреса почты клиентов.

С чего начать и в каком порядке осваивать

Порядок идёт от модели к деталям: сначала увидеть путь сообщения от приложения к воркеру, затем научиться ломать цепочку и только потом заниматься расписанием и мониторингом. С готовым шаблоном, где всё настроено, ошибки с повторами останутся непонятыми.

  1. База: функции и исключения в Python, один веб-фреймворк, Docker Compose с Redis или RabbitMQ.
  2. Первая задача: delay(), запуск воркера, результат через бэкенд.
  3. Повторы, лимиты времени, идемпотентность через проверку состояния в базе.
  4. Надёжность: acks_late, остановка воркера посреди задачи, visibility timeout.
  5. Beat в одном экземпляре, task_routes, отдельные воркеры, prefetch, Flower.

Всё это можно пройти по документации на одном учебном проекте. Тем, кто уже пишет на Python и хочет увидеть Celery рядом с API, подойдёт интенсив Слёрма «Python: работа с фреймворками и API»: по карточке это запись трёхдневного интенсива 2022 года за 7 000 ₽, второй день посвящён тестированию API, Sentry, OAuth и отложенным задачам на Celery с Flower. Живого общения и проверки заданий нет, какой брокер используют, на странице не сказано.

Открыть курс «Python: работа с фреймворками и API»

Упражнения и ошибки новичков

Каждое упражнение проверяет одну гарантию, а результат оценивают по поведению при сбое. Остановите воркер kill -9 во время долгой задачи без acks_late и с ним и сравните очередь. Уменьшите visibility timeout до минуты, поставьте задачу с countdown на пять минут и посчитайте запуски. Запустите два beat. Отключите почтовый сервис в Docker Compose и убедитесь, что после восстановления письмо приходит один раз.

Типичные ошибки не видны на ноутбуке: объект модели вместо идентификатора, задача до фиксации транзакции, бэкенд результатов «на всякий случай», воркер с флагом -B, который совмещает его с beat и не рекомендован для продакшена, задача без лимита времени.

Альтернативы: RQ, Dramatiq и arq

RQ работает только с Redis и проще Celery: задача — обычная функция, маршрутизации почти нет. Dramatiq поддерживает RabbitMQ и Redis, по умолчанию подтверждает сообщение после выполнения и повторяет упавшие задачи с нарастающей паузой — то, что в Celery включают настройками. arq построен на asyncio и Redis и подходит проектам на FastAPI, где задачи в основном ждут сетевых ответов.

Как выбрать обучение

Отдельных курсов по Celery почти нет, его изучают внутри программ по бэкенду на Python. Проверьте, будет ли Celery частью проекта с проверкой кода или только строкой в списке технологий, есть ли Docker Compose с брокером и разбор сбоев.

Для тех, кто начинает с нуля и готов к долгой учёбе, есть расширенный курс Яндекс Практикума «Python-разработчик»: по карточке 14 месяцев при нагрузке около 12 часов в неделю, 181 000 ₽ и 27 проектов — Django, Flask, Docker, CI/CD, затем FastAPI и Kubernetes. Celery и RabbitMQ названы в стеке, но как их изучают, на странице не описано.

Если нужна прежде всего база по Django, сравнивайте программы по тому, где появляется работа с очередями: нужен проект, в котором задача уходит в фон и её результат проверяют.

На курсе Skillbox «Фулстек-разработчик на Python» серверная часть построена на Django и SQL, Redis указан среди навыков; по карточке это 90 часов теории, 160 часов практики и до 17 проектов. Celery на странице не упомянут, поэтому программу уточните у школы: Celery, вероятно, придётся добирать по документации.

Открыть курс

Школы различаются форматом обратной связи, поэтому до оплаты спросите, кто проверяет код и сколько попыток сдачи.

Сравнить онлайн-школы по форме обучения и цене поможет рейтинг онлайн-школ с обучением Django. Он посвящён фреймворку в целом, а не Celery.

Как Celery влияет на доход

Отдельной зарплаты «за Celery» нет: это часть требований к бэкенд-разработчику на Python. По исследованию Хабр Карьеры за первое полугодие 2026 года, построенному на зарплатах, которые указали сами специалисты, медиана Python-разработчиков по России — 243 000 ₽, бэкенд-разработчиков — 278 000 ₽ в Москве, 251 000 ₽ в Петербурге и 220 000 ₽ в других регионах. Разбивки по грейдам нет, начинающий получает заметно меньше медианы.

Навык очередей влияет на доход косвенно: с ним доверяют интеграции, рассылки и обработку файлов, а на собеседовании спрашивают, как сделать задачу идемпотентной и что будет при падении воркера. Если вы можете собрать пример со счётом, сломать воркер и объяснить, почему письмо не ушло дважды, базовый уровень освоен, и дальше учиться стоит тому, чего не хватает: системной базе по бэкенду или практике с проверкой кода.