Брокеры сообщений: Kafka и RabbitMQ — зачем нужны очереди и как их освоить
Брокер сообщений — программа-посредник между сервисами: один сервис отправляет сообщение, брокер хранит его, а другой забирает, когда готов, даже если в момент отправки он был выключен. RabbitMQ раскладывает сообщения по очередям и удаляет каждое после подтверждения обработки. Kafka дописывает события в журнал — топик — и хранит их заданный срок, а каждый читатель идёт по журналу со своей позиции. Чтобы работать с брокером, нужно понять маршрутизацию, подтверждения и повторную доставку, порядок сообщений, обработку дублей и наблюдение за очередью.
Содержание

Чаще всего новички ошибаются в одном: считают, что брокер доставит сообщение ровно один раз. По умолчанию оба брокера обещают другое — «хотя бы один раз». Если обработчик упал после работы, но до подтверждения, сообщение придёт снова, и второе письмо клиенту или лишняя строка в отчёте — ожидаемое поведение, а не сбой. Поэтому изучение брокеров начинается с вопроса, что случится при повторе, а не с установки кластера.
Какую задачу решает брокер и когда он лишний
Брокер нужен там, где отправителю не обязательно ждать результата. Пользователь загрузил ролик — сайт сразу отвечает «принято», а конвертация идёт в фоне. Оплата заказа порождает событие, которое независимо получают склад, рассылка и аналитика, и отказ рассылки не мешает складу.
Бэкенд-разработчик пишет отправителей и обработчики и решает, что делать с ошибкой. DevOps-инженер разворачивает кластер и следит за длиной очередей. Системный аналитик описывает, какие события существуют, какие в них поля и кто их читает; для таких контрактов есть спецификация AsyncAPI — аналог OpenAPI для асинхронного обмена. Аналитику данных важно понимать, откуда в хранилище дубли и почему события приходят не по порядку.
Брокер лишний, если ответ нужен немедленно: проверить остаток на складе перед оплатой проще обычным запросом по HTTP или gRPC. Небольшому приложению хватит таблицы задач в базе и планировщика. Как выделять сервисы из монолита и передавать события через outbox, разобрано в нашей статье о микросервисах на Go; здесь речь о самих брокерах.
Очередь и журнал: чем RabbitMQ отличается от Kafka
В RabbitMQ отправитель публикует сообщение в обменник (exchange), а тот по ключу маршрутизации решает, в какие очереди его положить: direct — по точному совпадению ключа, topic — по шаблону вроде order.*.paid, fanout — во все привязанные очереди. Обработчик выполняет работу и присылает подтверждение (ack), после чего сообщение удаляется. Кворумные очереди хранят копии на нескольких узлах.
Топик Kafka делится на разделы (partitions); событие дописывается в конец раздела и получает порядковый номер — смещение (offset). Чтение событие не удаляет. Внутри группы потребителей каждый раздел читает один участник, а разные группы читают топик независимо — аналитика может перечитать события за неделю, не мешая рабочему сервису.
| Вопрос | RabbitMQ | Kafka |
|---|---|---|
| После обработки | сообщение удаляется | событие остаётся до конца срока хранения |
| Порядок | в пределах очереди при одном обработчике | только внутри раздела |
| Типичная задача | фоновые задания, маршрутизация команд | поток событий для многих читателей |
Если события одного заказа должны идти по порядку, их отправляют в Kafka с одинаковым ключом, например номером заказа, — тогда они попадут в один раздел.
Гарантии доставки и лимиты времени на обработку
Если подтвердить сообщение до работы, при падении оно потеряется, если после — придёт снова. Второй вариант почти всегда лучше, но обработчик должен быть идемпотентным: повтор не меняет результат. В Kafka смещение по умолчанию фиксируется автоматически: в документации версии 4.3 enable.auto.commit равен true, а auto.commit.interval.ms — 5000 мс. Смещение может уйти раньше, чем закончится обработка, поэтому там, где потеря недопустима, фиксацию делают вручную.
Реже обсуждают, что оба брокера ограничивают время обработки. В документации RabbitMQ о потребителях таймаут подтверждения по умолчанию — 30 минут. Если обработчик не уложился, брокер закрывает его канал с ошибкой PRECONDITION_FAILED и возвращает неподтверждённые сообщения в очередь, где их берёт другой обработчик и начинает заново. Срок меняют в rabbitmq.conf, политикой consumer-timeout или аргументом очереди x-consumer-timeout (два последних способа — с версии 3.12). Отключать таймаут документация не советует, а для версии 4.3 указано, что его поддерживают только кворумные очереди.
В Kafka похожую роль играет max.poll.interval.ms: по умолчанию 5 минут между вызовами poll(), а за один вызов приходит до 500 записей (max.poll.records). Значит, при настройках по умолчанию на запись остаётся в среднем около 0,6 секунды. Если обработка медленнее, группа считает потребителя выбывшим, отдаёт его разделы другому участнику, и незафиксированные записи читаются повторно. Медленный обработчик сам порождает дубли, хотя ошибок в коде нет.
Учебный пример: конвертация видео через очередь
Ситуация учебная. Конвертация ролика занимает от двух до сорока минут и шла прямо в обработчике загрузки, поэтому при наплыве пользователей сайт переставал отвечать. Задача — вынести её в фон так, чтобы ни один ролик не потерялся и не был сконвертирован дважды.
Сервис загрузки сохраняет файл и публикует идентификатор ролика в кворумную очередь video.convert. Обработчики берут по одному сообщению (prefetch равен 1) и подтверждают его только после записи готового файла. Перед стартом обработчик проверяет статус ролика в базе: если конвертация завершена, он просто подтверждает сообщение. Сорок минут больше таймаута по умолчанию, поэтому для очереди политикой задают consumer-timeout в два часа. Сообщения, не обработанные за три попытки, уходят в очередь недоставленных (dead letter queue). Статусы роликов идут событиями в топик Kafka с ключом — идентификатором ролика, и аналитик строит по ним отчёт, удаляя дубли по идентификатору события.
Решение проверяют сбоем: если остановить обработчик посреди конвертации, сообщение вернётся в очередь, другой обработчик доведёт работу, а файл в хранилище останется один.
С чего начать и в каком порядке осваивать
Порядок ниже идёт от простой модели к сложной. С RabbitMQ проще начать: одна очередь и один обработчик сразу показывают, что делает подтверждение. Журнал Kafka легче понять, когда модель «очередь — подтверждение — повтор» уже усвоена, а гарантии и мониторинг требуют обоих брокеров.
- Основа: один язык (Python, Java, Go или JavaScript), HTTP, Docker Compose.
- RabbitMQ: очередь, отправитель, обработчик, ручное подтверждение, prefetch.
- Обменники direct, topic, fanout и очередь недоставленных сообщений.
- Kafka: топик на три раздела, ключи, группы потребителей, смещения.
- Гарантии: идемпотентность, повторы, таймауты, ручная фиксация смещений.
- Наблюдение: длина очереди, отставание потребителей (consumer lag), алерты.
Аналитику хватит пунктов 1, 4 и 5, разработчику и DevOps-инженеру нужен весь путь. Для учёбы по видеоурокам и лабораторным подойдёт онлайн-курс Merion Academy «RabbitMQ для разработчиков и DevOps»: по карточке это четыре месяца по 2–5 часов в неделю и восемь блоков — от маршрутизации и гарантий доставки до кластеризации, мониторинга в Prometheus и Grafana и прав доступа. Кластер поднимают в Docker Compose. Сравнения с Kafka нет, а проверяют ли задания преподаватели, на странице не сказано.
Упражнения и типичные ошибки
Полезное упражнение — не «отправить и получить», а сломать систему и посмотреть, что станет с сообщениями. Каждое упражнение ниже проверяет одну гарантию, которую легко принять на веру.
- Остановите обработчик до подтверждения и убедитесь, что сообщение вернулось в очередь.
- Отправьте одно сообщение дважды и проверьте, что результат в базе не изменился.
- Добавьте в обработчик Kafka паузу дольше
max.poll.interval.msи найдите в логах перебалансировку. - Пришлите сообщение, на котором обработчик падает, и проверьте, что оно ушло в очередь недоставленных, а не крутится по кругу.
Типичные ошибки — обратная сторона этих упражнений: подтверждение до обработки, одна очередь на все задачи, автофиксация смещений там, где потеря недопустима, отправка без ключа при важном порядке. Ещё одна — хранить в Kafka данные как в основной базе: срок хранения истечёт, и события исчезнут.
Когда нужен курс и что в нём искать
Базовые упражнения проходят за несколько вечеров по официальным руководствам. Сложнее понять, как брокер живёт в настоящем проекте: кто проектирует события и как разбирают сбой. Этому лучше учиться на большом учебном проекте с наставником.
Разработчикам с коммерческим опытом, знанием SQL и Linux подойдёт онлайн-курс Яндекс Практикума «Мидл Python-разработчик». За шесть месяцев студенты собирают серверную часть онлайн-кинотеатра: пользовательские реакции идут через Kafka в аналитическое хранилище, уведомления — через RabbitMQ, а в финале архитектуру своего сервиса нужно защитить. Глубина разбора брокеров на странице не описана.
При сравнении программ ищите не названия брокеров, а практику на сбоях: повторную доставку, идемпотентность, очередь недоставленных сообщений. Если программа ограничивается отправкой и получением, остальное придётся добирать по документации.
Тем, кто ещё не пишет серверный код, курс только по брокеру рано. В профессии Purple School «Backend-разработчик на Node.js» RabbitMQ появляется в финальном модуле о микросервисах — с монорепозиторием, согласованностью данных и развёртыванием приложения из трёх сервисов. До этого — JavaScript, TypeScript, NestJS, базы данных и Docker; всего 11 месяцев при 10–20 часах в неделю. Kafka на странице не упомянута, подробностей о гарантиях доставки нет — их стоит уточнить у школы.
Как навык влияет на доход
Отдельной надбавки за Kafka или RabbitMQ открытые источники не показывают: брокер стоит в требованиях рядом с языком, базами данных и Docker. На «Хабр Карьере» на 12 октября 2026 года открыто 93 вакансии с навыком Apache Kafka и 25 — с RabbitMQ: Java- и Scala-разработчики, системные аналитики, DevOps-, ML- и QA-инженеры, архитекторы решений. Зарплата указана редко: у Senior DevOps-инженера с Kafka — до 240 000 ₽, у техлида с RabbitMQ — 350 000–400 000 ₽. Это предложения работодателей, а не фактические зарплаты, и выборка слишком мала для выводов.
Чтобы оценить вес навыка, сравните вакансии своего уровня и города с брокером в обязательных требованиях и без него: разница обычно в задачах — проектировании интеграций и разборе сбоев.
Если выбираете школу для долгой программы, сравните формат, проверку работ и условия возврата в широком рейтинге онлайн-школ по бэкенд-разработке — он охватывает всю серверную разработку, а не только брокеры. Перед оплатой соберите учебный пример с конвертацией: если понятно, почему после остановки обработчика файл всё равно один, база для курса уровня мидл есть.