Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Hadoop: HDFS, YARN и Hive — что осталось от «большого слона» и зачем его знать инженеру данных

Hadoop — набор открытых компонентов для хранения и обработки данных на кластере из многих серверов. HDFS раскладывает файлы по машинам и следит за копиями, YARN выдаёт заданиям память и процессоры, MapReduce исторически выполнял сами вычисления, а Hive позволяет писать к файлам SQL-запросы. Инженеру данных Hadoop нужен, чтобы сопровождать действующие кластеры в банках, телекоме и госсекторе, переносить с них данные и понимать, на чём стоят Spark и современные озёра данных. Ниже — устройство стека, его место рядом с облаком, порядок практики и выбор обучения.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Hadoop: HDFS, YARN и Hive — что осталось от «большого слона» и зачем его знать инженеру данных

Расхожая фраза «Hadoop умер» верна наполовину. Почти не пишут новых заданий на MapReduce: эту роль забрал Spark. Но HDFS, YARN и метастор Hive продолжают работать под теми же Spark-заданиями, а проект живёт: версия Hadoop 3.5.0 вышла 2 апреля 2026 года (страница релизов Apache Hadoop), Hive 4.2.1 — 24 августа 2026-го. Поэтому вопрос для инженера звучит не «учить ли Hadoop», а «какие его части встретятся в работе и что с ними делать».

Из чего состоит стек и что делает каждая часть

Hadoop удобно представить как четыре слоя со своими задачами и командами.

HDFS — распределённая файловая система. Главный узел NameNode знает, из каких блоков состоит файл и на каких машинах они лежат, а узлы DataNode хранят сами блоки и сообщают о своём состоянии. Инженер загружает файлы командой hdfs dfs -put, проверяет целостность через hdfs fsck и смотрит заполненность кластера в отчёте hdfs dfsadmin -report.

YARN распределяет ресурсы. ResourceManager принимает заявки на задания и раскладывает их по очередям, NodeManager на каждом сервере запускает контейнеры с заданной памятью и числом ядер. Под YARN работают MapReduce, Spark, Hive и другие движки, поэтому администратор настраивает очереди так, чтобы ночная загрузка не отнимала все ресурсы у аналитиков.

MapReduce — исходная модель вычислений: этап map разбирает записи и выдаёт пары «ключ — значение», затем данные группируются по ключу, этап reduce их сворачивает. Промежуточные результаты пишутся на диск, и цепочка из нескольких шагов работает медленно. Сегодня MapReduce полезен как учебная модель: на ней хорошо видно, почему группировка по ключу — одна из самых дорогих операций в распределённом движке.

Hive превращает каталоги с файлами в таблицы. Схема таблицы, партиции и путь к данным хранятся в метасторе — отдельной базе метаданных, а запрос на HiveQL обычно выполняет движок Tez. Метастор Hive читают и Spark, и другие SQL-движки, поэтому он часто переживает сам Hive. С версии 4.1.0 метастор выпускается отдельным компонентом, а Hive 4.2.0 требует Java 21 (страница загрузок Apache Hive). Ветку 3.x объявили завершённой в октябре 2024 года.

Где Hadoop работает в 2026 году и чем его заменяют

Кластеры Hadoop остаются там, где данные нельзя или невыгодно выносить в публичное облако: в банках, у операторов связи, в государственных системах. В России их часто строят на отечественных дистрибутивах. Например, в документации Arenadata Hadoop (ADH) ядро составляют Hadoop Common, HDFS, YARN и MapReduce, а вокруг собраны Spark, Hive, Flink, Impala, HBase, Ranger и Knox для разграничения доступа и Airflow для оркестрации (архитектура ADH).

В новых проектах слои заменяют по одному, а не весь Hadoop сразу.

Компонент Что делает Чем чаще заменяют в новых проектах
HDFS хранит файлы на дисках серверов кластера объектное хранилище S3 или совместимое с ним
YARN выдаёт заданиям память и ядра Kubernetes
MapReduce выполняет пакетные вычисления Spark, Flink
Hive SQL к файлам, каталог таблиц Spark SQL или Trino; формат таблиц Iceberg с каталогом

Отсюда типичная задача последних лет — миграция: перенести таблицы из HDFS в объектное хранилище, переписать задания с MapReduce или Hive на Spark и при этом не потерять историю партиций.

Копии и erasure coding: сколько места займут данные

По умолчанию HDFS хранит каждый блок в трёх экземплярах. Значит, на каждый терабайт данных нужно ещё два терабайта дисков. В документации Hadoop 3.5.0 так и сказано — тройная репликация даёт 200 % накладных расходов на хранение (HDFS Erasure Coding).

Альтернатива появилась в третьей версии Hadoop — erasure coding, кодирование с блоками чётности. По умолчанию из встроенных схем включена RS(6,3): шесть блоков данных и три блока чётности. Файл из шести блоков при тройной репликации занимает 18 блоков, а с RS(6,3) — 9, то есть накладные расходы не больше 50 %. Данные переживают потерю любых трёх блоков из девяти.

Экономия не бесплатна, и ограничения в той же документации важнее самой цифры. На файлы с erasure coding нельзя дописывать данные и нельзя их обрезать: append() и truncate() выбрасывают IOException (исключение — запись в новый блок закрытого файла с флагом NEW_BLOCK). Вызовы hflush() и hsync() ничего не делают, то есть не гарантируют, что записанное уже сохранено. Кодирование и восстановление нагружают процессоры клиентов и DataNode, а чтение и запись в основном идут через другие стойки. Для RS(6,3) нужно не меньше девяти DataNode и минимум три стойки, а для полной устойчивости к отказу стойки — девять и больше.

Учебный пример, ситуация вымышленная. Команда переводит каталог с журналами событий на RS(6,3), чтобы освободить место, и на следующий день перестаёт работать загрузка, которая каждые пять минут дописывала строки в файл текущего часа. Правильная схема другая: свежие данные, в которые идёт запись, остаются с обычной репликацией, а закрытые партиции старше месяца переносятся в каталог с erasure coding. Так обычно и делят кластер — на «горячие» и «холодные» данные.

С чего начать: порядок практики

Свой кластер для учёбы не нужен: Hadoop запускается на одном компьютере в псевдораспределённом режиме, где каждая служба — отдельный процесс, или в Docker-контейнерах. Порядок ниже идёт от хранения к вычислениям, потому что любая ошибка Hive или Spark на кластере в итоге сводится к вопросу, где лежат файлы и кто выделил ресурсы. До начала стоит уверенно работать в командной строке Linux и писать простые SQL-запросы.

  1. Поднимите HDFS и YARN, откройте веб-интерфейсы NameNode и ResourceManager и найдите в них свои узлы.
  2. Загрузите несколько файлов, посмотрите их блоки через hdfs fsck с ключами -files -blocks -locations, затем остановите один DataNode и проследите, как кластер восстанавливает копии.
  3. Запустите пример wordcount из поставки Hadoop и найдите в интерфейсе YARN его контейнеры, а журналы — командой yarn logs -applicationId.
  4. Создайте в Hive внешнюю таблицу над каталогом CSV-файлов с партициями по дате и напишите к ней агрегирующий запрос.
  5. Прочитайте ту же таблицу из Spark, запущенного под YARN, и сравните время выполнения запроса.
  6. В Docker-стенде с пятью DataNode включите политику RS-3-2-1024k (hdfs ec -enablePolicy), назначьте её каталогу через hdfs ec -setPolicy и попробуйте дописать в файл: ошибка покажет ограничение на практике.

Типичные ошибки и как себя проверить

Чаще всего новички путают два вида таблиц Hive. У управляемой таблицы команда DROP TABLE удаляет и описание, и файлы, у внешней (EXTERNAL) — только описание в метасторе. Вторая частая ловушка: файлы новой партиции уже лежат в HDFS, а запрос их не видит, потому что партиция не зарегистрирована в метасторе. Её добавляют командой ALTER TABLE … ADD PARTITION или восстанавливают список через MSCK REPAIR TABLE.

Третья ошибка — искать причину падения задания в выводе консоли. Настоящая ошибка обычно лежит в журнале конкретного контейнера: нехватка памяти, отказ в доступе к каталогу, недоступный DataNode. Проверить себя можно так: вы объясняете, на каких машинах лежит любой файл, по номеру приложения находите журнал упавшего контейнера и сознательно выбираете между репликацией и erasure coding для каталога.

Чему учат на курсах

Hadoop редко изучают отдельно: в программах он входит в блок про большие данные внутри курса инженера данных. На курсе Яндекс Практикума «Инженер данных» этому посвящён проект Data Lake на HDFS и Spark. Курс длится 6–6,5 месяца, это 200 часов теории и 340 часов практики, стек — PostgreSQL, Vertica, Airflow, Spark, Kafka, Hadoop, Docker и Kubernetes. Нужны SQL, pandas и ООП в Python. Цена на 4 сентября 2026 года — 119 500 ₽.

Перед оплатой любой программы уточните три вещи: работаете ли вы на настоящем многоузловом кластере или на одной машине, разбирают ли сбои узлов и журналы YARN, есть ли задания на Hive и метастор. Слово «Hadoop» в перечне технологий ещё не означает практики с ним.

Если основная цель — вычисления, а не администрирование кластера, подойдёт онлайн-курс Skillbox «Apache Spark»: четыре модуля и десять уроков о DataFrame API, Spark SQL, управлении ресурсами и оптимизации, сквозной проект по анализу логов сайта, цена на 6 октября 2026 года — 45 000 ₽. Будут ли Hadoop, HDFS и YARN и в какой среде запускаются задания, спросите у школы.

Открыть курс «Apache Spark»

Совсем другой формат — двухлетняя магистратура для тех, у кого уже есть высшее образование и кто готов заниматься от 30 часов в неделю. Быстрого навыка она не даст: инфраструктура там служит фоном для машинного обучения.

На магистратуре Нетологии и УрФУ «Инженерия машинного обучения» инфраструктурная часть включает Linux, Hadoop, Docker и Kubernetes, а среди тем названы большие данные, архитектура хранилищ, ETL и распределённые вычисления. Нужен диплом бакалавра или специалиста, цена — 162 500 ₽. Перечень дисциплин не раскрыт, так что, в каком семестре и в каком объёме изучают Hadoop, уточните у школы.

Открыть курс

Как знание Hadoop влияет на доход

Отдельной профессии «специалист по Hadoop» почти нет. В вакансиях Hadoop встречается в требованиях к инженеру данных, инженеру платформы данных, администратору баз данных и Java- или Scala-разработчику. Надёжной открытой статистики, которая показывала бы надбавку именно за Hadoop, найти не удалось, поэтому чисел здесь не будет.

На доход влияет не строчка в резюме, а задачи, которые вы готовы взять: сопровождение кластера с дежурствами, миграция с HDFS в объектное хранилище, настройка доступа через Kerberos и Ranger. Чтобы оценить рынок самостоятельно, отфильтруйте вакансии по навыку Hadoop, региону и опыту, смотрите только объявления с указанной зарплатой и сравнивайте медиану, а не крайние значения. Помните, что это предложения работодателей, а не фактические выплаты.

Если вы выбираете между несколькими программами инженера данных, сравните их в рейтинге онлайн-школ по Data Engineering. Это широкий рейтинг по всей инженерии данных, а не по Hadoop, поэтому наличие практики с HDFS, YARN и Hive проверяйте в программе каждого курса. Хорошая самопроверка до оплаты — поднять Hadoop в Docker и пройти первые три шага из плана выше: если разбираться в журналах и блоках интересно, инфраструктурная сторона данных вам, скорее всего, подойдёт.