Greenplum: как устроено MPP-хранилище данных и кому из аналитиков и инженеров оно пригодится
Greenplum — распределённая аналитическая СУБД на основе PostgreSQL. Мастер принимает SQL-запрос, строит план и раздаёт его сегментам; каждый сегмент хранит свою долю строк и обрабатывает её одновременно с остальными, а результат снова собирается на мастере. Инженер данных в Greenplum проектирует таблицы, выбирает ключ распределения и формат хранения, загружает данные пачками и следит за перекосом. Аналитик пишет привычный SQL к витринам и по плану запроса понимает, почему отчёт считается минуту, а не секунду. Для работы нужны SQL, основы PostgreSQL и понимание того, как строки ложатся на сегменты.
Содержание

Распространённое заблуждение — считать Greenplum «большим PostgreSQL», где достаточно знать синтаксис. Синтаксис почти тот же, но скорость здесь зависит от вопроса, которого на одном сервере нет: на каком сегменте лежит каждая строка и сколько строк придётся перегнать по сети ради соединения. Ошибка в этом решении не даёт сообщения об ошибке, она проявляется медленными отчётами.
Мастер, сегменты и перемещение данных
Кластер Greenplum состоит из мастера и сегментов. Сегмент — отдельный экземпляр PostgreSQL со своей частью данных; на одном сервере обычно работает несколько сегментов и зеркала сегментов с соседних машин. Пользователь подключается только к мастеру.
Когда запросу нужны строки, лежащие на разных сегментах, планировщик добавляет в план операции перемещения (Motion). Redistribute Motion перераспределяет строки по новому ключу, Broadcast Motion копирует таблицу целиком на каждый сегмент, Gather Motion собирает итог на мастере. Читая EXPLAIN, ищут прежде всего эти узлы: каждый означает обмен данными по сети.
Ядро PostgreSQL в Greenplum старое. По сведениям Википедии со ссылками на релизы, шестая версия основана на PostgreSQL 9.4, седьмая — на PostgreSQL 12.12. Поэтому синтаксис сверяют с документацией своей версии, а не со справочником свежего PostgreSQL.
Ключ распределения: что Greenplum выберет без вас
Каждая таблица распределяется по сегментам одним из трёх способов. DISTRIBUTED BY (столбцы) — хеш от значений: строки с одинаковым ключом всегда попадают на один сегмент. DISTRIBUTED RANDOMLY — строки раскладываются по кругу. DISTRIBUTED REPLICATED — полная копия таблицы на каждом сегменте; руководство администратора разрешает её только для маленьких таблиц, например справочников.
Самое коварное правило касается таблицы, созданной без указания распределения. По справке к CREATE TABLE для Greenplum 7, в этом случае ключом распределения становится первичный ключ, а если его нет — первый столбец таблицы. Случайное распределение включается, только если администратор выставил параметр gp_create_table_random_default_distribution, а по умолчанию он выключен. Поэтому в сводке лучших практик прямо сказано: явно задавайте распределение для всех таблиц и не пользуйтесь умолчанием, не распределяйте по датам и меткам времени. Там же сказано, что столбцы соединения должны быть одного типа, а крупные часто соединяемые таблицы лучше распределять по одному столбцу: тогда соединение идёт на каждом сегменте локально, без Motion.
Учебный пример: таблица продаж на половине кластера
Учебная ситуация. Аналитик розничной сети создаёт в кластере из 16 сегментов таблицу продаж: первым столбцом идёт код региона, затем номер чека, дата, товар и сумма. DISTRIBUTED BY он не пишет, первичного ключа нет. Greenplum молча берёт ключом код региона. Регионов восемь, значит, данные получат не больше восьми сегментов, а остальные будут простаивать. Столичный регион даёт треть чеков, и его сегмент задерживает каждый запрос.
Проверка занимает одну строку: запрос с группировкой по служебному столбцу gp_segment_id показывает, сколько строк лежит на каждом сегменте. Если счётчики различаются в разы, таблицу перераспределяют командой ALTER TABLE … SET DISTRIBUTED BY (номер чека) или пересоздают через CREATE TABLE AS с правильным ключом. Сводка лучших практик советует проверять равномерность после первой загрузки и после каждой инкрементальной.
Append-optimized таблицы и партиции
Обычная таблица в Greenplum, как и в PostgreSQL, хранится в формате heap и хорошо переносит частые изменения. Для больших фактовых таблиц, которые загружают пачками и потом в основном читают, есть append-optimized таблицы (AO). Они поддерживают сжатие и колоночное хранение, при котором запрос читает только нужные столбцы.
Ограничения у AO-таблиц конкретные. Сводка лучших практик предписывает держать в heap таблицы и партиции, куда одновременно идут UPDATE, DELETE и INSERT, и избегать одиночных INSERT, UPDATE и DELETE в AO-таблицах, а также параллельных пакетных UPDATE и DELETE; параллельные пакетные INSERT допустимы.
С партициями другая ловушка — число файлов. По той же сводке, физических файлов получается столько, сколько сегментов, умноженных на столбцы и на партиции. Колоночная таблица на 60 столбцов с ежедневными партициями за год в кластере из 48 сегментов даёт 48 × 60 × 365 = 1 051 200 файлов. Поэтому партиционируют только большие таблицы и никогда не партиционируют и не распределяют таблицу по одному и тому же столбцу.
Что изменилось после закрытия кода
Исходный код Greenplum был открыт в 2015 году. В мае 2024 года Tanzu by Broadcom решила закрыть проект: по данным Википедии, все следующие релизы выходят закрытыми в составе VMware Tanzu Data Suite, а публичный репозиторий вскоре перевели в архив.
Открытая линия продолжилась в форках. Apache Cloudberry создали первоначальные разработчики Greenplum: проект основан в 2022 году, работает на более новом ядре PostgreSQL и 5 ноября 2024 года передан в инкубатор Apache Software Foundation. Greengage DB распространяется под лицензией Apache 2.0, развивает ветки на основе Greenplum 6 и 7 и, по статье на Хабре от 8 октября 2025 года, поддерживается сообществом, в том числе Arenadata. Сама Arenadata давно выпускает коммерческий дистрибутив Arenadata DB на основе Greenplum.
Для учёбы это меняет немного: сегменты, ключи распределения, AO-таблицы и Motion одинаковы во всех ветках. Различаются версия ядра, утилиты и поддержка, поэтому перед собеседованием стоит узнать, на каком дистрибутиве работает хранилище компании.
Кому пригодится и когда нужен другой инструмент
Чаще всего с Greenplum работают инженеры данных и разработчики хранилищ: они проектируют слои DWH, пишут загрузки и отвечают за скорость витрин. Администраторы баз данных настраивают ресурсные группы, зеркала, резервное копирование и расширение кластера. Аналитикам достаточно понимать распределение и читать план.
Greenplum не нужен, если данные помещаются на один сервер: обычный PostgreSQL проще в эксплуатации. Для транзакционной нагрузки с тысячами коротких запросов в секунду MPP-хранилище тоже не подходит.
С чего начать и в каком порядке осваивать
Каждый шаг здесь опирается на предыдущий. Без уверенного SQL непонятен план запроса, без плана не видно цены неудачного ключа распределения, а форматы хранения и партиции стоит трогать, когда вы умеете измерить их эффект.
- Доведите до уверенного уровня SQL и основы PostgreSQL: соединения, оконные функции, EXPLAIN, транзакции.
- Разверните учебный кластер одного из открытых форков на одной машине с двумя-четырьмя сегментами или возьмите управляемый сервис в облаке.
- Создайте одну и ту же таблицу с разными ключами распределения, загрузите в неё тестовые данные и сравните счётчики по gp_segment_id.
- Соедините две таблицы сначала с одинаковым ключом распределения, потом с разными и найдите в EXPLAIN узлы Redistribute и Broadcast Motion.
- Переведите большую таблицу в append-optimized формат со сжатием, разбейте её на партиции по месяцам и сравните объём на диске и время запросов.
- Если вам ближе администрирование, переходите к ресурсным группам, зеркалам и резервному копированию.
Первый шаг удобно закрыть программой с проверкой заданий. На онлайн-курсе Skillbox «PostgreSQL для начинающих», пять модулей: от реляционной модели и бонусного модуля по SQL до индексов, ролей, резервного копирования и плана выполнения, плюс два проекта с ревью куратора. Самого Greenplum в программе нет, это подготовка к нему.
Упражнения и типичные ошибки
Хорошее упражнение — повторить учебный пример с продажами: создать таблицу без DISTRIBUTED BY, посмотреть, какой ключ выбрал Greenplum, исправить его и сравнить время одного и того же запроса. Второе — распределить по разным столбцам таблицы заказов и клиентов и добиться, чтобы их соединение обходилось без Motion.
Типичные ошибки новичков нарушают правила из документации: таблицы без явного распределения, дата в роли ключа, соединение столбцов разных типов, построчная запись в AO-таблицу, реплицированные большие таблицы, тысячи партиций. После крупной загрузки забывают выполнить ANALYZE, и планировщик строит план по устаревшей статистике.
Чему учат на курсах
Целиком Greenplum посвящён курс Слёрма «Хранилища данных (DWH) на базе системы GreenPlum». Это около 42 часов в своём темпе, из них 34 часа практики на стендах. Модули: знакомство с Greenplum и ресурсными группами, хранение (индексы, планы запросов, форматы хранения), администрирование с мониторингом и резервным копированием, настройка окружения и отдельный модуль про управляемый Greenplum в Yandex Cloud.
Такая программа подходит инженеру или администратору, которому Greenplum нужен в текущей работе. Если же вы только собираетесь в инженерию данных, MPP-хранилище стоит изучать вместе с оркестрацией загрузок и обработкой больших объёмов, а не отдельно от них.
На курсе «Инженер данных» Karpov Courses, есть модуль о реляционных и массивно-параллельных СУБД, а Greenplum прямо назван в промежуточном двухнедельном проекте: ETL-процесс в Airflow со Spark, S3 и Greenplum. Программа рассчитана на пять месяцев, на вход нужны уверенный SQL, Python и Git.
Как Greenplum влияет на доход
Отдельной зарплаты «за Greenplum» не бывает: он входит в стек хранилища вместе с SQL, Airflow и Spark. На «Хабр Карьере» 15 октября 2026 года Greenplum стоял в навыках удалённой вакансии Senior Data Engineer по миграции ETL с вилкой от 270 000 до 285 000 ₽ и в вакансиях ученика дата-инженера в Москве и Казани от 73 900 ₽. Это предложения работодателей, а не фактические зарплаты, и выборка из нескольких объявлений.
Сравнить онлайн-школы по программам и цене можно в рейтинге онлайн-школ по Data Engineering. Рейтинг охватывает всё направление инженерии данных, поэтому в каждой программе проверяйте, назван ли Greenplum или MPP-хранилище в плане.
Готовность проверить просто: если вы можете объяснить, почему таблица распределена именно по этому столбцу, и найти в плане лишний Motion, основа освоена. Дальше выбирайте между витринами и загрузками (инженерия данных) и зеркалами, ресурсами и бэкапами (администрирование).