Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

ClickHouse для аналитика: почему отчёт по миллиарду строк считается за секунды и как начать

ClickHouse — колоночная аналитическая СУБД с открытым кодом. Она хранит каждый столбец таблицы отдельно и в сжатом виде, держит строки отсортированными по ключу ORDER BY и при запросе читает только нужные столбцы и только те участки, где могут быть подходящие строки. Аналитик пишет к ней обычный SQL: считает воронки, активных пользователей и выручку по дням на таблицах событий в сотни миллионов строк. Для старта хватит уверенного SQL. Дальше придётся разобраться с движком MergeTree, ключом сортировки и партициями, а также понять, почему UPDATE здесь тяжёлая операция, а первичный ключ не защищает от дублей.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: ClickHouse для аналитика: почему отчёт по миллиарду строк считается за секунды и как начать

Главное заблуждение новичка — считать ClickHouse «быстрым PostgreSQL». Запрос «сколько уникальных покупателей было по дням за квартал» на таблице из сорока столбцов ClickHouse выполнит, прочитав два-три столбца, причём сжатых. А вот изменить статус одного заказа или найти строку по номеру ему труднее, чем любой транзакционной базе. Скорость получена ценой отказа от привычных гарантий, и важно знать, каких именно.

Как ClickHouse читает данные

В строковой базе запись хранится целиком, и для суммы по одному полю с диска поднимаются все поля всех строк. В ClickHouse каждый столбец — отдельный файл. Запрос SELECT sum(price) FROM orders читает только price, а однотипные значения в столбце хорошо сжимаются, поэтому с диска приходит в разы меньше данных.

Второй источник скорости — сортировка. Таблица движка MergeTree состоит из кусков (parts), и внутри каждого строки упорядочены по ключу ORDER BY. По документации MergeTree первичный ключ указывает не на строки, а на блоки по 8192 строки — гранулы: в индекс попадает значение ключа первой строки каждой гранулы. Если запрос фильтрует по первым столбцам ключа, ClickHouse отбрасывает гранулы, где нужных значений быть не может. Если фильтр по столбцу вне ключа, читается весь столбец.

Отсюда правило: ORDER BY выбирают под самые частые фильтры, а не «по id, как привыкли». Партиции (PARTITION BY) решают другую задачу — помогают удалять и перемещать данные, например, целыми месяцами. Документация прямо пишет, что партиционирование, в отличие от ORDER BY, запросы не ускоряет, в большинстве случаев не нужно и не должно быть слишком мелким — скажем, по клиентам.

Где ClickHouse быстрее PostgreSQL, а где нет

Таблица ниже — не рейтинг, а подсказка, какую работу какой системе отдать.

Задача ClickHouse PostgreSQL
Агрегаты по сотням миллионов строк: суммы, уникальные, перцентили сильная сторона медленно без отдельной подготовки
Поиск одной строки по номеру заказа работает, но не для этого создан быстро по индексу
Частые изменения отдельных записей тяжёлые мутации обычная операция
Уникальность и внешние ключи не проверяются проверяются базой
Транзакции «всё или ничего» над несколькими таблицами нет в привычном виде есть

Поэтому обе системы часто живут рядом: заказы и платежи пишутся в PostgreSQL, а копия событий уходит в ClickHouse для отчётов. Аналитик читает из ClickHouse и почти никогда не пишет в него вручную.

Учебный пример: события интернет-магазина

Пример учебный. Магазин складывает в ClickHouse события сайта: просмотр, добавление в корзину, покупка. Аналитику нужен ежедневный отчёт о конверсии из корзины в покупку за последние 90 дней. Таблицу создают так:

CREATE TABLE events (
    event_date Date,
    event_time DateTime,
    event_type LowCardinality(String),
    user_id UInt64,
    price Decimal(10, 2)
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_type, event_date, user_id);

Порядок ключа выбран под отчёт: сначала тип события, потом дата. Условие event_type IN ('cart', 'purchase') AND event_date >= today() - 90 отбросит гранулы с просмотрами, которых обычно больше всего, и старые даты. Поставьте в начало ключа user_id — и та же выборка прочитает почти всю таблицу. Сколько гранул осталось после индекса, покажет EXPLAIN indexes = 1.

Саму конверсию считают одной строкой: uniqIf(user_id, event_type = 'purchase') / uniqIf(user_id, event_type = 'cart') с группировкой по дате. Учтите, что uniq даёт приблизительное число уникальных значений; для точного есть uniqExact, но он расходует больше памяти.

Дубли, обновления и удаления

Здесь привычки из PostgreSQL подводят чаще всего. В документации MergeTree прямо сказано: ClickHouse не требует уникального первичного ключа, и можно вставить несколько строк с одинаковым ключом. Если загрузка повторилась после сбоя, заказ окажется в таблице дважды, и база не возразит.

Для таких случаев есть движок ReplacingMergeTree, но устроен он не так, как ожидают. По его документации дубли удаляются только при слиянии кусков, а слияние идёт в фоне в непредсказуемый момент, поэтому отсутствие дублей не гарантируется. Уникальность определяет секция ORDER BY, а не PRIMARY KEY: если в ключ сортировки попала дата загрузки, две версии заказа останутся разными строками. Принудительное слияние командой OPTIMIZE документация не советует делать привычкой — оно переписывает много данных. Для точного результата в запросе пишут FINAL или выбирают последнюю версию через argMax. Отчёт, который «иногда показывает лишнюю выручку», часто упирается в несостоявшееся слияние.

С изменениями похожая история. ALTER TABLE ... UPDATE в документации названа тяжёлой операцией, не рассчитанной на частое использование; по умолчанию она выполняется асинхронно, как мутация. ALTER TABLE ... DELETE пересоздаёт все затронутые куски, а облегчённый DELETE FROM лишь помечает строки скрытым столбцом _row_exists и удаляет их физически при следующем слиянии (описание DELETE). Вывод: данные в ClickHouse добавляют, а не правят.

Движок AggregatingMergeTree хранит заранее посчитанные состояния агрегатов, которые наполняет материализованное представление, — так ежедневный отчёт читает тысячи строк вместо миллиардов. Загружают данные пачками, а не по строке; что ломается при построчной вставке, разобрано в нашей статье о больших данных.

С чего начать и в каком порядке осваивать

Порядок идёт от чтения к проектированию. Сначала вы привыкаете к диалекту на готовых данных, ничего не устанавливая, потом создаёте свои таблицы и видите, как ключ влияет на скорость, и только после этого берётесь за движки и обновления: без опыта с ORDER BY поведение ReplacingMergeTree выглядит как ошибка базы.

  1. Откройте публичную песочницу ClickHouse Playground: она работает в браузере, доступ только на чтение, создавать таблицы нельзя. Решите на её наборах данных десяток привычных задач: топы, доли, динамику по дням.
  2. Освойте функции диалекта: uniq, суффикс -If, даты, массивы и arrayJoin.
  3. Установите ClickHouse локально или возьмите пробный ClickHouse Cloud и создайте таблицу с двумя вариантами ORDER BY.
  4. Разберите ReplacingMergeTree, мутации и FINAL на своих данных.
  5. Если на работе база живёт в Yandex Managed Service for ClickHouse или другом облаке, узнайте у администратора свои права и ограничения на тяжёлые запросы.

Если SQL пока даётся с трудом, начните с него: ClickHouse предполагает, что соединения и оконные функции вы уже знаете. Базу дают на курсе Skillbox «SQL для анализа данных»: это два месяца, выборки, JOIN, оконные функции и выгрузки для Excel с проверкой кураторами, цена на 24.09.2026 — 50 828 ₽. Упражнения идут на MySQL, PostgreSQL и MS SQL, ClickHouse в программе не назван, так что этот шаг закрывает только фундамент.

Открыть курс «SQL для анализа данных»

Упражнения и самопроверка

Каждое упражнение проверяется цифрой, а не ощущением «вроде быстрее»: после запроса ClickHouse сообщает, сколько строк и мегабайт он прочитал.

  • Создайте таблицу событий с ключом (event_type, event_date) и копию с ключом user_id, выполните один отчёт и сравните число прочитанных строк.
  • Вставьте одну строку в ReplacingMergeTree дважды и посчитайте строки обычным запросом и с FINAL.
  • Выполните ALTER TABLE ... UPDATE и найдите мутацию в системной таблице system.mutations.
  • Замените SELECT * на три нужных столбца и сравните объём прочитанного.

Типичные ошибки

Самая частая ошибка — SELECT * по привычке: в колоночной базе каждый лишний столбец читается с диска отдельно. Дальше идут партиции по дню или по клиенту, из-за которых кусков становится тысячи и замедляются вставка и слияния; ключ сортировки, выбранный «по id», а не под фильтры отчётов; расчёт на то, что база сама отсеет дубли; частые UPDATE отдельных строк вместо записи новой версии.

Как ClickHouse влияет на доход

Отдельной зарплатной статистики по ClickHouse в открытых источниках нет: это строка в требованиях, а не профессия. На странице навыка ClickHouse на «Хабр Карьере» при проверке 15 октября 2026 года было 16 открытых вакансий — продуктовые аналитики, инженеры данных, аналитик хранилища данных, разработчики на Go, Java и C++. Зарплату указали только в двух: 270 000–285 000 ₽ для старшего инженера данных на удалёнке и от 365 000 ₽ для Go-разработчика уровня middle. Выборка мала и показывает роли, а не уровень рынка.

На доход навык влияет косвенно: аналитик, который сам пишет быстрые запросы к событиям и видит, откуда расхождение с бухгалтерией, меньше зависит от инженеров и может брать задачи продуктовой аналитики. Вилки сравнивайте по вакансиям с фильтром по городу и опыту.

Как выбрать обучение

Если вы уже пишете SQL и хотите увидеть ClickHouse рядом с привычным стеком, подойдёт курс Яндекс Практикума «SQL для работы с данными и аналитики». Это три месяца, около 60 часов теории, больше 70 задач в тренажёре и два проекта, цена на 04.09.2026 — 49 000 ₽. ClickHouse отнесён к дополнительным темам, в инструментах — PostgreSQL, ClickHouse, DBeaver и DataLens. Входит ли модуль в базовый тариф, уточните у школы.

При выборе любой программы проверьте, создаёте ли вы таблицы сами или только пишете SELECT к готовым, разбирают ли движки MergeTree и выбор ключа, есть ли задания на дубли и обновления. Без этого курс научит диалекту, но не объяснит, почему отчёт тормозит.

Тем, кто уже работает с ClickHouse и хочет разобраться глубоко, подходит курс Karpov.Courses «ClickHouse: эффективная работа с большими данными». Это пять недель и два модуля: в первом — синтаксис, типы данных и функции, табличные движки, во втором — масштабирование, загрузка и обновление данных, оптимизация запросов, практический кейс и финальный проект. Цена на 14.10.2026 — 47 000 ₽. Нужен уверенный SQL; MergeTree и партиции отдельно не названы.

Открыть курс «ClickHouse»

Проверка готовности: если вы объясните, почему одинаковые запросы к таблицам с разным ORDER BY читают разное число строк, глубокий курс пойдёт легко.

Сравнить онлайн-школы шире, чем по одной СУБД, поможет рейтинг онлайн-школ с обучением SQL и базам данных — это общий рейтинг по направлению, а не подборка по ClickHouse, поэтому программы сверяйте с темами из этой статьи.