Мониторинг серверов и сервисов: Prometheus, Grafana и Zabbix для начинающих

Распространённая ошибка новичка — считать, что мониторинг готов, когда на экране появилась красивая панель с графиками. Дашборд никто не смотрит в три часа ночи. Полезную работу делает правило, которое сработает до того, как пользователи заметят сбой, и при этом не будет будить дежурного из-за каждого кратковременного всплеска нагрузки. Поэтому сначала решают, какие ситуации требуют реакции человека, и только потом — какие графики нужны.

Как устроены Prometheus, Zabbix и Grafana

Три инструмента называют вместе, хотя задачи у них разные. Prometheus сам опрашивает цели по HTTP: на сервере работает программа-экспортер, например node_exporter, которая отдаёт текущие значения метрик, а Prometheus периодически забирает их в базу временных рядов. Запросы и правила оповещений пишут на языке PromQL. Рассылкой уведомлений занимается отдельный компонент — Alertmanager: он группирует похожие алерты и отправляет их в почту или мессенджер.

Zabbix — законченная система с сервером, базой данных и веб-интерфейсом. На машину ставят агент, а что с неё снимать, задаёт шаблон: элементы данных (что измерять), триггеры (какое значение считать проблемой) и графики. Zabbix опрашивает сетевое оборудование по SNMP, поэтому его часто выбирают там, где много серверов, коммутаторов и принтеров.

Grafana ничего не собирает сама: она подключается к Prometheus, Zabbix (через плагин), PostgreSQL или Loki и рисует по ним панели. Свои оповещения в ней тоже есть, но новичку проще держать правила рядом с данными.

Упрощённо: Zabbix ближе к классическому администрированию конкретных машин и железа, Prometheus — к контейнерам и сервисам, которые появляются и исчезают. Практики надёжности вроде целевых уровней обслуживания разобраны в нашей статье об SRE, здесь речь об инструментах.

Кому нужен навык и когда хватит меньшего

Начинающему системному администратору мониторинг нужен сразу: без него о проблемах сообщают пользователи. Разработчику со своим VPS хватит небольшого набора — свободное место, память, доступность сайта извне и доля ошибок в ответах. DevOps-инженер строит мониторинг для десятков сервисов и договаривается с командами, какие метрики должно отдавать приложение.

Для сайта-визитки на хостинге достаточно внешней проверки доступности, а у облачного провайдера обычно есть встроенные графики. Свой Prometheus или Zabbix оправдан, когда серверов несколько, нужны метрики приложения или история нагрузки за недели.

Учебный пример: диск, который заполняется ночью

Учебная ситуация. На сервере работает приложение, которое пишет журналы на диск. Раз в несколько недель место заканчивается, база данных перестаёт принимать записи, а администратор узнаёт об этом утром из жалоб. Задача — получить оповещение заранее, пока места хватает ещё на несколько часов.

Администратор ставит nodeexporter, добавляет его адрес в конфигурацию Prometheus и проверяет, что метрика nodefilesystemavailbytes показывает реальный объём свободного места. Простое правило «осталось меньше 10 %» срабатывает поздно, если диск заполняется быстро, и зря, если 10 % на большом томе — это сотни гигабайт. Поэтому правило строят на прогнозе: функция predict_linear по данным за последние часы оценивает, когда место закончится, и алерт загорается, если это случится в ближайшие четыре часа. В правило добавляют условие for, чтобы короткий всплеск записи не поднимал тревогу.

В Grafana появляется панель со свободным местом по разделам, Alertmanager шлёт уведомление в рабочий чат. Для проверки администратор забивает диск тестовой машины большим файлом и засекает, когда придёт сообщение. Здесь новичков ждёт сюрприз.

Почему алерт приходит с задержкой

Задержку складывают значения по умолчанию. Согласно документации по конфигурации Prometheus, без явной настройки Prometheus опрашивает цели раз в минуту (scrapeinterval = 1m) и с той же частотой проверяет правила (evaluationinterval = 1m). Правило с условием for, как сказано в описании правил оповещений, сначала переходит в состояние pending и становится firing, только когда условие держится на протяжении всего заданного срока.

Дальше вступает Alertmanager. По его документации новая группа алертов ждёт перед первой отправкой 30 секунд (groupwait), новые алерты в уже существующей группе уходят не чаще чем раз в 5 минут (groupinterval), а напоминание о проблеме, которая не устранена, повторяется раз в 4 часа (repeat_interval). Если сложить настройки по умолчанию с for: 5m, между началом проблемы и сообщением в чате легко проходит шесть-семь минут, а второй сервер с той же проблемой может попасть в уведомление ещё до пяти минут спустя.

Для заполняющегося диска это приемлемо, для упавшей страницы оплаты — нет. Поэтому интервалы и for подбирают под цену простоя, а не оставляют по умолчанию. Есть и второе следствие: согласно странице о хранилище Prometheus, без явной настройки данные хранятся 15 дней, а локальное хранилище не кластеризуется и не реплицируется. Сравнить нагрузку с прошлым кварталом не получится, пока вы не увеличите срок хранения или не подключите внешнее хранилище.

С чего начать и в каком порядке осваивать

Каждый шаг ниже опирается на уже работающий предыдущий. Без понимания, откуда берётся число, не написать правило; без правила незачем настраивать уведомления; графики идут после правил, потому что строятся под вопросы, которые задают при разборе сбоя. Zabbix стоит в конце не из-за сложности: сравнивать две модели сбора данных проще, когда одна уже понятна.

1. Linux на уровне администратора: службы, журналы, сеть, порты.
2. Виртуальная машина с Prometheus и node_exporter, просмотр метрик в браузере по адресу экспортера.
3. PromQL: выборка по меткам, функции rate и predict_linear, агрегация sum by.
4. Правила оповещений с for и проверка цепочки через Alertmanager с отправкой в тестовый чат.
5. Grafana: подключение источника, панель из трёх-четырёх графиков, переменная для выбора сервера.
6. Zabbix: сервер, агент на второй машине, готовый шаблон для Linux, свой триггер и сравнение с Prometheus.

Тем, кому привычнее учиться по готовой программе от сетей к мониторингу, подойдёт онлайн-курс Международной школы профессий для системных администраторов. Он рассчитан на 11 недель и идёт дистанционно; среди одиннадцати блоков есть отдельные модули «Мониторинг на Zabbix» и «Мониторинг в Grafana», а также сети, Cisco Packet Tracer и виртуализация. Prometheus в программе не упомянут, преподаватели и объём в часах не названы — их стоит уточнить у школы.

Упражнения и типичные ошибки

Каждое упражнение ниже заканчивается проверкой: уведомление либо пришло, либо нет.

Остановите службу node_exporter и добейтесь, чтобы через заданное время пришёл алерт о недоступной цели (по метрике up). Запустите нагрузку на процессор и проверьте, что правило с for не срабатывает от двухминутного всплеска, но срабатывает от десятиминутного. На машине с Zabbix отключите агент и найдите, какой триггер шаблона загорелся и через сколько. В Grafana соберите панель, по которой коллега за минуту поймёт, какой сервер и когда начал тормозить.

Типичные ошибки: оповещения на всё подряд, которые через неделю перестают читать, и пороги наугад, без взгляда на обычный день. В метки Prometheus кладут идентификаторы пользователей или адреса запросов, и число временных рядов растёт до тех пор, пока сервер не упрётся в память. Наконец, сам мониторинг никто не проверяет: если упал Prometheus, тишина в чате выглядит как хорошая новость.

Тем, кому мониторинг нужен как часть работы с контейнерами и сборкой, а учиться удобнее по расписанию в группе, подойдёт онлайн-курс Академии ТОП «DevOps-инженер + ИИ». Он длится 18 месяцев: 12 модулей, 284 пары, занятия дважды в неделю по вечерам, экзамен после каждого модуля. Из инструментов мониторинга в описании названа только Grafana рядом с Docker, Kubernetes и Jenkins; Prometheus, Alertmanager и Zabbix не упомянуты, поэтому глубину этой темы уточните у школы.

Как навык влияет на доход

Мониторинг редко оплачивают отдельной строкой: он входит в требования к системному администратору, инженеру эксплуатации и DevOps-инженеру. Вакансии вроде «Monitoring Engineer» в выдаче Хабр Карьеры по запросу Zabbix есть, но их немного, и зарплату в них чаще не указывают. Открытых данных о надбавке за Prometheus или Zabbix нет.

Ориентиром служит зарплата профессии, внутри которой навык применяют. В исследовании Хабр Карьеры за первое полугодие 2026 года, опубликованном 21 июля 2026 года, медиана в группе «Администраторы» составила 229 000 рублей в Москве, 200 000 в Санкт-Петербурге и 150 000 в других регионах. Это реальные зарплаты, которые пользователи анонимно указали в калькуляторе сервиса (всего 45 226 анкет по всем специализациям), а не предложения из вакансий; уровни специалистов смешаны, и не указано, до вычета налогов цифры или на руки. Начинающему стоит смотреть вакансии своего города с фильтром по опыту.

Навык меняет набор задач, которые вам доверят: тот, кто может показать работающие правила и объяснить их пороги, раньше попадает в дежурства и разборы сбоев.

Как выбрать обучение

Перед оплатой проверьте три вещи: есть ли в программе правила оповещений, а не только установка и панели; на каком стенде вы будете работать; смотрит ли живой человек ваши правила и пороги. Автоматическая проверка увидит, что Prometheus запущен, но не оценит пользу алерта.

Если нужна долгая программа, где мониторинг связан с облаком и доставкой кода, посмотрите расширенный онлайн-курс Нетологии «DevOps-инженер с нуля». Он длится 19 месяцев, включает 55 вебинаров и 10 встреч с ответами на вопросы, задания выполняют в Yandex Cloud. Prometheus и Grafana указаны в инструментах и проектах по мониторингу, рядом с ELK и Sentry; Zabbix и Alertmanager в описании не названы, порядок проверки работ тоже не описан.

Прежде чем выбирать, соберите учебный пример с диском на своей виртуальной машине. Если правило заработало и вы понимаете, почему сообщение пришло через несколько минут, вам нужна практика на большом стенде; если непонятен каждый шаг, начните с Linux и сетей.

Сравнить онлайн-школы по цене, формату и поддержке поможет рейтинг онлайн-школ по системному и сетевому администрированию. Он широкий и охватывает всё администрирование, а не только мониторинг, поэтому наличие Prometheus, Zabbix и Grafana в программе выбранного курса сверяйте на странице школы.