Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Мониторинг Kubernetes: Prometheus Operator, VictoriaMetrics, логи и алерты без шума

Мониторинг Kubernetes — это настройка сбора метрик и логов в кластере, где поды появляются и исчезают каждый день. Инженер ставит Prometheus через Prometheus Operator, подключает kube-state-metrics, чтобы видеть состояние объектов, описывает для каждого сервиса ServiceMonitor, отправляет метрики на долгое хранение в VictoriaMetrics, собирает логи контейнеров агентом на каждом узле и пишет правила оповещений. Главная трудность не в установке, а в отборе: какие сигналы будят дежурного, а какие остаются на графиках. Нужны уверенный Kubernetes и базовый PromQL.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Мониторинг Kubernetes: Prometheus Operator, VictoriaMetrics, логи и алерты без шума

Обычно всё начинается с Helm-чарта, который за несколько минут разворачивает Prometheus, Alertmanager, Grafana и сотни готовых правил. Через неделю выясняется, что часть правил срабатывает даже в пустом тестовом кластере, чат с оповещениями все заглушили, а новый сервис команды на графиках так и не появился. Навык в том, чтобы превратить этот набор в систему, где каждое сообщение требует действия, а сервисы попадают в мониторинг без ручной правки конфигурации.

Чем кластер отличается от парка серверов

Основы — как Prometheus опрашивает экспортеры и как Grafana рисует панели — разобраны в нашей статье о мониторинге серверов для начинающих. Здесь речь о том, что меняется, когда целей не десять постоянных машин, а сотни подов, живущих от выкладки до выкладки.

Список целей никто не пишет руками: Prometheus получает его из API Kubernetes. Встроенный в kubelet cAdvisor отдаёт потребление процессора и памяти контейнерами, node_exporter в виде DaemonSet показывает состояние узлов. Третий источник — kube-state-metrics: по описанию проекта, он слушает API-сервер и строит метрики о состоянии объектов — сколько реплик Deployment должно работать и сколько готово, в какой фазе под, сколько раз перезапускался контейнер. Данные он отдаёт без обработки, а метрики удалённого объекта исчезают с его страницы /metrics, поэтому алерт о поде, которого уже нет, сам перейдёт в разрешённые. Четвёртый слой — метрики приложений: запросы, ошибки, время ответа.

Инженер платформы отвечает за весь стек, разработчику достаточно подключить свой сервис и найти логи упавшего пода. Для одного небольшого управляемого кластера часто хватает встроенного мониторинга облачного провайдера.

Как устроен стек: оператор, хранилище и логи

Prometheus Operator превращает настройку мониторинга в объекты Kubernetes: сам Prometheus описывается ресурсом Prometheus, правила — ресурсом PrometheusRule, а то, какие сервисы опрашивать, — ресурсами ServiceMonitor и PodMonitor. Команда кладёт ServiceMonitor рядом с манифестами сервиса, оператор перестраивает конфигурацию Prometheus, и мониторинг выкатывается вместе с кодом.

Хранилище Prometheus рассчитано на один экземпляр, поэтому при нескольких кластерах и длинной истории метрики пересылают по протоколу remote write во внешнее хранилище. Часто для этого выбирают VictoriaMetrics: она принимает данные от Prometheus или своего агента vmagent, понимает PromQL и держит историю всех кластеров в одном месте.

Контейнер пишет логи в стандартный вывод, kubelet складывает строки в файлы на узле, и после удаления пода они пропадают. Поэтому на каждый узел ставят агент — Fluent Bit, Vector или Grafana Alloy, — который добавляет метки namespace, pod и container и отправляет строки в Loki, Elasticsearch или VictoriaLogs. Одинаковые метки у метрик и логов позволяют перейти от всплеска ошибок на графике к строкам нужного пода за ту же минуту.

Учебный пример: сервис, которого Prometheus не видит

Учебная ситуация. Команда интернет-магазина выкатила сервис orders-api в пространство имён shop, написала ServiceMonitor и положила его рядом с Deployment. Прошёл час, но на странице целей Prometheus сервиса нет.

Инженер открывает объект Prometheus командой kubectl get prometheus -n monitoring -o yaml. Разгадка — в двух полях, которые редко читают. По справочнику API Prometheus Operator, пустой serviceMonitorSelector {} выбирает все ServiceMonitor, а отсутствующий (null) — ни одного. Поле serviceMonitorNamespaceSelector устроено иначе: пустой селектор выбирает все пространства имён, а отсутствующий, то есть значение по умолчанию, — только то, где запущен сам Prometheus. Prometheus живёт в monitoring, ServiceMonitor лежит в shop, и оператор его просто не замечает. Ошибки в журнале при этом нет.

Исправление зависит от правил платформы: можно разрешить Prometheus читать пространства имён с определённой меткой и поставить её на shop или договориться об обязательной метке на самих ServiceMonitor. Второй частый промах — селектор внутри ServiceMonitor должен совпадать с метками объекта Service, а не пода, и ссылаться на порт по имени. Когда orders-api появляется в целях со статусом UP, инженер пишет первое правило — не о процессоре пода, а о том, что видит покупатель: доля ответов 5xx выше 2 % в течение 10 минут. Порог учебный, в работе его подбирают по истории сервиса.

Алерты без шума: симптомы, а не причины

Готовые наборы правил в основном описывают причины: под перезапускается, узел загружен. В главе о мониторинге распределённых систем книги Google SRE предложено начинать с четырёх «золотых сигналов» — задержки, трафика, ошибок и насыщения — и тратить больше сил на симптомы, чем на причины. Там же сказано, что каждое срочное оповещение должно требовать действия, а слишком частые сообщения приучают людей их пролистывать.

В кластере это означает разделение каналов. Будят человека симптомы: растёт доля ошибок или задержка на входе сервиса. Перезапуски подов и нехватка реплик по данным kube-state-metrics уходят в тикеты или дневную сводку. Алерт на каждый под заменяют алертом на сервис, чтобы сбой двадцати реплик дал одно сообщение, а не двадцать. Для трафика с суточным ритмом фиксированный порог не годится, поэтому текущее значение сравнивают с тем же часом неделю назад через модификатор offset 1w, а на время плановых работ включают тишину в Alertmanager. Оповещения по расходу бюджета ошибок относятся к практике SLO и разобраны в нашей статье об SRE-инженере.

С чего начать и в каком порядке осваивать

Порядок повторяет путь данных: сначала они должны попасть в Prometheus, затем стать правилами, и лишь потом их есть смысл хранить долго и сопоставлять с логами. Шум разбирают в конце, потому что без своих правил и истории не понять, какие сообщения лишние. Всё можно пройти на ноутбуке в локальном кластере kind.

  1. Kubernetes на уровне эксплуатации: Deployment, Service, метки и селекторы, Helm.
  2. Установка стека Prometheus Operator через Helm и разбор созданных ресурсов и правил.
  3. ServiceMonitor для своего приложения, поломка через неверную метку и поиск причины.
  4. PrometheusRule с правилом по доле ошибок и проверка генератором нагрузки.
  5. Агент логов на узлах и Loki, переход от графика к логам по меткам пода.
  6. Пересылка метрик в VictoriaMetrics и запрос к истории за прошлую неделю.
  7. Ревизия готовых правил: что будит, что уходит в тикеты, что удалить.

Если Kubernetes уже уверенный и хочется пройти этот путь по готовой программе, посмотрите онлайн-курс Слёрма «Мониторинг и логирование инфраструктуры в Kubernetes». На него отведено 56 часов, из них 44 — практика на стендах, обучение идёт в своём темпе. В программе установка и тюнинг Prometheus, Grafana, оператор Prometheus, VictoriaMetrics, логирование и алертинг. От слушателя ждут знания абстракций и сети Kubernetes, желательно Helm. Как проверяют задания, в описании не сказано.

Открыть курс

Упражнения и типичные ошибки

Каждое упражнение проверяется вопросом: сработало ли оповещение там, где нужно, и промолчало ли там, где не нужно. Снимите метку с пространства имён и убедитесь, что цели исчезли. Уменьшите число реплик до нуля и найдите это по kube-state-metrics. Остановите агент логов на одном узле и проверьте, заметит ли это мониторинг. Запустите генератор ошибок на десять минут и на тридцать секунд: правило должно реагировать только на первое.

Имя пода меняется при каждой выкладке, и панель, привязанная к нему, после релиза пустеет. Правила на каждый под превращают одну аварию в шквал сообщений. Логи хранят без срока, и хранилище растёт быстрее метрик. Наконец, Prometheus и агенты сами работают в кластере: если упал их узел, мониторинг замолкает, поэтому нужна проверка снаружи.

Строить оповещения с учётом обычного ритма сервиса учат на мастер-классах онлайн-курса Слёрма «Наблюдаемость надёжных систем (Observability)». Три модуля: золотые сигналы на реальных приложениях; алертинг с базовой линией, периодами тишины, сезонностью и статистической проверкой отклонений; мониторинг сотни сервисов с бизнес-метриками и приоритетами. Курс рассчитан на тех, кто уже настраивал мониторинг и пишет на Python. Объём, цена и даты на странице не указаны, Kubernetes и Prometheus в описании не названы — уточните это у школы.

Открыть курс «Наблюдаемость надёжных систем»

Как навык влияет на доход

Отдельной должности «мониторинг Kubernetes» почти нет: навык входит в требования к DevOps-, SRE- и платформенным инженерам. По обзору Хабр Карьеры от 10 августа 2026 года, средняя зарплата DevOps-инженера в России за первое полугодие 2026 года — 238 тысяч рублей. Это средняя, а не медиана, без разбивки по городам и грейдам, методика в обзоре не описана.

Надбавку за сам навык из открытых данных не вывести: в калькуляторе Хабр Карьеры фильтр «DevOps-инженер + Prometheus» на 14 октября 2026 года опирался на 10 анкет, этого мало для выводов. Ощутимее другое: инженер, который может показать, как сократил ночные оповещения и подключил сервисы команд без ручной правки, получает задачи по платформе. В вакансиях сравнивайте медианы своего города и уровня и уточняйте, оплачиваются ли дежурства.

Как выбрать обучение

Узкие программы о мониторинге кластера в каталоге Учи.Онлайн почти все принадлежат одной онлайн-школе, поэтому два курса выше — от Слёрма. Тем, кто только идёт в профессию, подойдёт вариант, где мониторинг входит в общую программу.

Таков онлайн-курс TeachMeSkills «DevOps инженер»: 224 академических часа примерно за семь месяцев, только живые занятия без записей. Docker и Kubernetes идут отдельным модулем, в модуле мониторинга и логирования названы Prometheus, Grafana и стек ELK. Оператор Prometheus, VictoriaMetrics и алертинг в описании не упомянуты, а облачные расходы сверх бесплатных лимитов оплачивает студент.

Перед оплатой проверьте, будет ли кластер, где вы сами пишете ServiceMonitor и PrometheusRule, разбирают ли логи в кластере и смотрит ли преподаватель ваши пороги. Пройдите пример с orders-api на ноутбуке: если причину нашли сами, нужна практика с сотней сервисов, если застряли на селекторах — сначала доучите Kubernetes.

Сравнить онлайн-школы по цене, формату и поддержке поможет рейтинг онлайн-школ с обучением DevOps и инфраструктуре. Он широкий и охватывает всё направление, поэтому наличие Kubernetes, Prometheus и логирования в программе сверяйте на странице школы.