Chaos Engineering: как проверять отказоустойчивость сервиса и учиться на авариях и постмортемах
Chaos Engineering (хаос-инжиниринг) — способ заранее узнать, как сервис переживёт сбой, устроив этот сбой самому и под контролем. Инженер описывает нормальную работу в цифрах, формулирует гипотезу вроде «при отказе одной реплики доля успешных запросов не упадёт», вносит отказ в ограниченную часть системы, следит за метриками и останавливает опыт, если вред выходит за рамки. Понадобятся Linux, Kubernetes, мониторинг и умение читать код. Ниже — устройство эксперимента, учебный пример, инструменты, game day, постмортемы и порядок освоения.
Содержание

Самое распространённое заблуждение — будто навык сводится к случайному выключению серверов. Выключение без гипотезы и метрик даёт только аварию, после которой непонятно, чему научились. Рабочий эксперимент похож на лабораторный опыт: заранее известно, что измеряем, чего ожидаем, когда прекращаем и кто откатывает изменения. Поэтому начинать стоит не с инструмента, а с вопроса, на который опыт должен ответить.
Какую задачу решает и когда нужен другой подход
Эксперименты показывают, что произойдёт со всей цепочкой сервисов, когда одна её часть начнёт вести себя плохо. Тайм-ауты, повторные запросы, перезапуск и переключение на резерв пишут разные люди в разное время, и вместе они часто работают не так, как задумано. Навык пригодится SRE-инженерам и инженерам платформ, бэкенд-разработчикам микросервисов и тестировщикам нефункциональных требований. Профессии инженера по надёжности на нашем сайте посвящена отдельная статья; здесь речь о практике экспериментов.
Иногда хаос-инжиниринг рано. Без мониторинга нечем измерить нормальную работу, и опыт превратится в гадание. Если сервис живёт на одном сервере, исход известен заранее: сначала нужны резервные копии и вторая реплика.
Из чего состоит эксперимент
Принципы Chaos Engineering описывают эксперимент четырьмя шагами. Сначала определяют устойчивое состояние — измеримый выход системы: пропускную способность, долю ошибок, задержку. Затем предполагают, что оно сохранится и в контрольной, и в экспериментальной группе. Третий шаг — внести переменную, похожую на реальное событие: падение процесса, отказ диска, обрыв соединения. Четвёртый — попытаться опровергнуть гипотезу, отыскав разницу между группами. Устойчивое состояние измеряют по тому, что видит пользователь: сервис с «зелёными» внутренними графиками может отвечать клиенту очень медленно.
Последний из принципов — минимизировать радиус поражения: авторы прямо возлагают на инженера ответственность за то, чтобы последствия опыта остались локальными. Радиус задают тремя рычагами: сколько целей затронуто (один под, доля соединений), как долго длится отказ и при каком значении метрики опыт прерывают. Рамки записывают до запуска. Если команда работает с целями по надёжности (SLO), опыт на рабочем окружении не проводят, когда бюджет ошибок на исходе.
Учебный пример: сервис промокодов и медленный Redis
Пример условный. Сервис промокодов в интернет-магазине работает в Kubernetes в трёх репликах и для каждой проверки обращается к Redis. Устойчивое состояние: не меньше 99,5 % проверок успешны, 95 % ответов быстрее 300 миллисекунд. Гипотеза: если Redis замедлится на 200 миллисекунд для каждого десятого соединения, оба показателя останутся в норме. Рамки: тестовое окружение с копией трафика, 10 минут, остановка при доле ошибок выше 2 %.
Задержку вносят через Toxiproxy — прокси между приложением и зависимостью. Он добавляет к соединению «токсины»: задержку (latency), ограничение скорости (bandwidth), тайм-аут, сброс TCP-соединения (reset_peer). Параметр toxicity задаёт вероятность применения токсина к соединению: 0,1 затронет примерно 10 % соединений (README Toxiproxy).
Через четыре минуты ошибок больше 2 %, опыт останавливают. Причина: в клиенте Redis стоял тайм-аут 5 секунд, медленные запросы заняли все соединения пула, и ждать начали даже незатронутые проверки. Опровергнутая гипотеза — полезный результат. Команда ставит тайм-аут 250 миллисекунд и запасной ответ «проверка временно недоступна», повторяет опыт и получает показатели в норме.
Инструменты: Chaos Mesh, Litmus и Toxiproxy
Toxiproxy работает на уровне соединения и не требует Kubernetes, его удобно включать в интеграционные тесты. Chaos Mesh — контроллеры для Kubernetes, где эксперимент описывают манифестом. Тип PodChaos делает под недоступным (pod-failure), удаляет его (pod-kill) или завершает контейнер (container-kill); для перезапуска удалённого пода нужен ReplicaSet или похожий механизм (документация Chaos Mesh о PodChaos). Цели выбирают селекторами по пространству имён, меткам, аннотациям и узлам.
Для радиуса поражения важна настройка, о которой легко забыть. В документации Chaos Mesh 2.8 сказано, что фильтр пространств имён (FilterNamespace) по умолчанию выключен, и аннотация на пространстве имён ничего не ограничивает: опечатка в селекторе может задеть чужие сервисы. Защита включается параметром Helm controllerManager.enableFilterNamespace=true, после чего отказы вносятся только в пространства имён с аннотацией chaos-mesh.org/inject=enabled, а остальные защищены (Chaos Mesh, Configure the namespace for chaos experiments). На общем кластере это стоит сделать при установке, до первого опыта.
В LitmusChaos гипотезу проверяют пробы, описанные прямо в эксперименте: httpProbe смотрит код ответа, cmdProbe сравнивает вывод команды, k8sProbe проверяет ресурсы кластера, promProbe сравнивает результат запроса к Prometheus с порогом. Эксперимент успешен, только если прошли все пробы (документация LitmusChaos о пробах).
Game day и постмортем без поиска виноватых
Game day — запланированное учение, на котором команда проходит сценарий сбоя от оповещения до восстановления. Эксперимент проверяет код, учение — людей и процессы: дошёл ли сигнал до дежурного, есть ли доступы, кто сообщает пользователям. Организатор заранее пишет сценарий и критерий остановки, ведущий вносит отказ, наблюдатель фиксирует время каждого действия.
В книге Google о SRE, в главе о культуре постмортемов, перечислены поводы для письменного разбора: заметная пользователям деградация сверх порога, потеря любых данных, вмешательство дежурного вроде отката релиза, долгое восстановление и отказ мониторинга, когда о сбое узнали вручную. Запросить постмортем может любой заинтересованный участник, а разбор без поиска виноватых ищет причины, не обвиняя человека или команду (Google, «Postmortem Culture: Learning from Failure»). Хаос-инжиниринг добавляет правило: исправление из постмортема проверяют повторным экспериментом, иначе задача закрыта, а устойчивость не проверена.
С чего начать и в каком порядке осваивать
Порядок идёт от измерения к вмешательству: сначала научиться видеть нормальную работу, потом безопасно её нарушать, и лишь затем — нарушать на людях.
- Поднимите сервис из двух компонентов, например API и Redis, подключите Prometheus и Grafana и запишите устойчивое состояние двумя-тремя числами.
- Поставьте между ними Toxiproxy и проведите опыт с задержкой; гипотезу, рамки и вывод оформите на одной странице.
- Перенесите сервис в локальный кластер Kubernetes, установите Chaos Mesh с включённым фильтром пространств имён и повторите опыт с удалением пода.
- Попробуйте Litmus и переведите проверку устойчивого состояния в пробы.
- Проведите с коллегами маленький game day и напишите постмортем по одному из опытов.
Упражнения и типичные ошибки
Полезно начать с опыта с известным исходом: удалите под у сервиса без реплик и убедитесь, что гипотеза опровергнута, — так проверяются инструмент и мониторинг. Затем найдите в коде все внешние вызовы и для каждого внесите задержку больше настроенного тайм-аута.
Новички запускают опыт без критерия остановки, измеряют загрузку процессора вместо пользовательских метрик, начинают сразу с рабочего окружения и считают провалом опровергнутую гипотезу. Проверка простая: сможет ли коллега по вашему описанию повторить и остановить эксперимент без вас.
Как навык влияет на доход
Отдельной статистики зарплат по хаос-инжинирингу в открытых источниках найти не удалось: он встречается в вакансиях как одно из требований к SRE-инженерам, инженерам платформ и старшим бэкенд-разработчикам. Навык влияет на то, какие задачи вам доверят: дежурства, разбор инцидентов, план восстановления. Смотрите вакансии по словам «Chaos Mesh», «Litmus», «постмортем» с фильтром по городу и опыту и уточняйте, оплачиваются ли дежурства сверх оклада.
Как выбрать обучение
Хаос-инжиниринг осваивают после Kubernetes и мониторинга, поэтому от программы стоит ждать стенда, который можно ломать, и проверки работ. Все три программы ниже — одной школы, Слёрма: других содержательных онлайн-курсов по экспериментам с отказами, кроме разобранных в соседних статьях, на сайте найти не удалось. Сведения взяты со страниц курсов в октябре 2026 года, цены могут измениться.
Узкая программа по теме — онлайн-курс Слёрма «Тестирование отказоустойчивости систем (Chaos Engineering)». Это видеокурс из семи тем: принципы методологии, категории неисправностей, Chaos Mesh и Litmus, практические кейсы. В практике нужно сформулировать гипотезу и проверить её в Chaos Mesh. Стоимость — 30 000 ₽ или 7 500 ₽ в месяц, длительность не указана, проверка заданий есть только в командных тарифах.
Если вам ближе game day и разбор аварий, ищите командный формат: распределять роли во время сбоя в одиночку не научиться.
На онлайн-курсе Слёрма «Управление надёжностью систем на основе данных (SRE)» заявлены 45 часов за три недели, из них 20 часов практики на стендах. Слушатели работают командой над учебным сервисом из микросервисов, отрабатывают аварию платёжного сервиса под нагрузкой и разбирают постмортемы; в программе также SLO, инцидент-менеджмент и канареечные выкладки на Argo Rollouts. Стоимость — 60 000 ₽, старт потоками.
Без опыта с Kubernetes и Prometheus такой поток будет тяжёлым, и на странице курса новичкам советуют сначала пройти интенсив по SRE.
Сам «Интенсив по погружению в SRE» Слёрма описан на сайте почти пусто: длительность, формат, цена и темы не указаны. Перед записью запросите у школы программу и проверьте, есть ли в ней практика с отказами.
Любую программу проверьте тремя вопросами: будет ли собственный стенд, кто проверяет эксперименты и постмортемы, какой документ выдают. Для первых двух курсов указано именное свидетельство школы, а не удостоверение о повышении квалификации.
Сравнить Слёрм с другими онлайн-школами поможет рейтинг онлайн-школ по DevOps и инфраструктуре — широкий, по всему направлению. Но сначала пройдите первые два шага из плана: если опыт с Toxiproxy увлёк, обучение пойдёт быстрее.