Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

MLOps-инженер: как модели попадают в прод и кто следит за ними после релиза

MLOps-инженер строит и поддерживает инфраструктуру, по которой модели машинного обучения переходят из ноутбука дата-сайентиста в рабочий сервис и остаются там исправными. Он собирает пайплайны переобучения в Airflow, разворачивает MLflow для учёта экспериментов и версий моделей, упаковывает сервисы в Docker, настраивает автоматическую выкатку, метрики и оповещения о дрейфе данных. Сами модели он обычно не обучает. Для работы нужны Linux, Python, Git, контейнеры, CI/CD и понимание того, как проверяют качество модели. Ниже — учебный пример, граница с соседними ролями, доход и путь в профессию.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: MLOps-инженер: как модели попадают в прод и кто следит за ними после релиза

Частое заблуждение — считать MLOps-инженера дата-сайентистом, который вдобавок освоил Docker. На деле его заказчик — команда дата-сайентистов, а результат работы — не модель, а общий порядок, по которому любая модель компании проходит путь от обучения до продакшена. Если в компании пять моделей и каждую автор выкатывал по-своему, MLOps-инженер превращает пять ручных процедур в один шаблон: одинаковая сборка, одинаковая проверка перед релизом, одинаковый мониторинг и понятный ответ на вопрос, кого будить ночью, когда прогнозы испортились.

Чем он отличается от соседних ролей

На сайте есть отдельная статья об инженере машинного обучения. Граница с ним проходит по масштабу: ML-инженер доводит до продакшена конкретную модель, MLOps-инженер строит платформу, по которой этот путь проходят все модели. В небольшой команде обе роли совмещает один человек, в крупной MLOps-инженер становится для ML-инженеров поставщиком инструментов. Дата-сайентист и специалист по глубокому обучению работают с данными и архитектурами, а инфраструктуру получают готовой.

С DevOps-инженером у MLOps общий набор инструментов: контейнеры, CI/CD, Kubernetes, мониторинг. Разница в том, что выкатывают. Обычный сервис меняется, только когда меняется код. Модель может испортиться без единой правки: изменились покупатели, поставщик данных переименовал поле, наступил другой сезон. Поэтому в MLOps версионируют ещё данные, параметры обучения и сами модели, а мониторинг смотрит и на то, что приходит модели на вход.

Что входит в работу

Путь одной модели выглядит так. Данные забирают из хранилища и проверяют: на месте ли столбцы, нет ли пустых партиций. Запускается обучение, параметры, метрики и файл модели записываются в MLflow. Новую версию сравнивают с работающей на одной и той же отложенной выборке и, если она лучше, регистрируют, собирают Docker-образ с сервисом и выкатывают сначала на часть трафика. MLOps-инженер не делает эти шаги руками для каждой модели: он пишет оркестрацию (обычно Airflow, иногда Prefect или Kubeflow), готовит базовые образы с закреплёнными версиями библиотек, настраивает хранилище артефактов, доступы и секреты, шаблоны CI-конвейеров. Его продукт — шаблон и документация, по которым дата-сайентист подключает новую модель без помощи инфраструктурной команды.

Учебный пример: семь моделей и ни одного общего процесса

Ситуация вымышленная. В сервисе доставки продуктов работают семь моделей: прогноз спроса по складам, время доставки, рекомендации, антифрод и ещё три поменьше. Каждую выкатывал её автор: одна запускается из cron на виртуальной машине, другая живёт в Jupyter-ноутбуке, который раз в неделю перезапускают вручную, третья собрана в контейнер без закреплённых версий библиотек. Когда прогноз спроса начал завышать заказы на одном складе, две недели ушло на то, чтобы понять, какая версия модели вообще работает и на каких данных её обучили.

MLOps-инженер начинает с инвентаризации: для каждой модели выясняет владельца, источник данных, частоту переобучения и последствия остановки. Потом предлагает минимальный стандарт. Каждое обучение пишет параметры, версию данных и метрики в общий сервер MLflow. Модели собираются из одного базового образа. Переобучение идёт по DAG в Airflow, созданному из шаблона, и новая версия регистрируется, только если обошла текущую на контрольной выборке. На каждую модель заводят панель в Grafana и оповещение, которое приходит её владельцу, а не в общий канал. Первой переводят модель спроса: на ней проще всего показать пользу. Результат измеряется не точностью, а управляемостью: по любому прогнозу видно версию модели и данных, откат делается одной командой.

Расписание переобучения: тихая разница между версиями Airflow

В расписаниях ошибки особенно незаметны. У каждого DAG в Airflow есть дата начала и интервал запуска, а что делать с интервалами, пропущенными между датой начала и сегодняшним днём, решает параметр catchup. В документации Airflow 2.10 сказано, что планировщик по умолчанию запускает DAG Run для каждого интервала, который ещё не выполнялся, и выполняет такие запуски последовательно. В руководстве по переходу на третью версию отдельной строкой указано, что catchupbydefault теперь по умолчанию равен False: без явной настройки планировщик создаёт запуск только для последнего интервала.

Ошибиться можно в обе стороны. Если на Airflow 2 завести еженедельное переобучение с датой начала год назад и не указать catchup, в очередь встанут около пятидесяти запусков подряд: часы вычислений, полсотни лишних версий в реестре и риск автоматически зарегистрировать модель, обученную на старом срезе. При переезде на Airflow 3 происходит обратное: ежедневный DAG сбора признаков, который после простоя сам догонял пропущенные даты, молча запустится только за последний день, и в данных останутся дыры. По актуальной документации при catchup=True догоняющие запуски возникают и тогда, когда DAG на время выключили и снова включили. Вывод для шаблона: catchup задают в каждом DAG явно, а при обновлении оркестратора умолчания сверяют по руководству, а не по памяти.

Мониторинг после релиза

Модель наблюдают на трёх уровнях. Сервис: доля ошибок, задержка, память — здесь работают обычные DevOps-практики. Входные данные: сместились ли распределения признаков, выросла ли доля пропусков, появились ли незнакомые категории. Качество прогнозов: его можно посчитать, только когда станут известны настоящие ответы, а это бывает через день, а в кредитном скоринге — через месяцы.

MLOps-инженер решает, какие проверки включены по умолчанию, где хранится история метрик (Prometheus, Grafana, отчёты Evidently) и куда уходит сигнал. Сигнал о дрейфе — повод разобраться, а не приговор: признак сместился, но модель может работать по-прежнему хорошо. Поэтому в регламенте заранее пишут, кто смотрит оповещение и по каким признакам модель откатывают, переобучают или оставляют.

Что нужно знать и уметь

Основа инфраструктурная: Linux и терминал, Git на уровне веток и ревью, Python для скриптов и сервисов, Docker, один CI-инструмент вроде GitHub Actions или GitLab CI, основы сетей и HTTP. Сверху — инструменты для моделей: оркестратор, MLflow, DVC для версий данных, Kubernetes, Prometheus и Grafana, облачные хранилища.

Машинное обучение нужно понимать на уровне здравого смысла: зачем делят данные на обучение и проверку, какие бывают метрики, почему переобучение на свежих данных иногда ухудшает модель. Без этого не договориться с дата-сайентистами о проверке перед релизом. Договариваться придётся много: с инженерами данных — о свежести и формате таблиц, со службой безопасности — о доступе к персональным данным в выборках, с финансистами — о стоимости видеокарт, с владельцами моделей — о том, кто отвечает на оповещения.

Что может оказаться трудным

Неделя состоит из ревью изменений в шаблонах, обновления базовых образов после найденных уязвимостей, разбора упавших запусков, подключения новых моделей и дежурств: если модель влияет на деньги, как антифрод, её сбой до утра ждать не будет. Результат почти не виден — когда всё работает, кажется, что работать было нечему. Ответственность размыта: модель принадлежит дата-сайентисту, данные — инженерам данных, а звонят тому, кто отвечает за платформу. Инструменты меняются быстро, и тем, кто хочет сам придумывать модели, эта работа покажется далёкой от машинного обучения.

С чего начать и в каком порядке осваивать

Начинать лучше с инфраструктуры: MLflow и Airflow легко поставить по инструкции, но без Linux, Git и Docker не понять, почему они упали. Затем стоит пройти путь одной модели целиком вручную и только потом автоматизировать его по шагам — так видно, какую проблему решает каждый инструмент.

  1. Linux, Git и Python: скрипт, который обучает модель scikit-learn и сохраняет её в файл.
  2. Сервис на FastAPI и Docker-образ с закреплёнными версиями библиотек.
  3. MLflow: параметры, метрики, реестр моделей, загрузка нужной версии в сервис.
  4. Airflow: DAG переобучения с явно заданными датой начала и catchup.
  5. CI: тесты, сборка образа и сравнение новой модели с текущей.
  6. Prometheus и Grafana: метрики сервиса и отчёт о входных данных.
  7. Kubernetes на локальном кластере: развёртывание и откат версии.

Самопроверка — проверка шаблоном. Подключите к своему конвейеру вторую, совсем другую модель и посмотрите, сколько кода пришлось переписать. Затем попросите знакомого развернуть всё на чистой машине по вашему README. Если без вас он не справился, платформы пока нет, есть набор личных скриптов.

Если инфраструктурная база уже есть, систематизировать инструменты поможет курс TeachMeSkills «MLOps инженер»: 3,5 месяца, 104 академических часа, живые занятия по вторникам и четвергам вечером. На входе ждут терминала, Git на уровне merge и rebase, сборки Docker-образов и базового Python. В программе DVC, MLflow, Airflow, Prefect и Kubeflow, CI/CD, выкатка Canary, Shadow и Blue-Green, мониторинг на Prometheus, Grafana и Evidently, Kubernetes, диплом на GitHub. Обозреватель считает, что 104 часов на такой набор мало; выдают сертификат школы.

Что показать работодателю

В портфолио ценится воспроизводимость, а не точность модели. Хороший проект — репозиторий, из которого одной командой разворачивается весь конвейер: обучение, реестр, сервис, мониторинг. К нему прилагают README с инструкцией по подключению новой модели, короткие записи о принятых решениях, инструкцию на случай инцидента и описание отката. Убедительнее всего две разные модели, прошедшие через один шаблон.

Пути в профессию

В MLOps редко приходят с нуля. DevOps-инженер или системный администратор добирает основы машинного обучения, бэкенд-разработчик осваивает пайплайны данных, дата-сайентист, уставший выкатывать модели вручную, учится инфраструктуре. Первая должность часто называется DevOps-инженер в команде данных, ML-инженер или инженер платформы данных, поэтому смотрите на обязанности, а не на заголовок вакансии.

Тем, кто уже обучает модели, хватит короткого модуля. В программе Karpov.Courses «Продвинутое машинное обучение» блок MLOps продаётся отдельно: 11 уроков и эпилог, около шести недель и финальный проект в виде работающего ML-сервиса. Требования высокие: Python с ООП и тестами, scikit-learn, PyTorch, статистика, базовые Bash, Docker и Git. Лекции записаны заранее, поддержка экспертов — полтора месяца на блок. Инструменты по модулям на странице не перечислены, их стоит уточнить у школы.

Открыть курс «Продвинутое машинное обучение»

Без инфраструктурного и ML-опыта короткие программы не подойдут: программирование, математику и машинное обучение придётся осваивать годами. Если нужны и фундамент, и формальная квалификация, имеет смысл рассмотреть магистратуру.

Пример — онлайн-магистратура МИФИ «Машинное обучение» на платформе Skillfactory: два года по направлению 01.04.02 «Прикладная математика и информатика», поступление с дипломом бакалавра или специалиста любого направления через экзамены, диплом магистра государственного образца. Внедрение моделей в производственную среду идёт во втором семестре, в третьем можно выбрать трек MLOps. Практика — в VK Cloud с GPU, Airflow, Kubernetes, Terraform и MLflow. Стоимость — 920 000 ₽ за четыре семестра; Docker в описании не упомянут.

Открыть курс

Сколько зарабатывает MLOps-инженер

Отдельной зарплатной статистики по MLOps-инженерам в открытых источниках нет: в калькуляторе Хабр Карьеры такой специализации нет, и эти люди распределяются между ML-разработчиками и DevOps-инженерами. На 12 октября 2026 года калькулятор показывает для ML-разработчика по России 225 000 ₽ в месяц по 570 анкетам, для DevOps-инженера — те же 225 000 ₽ по 1 224 анкетам; разбивка по уровням без входа скрыта. По методике сервиса это медиана зарплаты плюс медиана премии по анкетам за скользящие полгода; до вычета налога или на руки, не уточняется.

Для фона: в отчёте Хабр Карьеры за первое полугодие 2026 года медиана по всем IT-специалистам — 191 000 ₽, в Москве — 235 000 ₽, в Санкт-Петербурге — 200 000 ₽, в регионах — 160 000 ₽ по 45 226 зарплатам. Это фактические зарплаты, а не предложения в вакансиях. Чтобы оценить свою вилку, ищите вакансии по словам MLOps и ML-платформа, фильтруйте по региону и опыту, смотрите медиану и проверяйте, входят ли в обязанности оплачиваемые дежурства.

Как выбрать обучение

Программу по MLOps оценивайте по тому, что сдадите в конце. Собирается ли полный конвейер — оркестратор, реестр моделей, контейнер, проверка перед релизом, мониторинг с оповещениями, откат — или это набор отдельных упражнений? Дают ли облачные ресурсы, разбирают ли инциденты? Сравнить школы поможет рейтинг онлайн-школ по машинному обучению. Он охватывает всё направление, от программ с нуля до подготовки ML-инженеров, поэтому выбирайте в нём курсы, где выводу моделей в эксплуатацию отведена основная часть.

Перед оплатой сравните себя с требованиями на входе. Если вы уверенно пишете Dockerfile, но ни разу не обучали модель, начните с основ машинного обучения. Если обучаете модели, но не работали в терминале Linux, начните с инфраструктуры. MLOps стоит на обеих опорах, и курс не заменит ни одну из них.