LLM-инженер: RAG, агенты, дообучение и оценка ответов — работа и обучение
LLM-инженер — это разработчик, который собирает продукт на готовой большой языковой модели. Он подключает модель к сервису через API, подаёт ей нужные документы через RAG, строит агентов, которые вызывают внешние инструменты, и пишет автоматические проверки ответов. Ещё он считает, сколько стоит и сколько длится один запрос, и решает, когда стоит дообучить модель, например методом LoRA, а когда хватит хорошей инструкции и поиска по документам. В профессию приходят из бэкенд-разработки на Python или из машинного обучения; первым доказательством навыка служит проект с тестовым набором и посчитанной ценой ответа.
Содержание
Новички часто представляют эту работу как обучение собственных моделей на мощных видеокартах. На деле дообучение обычно стоит в конце очереди: сначала инженер проверяет, решает ли задачу готовая модель с аккуратной инструкцией, потом — помогает ли подача документов в контекст, и только когда оба способа упёрлись в потолок по качеству, цене или скорости, готовит обучающую выборку. Большая часть времени уходит на код вокруг модели: обработку ошибок, проверку формата, замеры и разбор неудач.
Чем LLM-инженер отличается от соседних ролей
Ближе всего к нему прикладной специалист по ИИ, который встраивает модель в процессы компании и часто работает в no-code-конструкторах. LLM-инженер отвечает за код и поведение системы под нагрузкой: сервис должен выдерживать тысячи запросов, переживать сбои поставщика модели и не разоряться на токенах.
Инженер машинного обучения и MLOps-инженер работают с моделями, которые компания обучает сама: данные, эксперименты, пайплайны, мониторинг. LLM-инженер пересекается с ними при дообучении и развёртывании открытой модели на своих серверах. Промпт-инженер шлифует инструкции, а LLM-инженер встраивает их в код, версионирует и проверяет автоматически. ИИ-продакт-менеджер решает, какую задачу отдать модели и как измерить пользу. В небольшой команде всё это нередко делает один человек, поэтому в вакансии смотрите на задачи, а не на название.
Учебный пример: счета перевозчиков в учётной системе
Ситуация вымышленная. Логистическая компания каждый день получает сотни счетов от перевозчиков в PDF: у каждого свой шаблон, часть документов — сканы. Бухгалтеры вручную переносят в учётную систему номер, дату, ИНН, сумму и ставку НДС. Инженер делает сервис, который извлекает поля сам и отдаёт человеку только сомнительные документы.
Начинает он с выборки: берёт у бухгалтерии 300 счетов с уже введёнными верными значениями как эталон. Затем описывает JSON-схему ответа и включает режим структурированного вывода, чтобы модель не могла вернуть произвольный текст вместо полей. Первый прогон показывает точность по каждому полю: суммы и ИНН почти всегда верны, даты и ставка НДС — нет. Причина в том, что у одних перевозчиков дата записана цифрами, у других словами, а НДС указан то в процентах, то суммой. Инженер добавляет в инструкцию правила нормализации и проверку кода: если сумма без НДС плюс налог не сходится с итогом, документ уходит человеку.
Дальше начинается экономика: инженер замеряет токены и секунды на один счёт и выясняет, что однотипные счета хорошо разбирает недорогая быстрая модель, а дорогую стоит вызывать только для сканов и редких шаблонов. Через несколько месяцев у компании накапливаются тысячи проверенных бухгалтерами документов — и только тогда появляется смысл обсуждать дообучение небольшой модели под этот конкретный формат.
Из чего состоит работа
Интеграция модели в продукт
Вызов модели — сетевой запрос к внешнему сервису, который может ответить медленно, вернуть ошибку или упереться в лимит. Инженер задаёт тайм-ауты и повторные попытки, предусматривает резервную модель другого поставщика, проверяет ответ по схеме, прежде чем передать его дальше, и логирует каждый вызов вместе с версией промпта.
RAG и агенты — обзорно
RAG (retrieval-augmented generation, генерация с опорой на найденные документы) нужна, когда модель должна отвечать по знаниям, которых нет в её обучающих данных: регламентам, каталогу, свежей переписке. Система находит подходящие фрагменты и подаёт их в запрос вместе с вопросом. Агент — схема, в которой модель сама выбирает следующий шаг: вызвать поиск, обратиться к API, записать результат. Обе темы большие; LLM-инженеру важно помнить, что каждый фрагмент в контексте и каждый шаг агента добавляют токены, секунды и точки отказа.
Оценка ответов
Оценку качества (evals) в этой профессии ведут так же регулярно, как модульные тесты в обычной разработке. Есть эталонный набор с правильными ответами, точные автоматические проверки там, где ответ можно сравнить (поле JSON, класс обращения), и оценка другой моделью там, где точного ответа нет. У модели-оценщика есть свои перекосы, поэтому её вердикты выборочно сверяют с людьми. Набор прогоняют после каждой правки промпта, смены модели или обновления базы документов.
Стоимость и задержка
Цена запроса складывается из входных и выходных токенов, и выходные, как правило, дороже. Задержку разделяют на время до первого токена и время генерации всего ответа. Инженер сокращает и то и другое: убирает лишнее из контекста, ограничивает длину ответа, кэширует одинаковые запросы, отправляет фоновые задачи пакетами, направляет простые случаи на модель меньшего размера. Полезная метрика — не цена одного вызова, а цена одного правильного ответа: дешёвая модель, после которой треть документов проверяет человек, может обойтись дороже.
Когда дообучать, а когда хватит RAG и инструкции
Решение удобно принимать по типу проблемы. Если модели не хватает знаний — ей нужны документы, то есть RAG: дообучение плохо подходит для фактов, которые часто меняются, потому что после каждого изменения модель придётся обучать заново. Если знаний хватает, но модель не держит формат, стиль или узкую классификацию, а инструкция с примерами уже раздута до тысяч токенов, дообучение может помочь. Ещё один повод — перенести задачу с большой дорогой модели на маленькую, которая после обучения на своих примерах справляется не хуже и отвечает быстрее.
Один из самых известных способов экономного дообучения — LoRA (low-rank adaptation). Исходные веса модели замораживают, а обучают небольшие добавочные матрицы. Авторы метода в статье Hu et al., arXiv:2106.09685 показали на GPT-3 175B, что по сравнению с полным дообучением LoRA сокращает число обучаемых параметров в 10 000 раз, а потребность в памяти видеокарты — в три раза: с 1,2 ТБ до 350 ГБ. Файл с результатом обучения уменьшается с 350 ГБ примерно до 35 МБ.
В том же разделе статьи есть оговорка, которую в пересказах обычно опускают: для работы всё равно нужна исходная модель на 350 ГБ. LoRA удешевляет обучение и хранение версий, но не обслуживание. Десятки адаптеров под разные задачи можно держать поверх одной базовой модели, но серверы под неё никуда не исчезают. Есть и второй компромисс. Если влить добавочные матрицы в основные веса, ответы не замедляются, но тогда, как пишут авторы, непросто обрабатывать в одном пакете запросы к разным задачам с разными адаптерами. Если не вливать — адаптеры можно переключать на лету, но придётся смириться с некоторой задержкой. Для инженера это означает, что вопрос «дообучать или нет» включает расчёт инфраструктуры, а не только качества.
Как выглядит повседневная работа и что может не подойти
Обычный день мало похож на исследование. Инженер читает логи неудачных ответов, пополняет эталонный набор, правит промпт и проверяет, не пострадали ли соседние случаи. Договариваться приходится с владельцами данных — кто подтвердит правильный ответ, с юристами и безопасниками — что можно отправлять внешнему поставщику, с продакт-менеджером — какая доля ошибок допустима.
Трудность профессии в том, что результат вероятностный. Система, которая верна в 96 случаях из ста, в четырёх ошибается уверенно, и инженер должен заранее спроектировать, что с ними будет. Тех, кто любит однозначное «работает или нет», это утомляет. Вторая сложность — скорость перемен: модели, цены и интерфейсы поставщиков меняются часто, и часть кода приходится переписывать без новых требований бизнеса.
С чего начать и в каком порядке осваивать
Порядок шагов повторяет порядок решений в работе: сначала надёжный вызов модели, затем измерение качества, и только потом усложнение архитектуры. Если начать с агентов и дообучения, не умея измерять результат, вы не узнаете, стало ли лучше. База — Python на уровне небольшого веб-сервиса.
- Python, HTTP-запросы, JSON, простой сервис на FastAPI или похожем фреймворке.
- Вызов модели через API: роли сообщений, параметры генерации, структурированный вывод, обработка ошибок и лимитов.
- Эталонный набор и автоматическая проверка: 50–100 примеров, метрики по полям или по классам, отчёт после каждой правки.
- Учёт токенов и времени ответа в каждом вызове, сравнение двух моделей по цене правильного ответа.
- RAG на открытом наборе документов, затем простой агент с одним-двумя инструментами.
- Дообучение небольшой открытой модели с LoRA на своём наборе и честное сравнение с результатом шага 3.
Первые шаги можно пройти самостоятельно: небольшие открытые модели запускаются локально. Если нужен наставник и проекты, ориентиром служит программа «ИИ-разработчик: от API до агентов» Нетологии и МТУСИ: шесть месяцев, около десяти часов в неделю, интеграция API, эмбеддинги и векторные базы, RAG, агенты, локальные модели и блок про MLOps. В описании пять проектов, среди них помощник техподдержки на OpenAI API и FastAPI с кэшированием и обработкой ошибок; рассчитан курс прежде всего на Python- и бэкенд-разработчиков.
Что проверить в программе обучения
Название программы мало что говорит о содержании. Ищите в описании эталонный набор и автоматическую оценку, расчёт стоимости запросов, развёртывание сервиса и дообучение. Если в программе только промпты и no-code-конструкторы, это подготовка к соседней, менее технической роли.
Бывает, что карточка курса почти пустая. Так, у программы «LLM-разработчик» Нетологии на странице обзора указаны длительность 11 месяцев и сертификат по окончании, но нет ни модулей, ни проектов, ни требований к входу. Прежде чем выбирать такую программу, запросите у школы учебный план и проверьте его по перечню выше; сравнивать её с другими курсами по одному названию нельзя.
Нужна ли LLM-инженеру глубокая база по машинному обучению? Для интеграции готовых моделей хватает инженерных навыков, но чтобы самому решать вопрос о дообучении и понимать, почему оно не удалось, пригодятся математика, классическое ML и нейросети.
Такой фундамент даёт, например, программа Machine Learning Engineer от Skillfactory: 650 академических часов, математика и статистика, классическое машинное обучение, модуль по NLP и блок Deep Learning, деплой и мониторинг моделей, а среди навыков выпускника названо дообучение трансформеров. Работа с LLM, RAG и агентами в опубликованной программе отдельными модулями не указана, и срок обучения на странице назван по-разному, поэтому это путь в профессию через ML, а не прямая подготовка к LLM-задачам. Курс рассчитан на новичков без опыта в IT.
Портфолио и первые рабочие роли
Работодатель хочет увидеть, что вы умеете измерять. Лучше всего работают два-три законченных проекта в репозитории: исходная задача, данные, схема решения, эталонный набор, таблица метрик до и после изменений, цена и задержка одного ответа, список известных ограничений. Чат-бот по PDF без оценки качества выглядит повтором учебного примера, а тот же бот с сотней проверочных вопросов и сравнением трёх моделей по цене правильного ответа уже показывает инженерный подход.
Маршрутов входа несколько. Бэкенд-разработчик чаще всего переходит внутри своей команды, взяв задачу по ИИ-функции продукта. Специалист по данным добавляет к своему опыту интеграцию и развёртывание. Тестировщик может начать с оценки ответов — эта часть работы близка к автоматизации тестирования. Без опыта в разработке путь длиннее: сначала придётся освоить программирование.
Сколько зарабатывают LLM-инженеры
Отдельной открытой статистики по LLM-инженерам в России нет: в отчёте Хабр Карьеры о зарплатах в IT за первое полугодие 2026 года нет разбивки по машинному обучению и ИИ. Ближайший по смыслу ориентир — калькулятор зарплат Хабр Карьеры по специализации «Учёный по данным», то есть Data Scientist; LLM-инженеров он отдельно не выделяет. В середине октября 2026 года он показывал медиану 233 333 ₽ в месяц по 445 анкетам; по уровням — 112 500 ₽ у junior (78 анкет), 229 166 ₽ у middle (200 анкет) и 380 000 ₽ у senior (77 анкет).
Это фактические зарплаты из анкет пользователей по всей России, без разбивки на регионы, и выборки по уровням невелики. Предложения в вакансиях — другая величина, смешивать их с анкетами не стоит. Чтобы понять вилку для себя, откройте вакансии со словами LLM и RAG на hh.ru и Хабр Карьере, отфильтруйте по городу и опыту и сравните обязанности: сборка бота в конструкторе и развёртывание моделей под нагрузкой оплачиваются по-разному. Смотрите на медиану и уточняйте, указана сумма до вычета налога или на руки.
Как выбрать обучение
Перед оплатой ответьте себе на три вопроса. Есть ли у вас Python на уровне простого сервиса — если нет, начинать стоит с программирования. Нужна ли глубина ML для дообучения или пока хватит интеграции готовых моделей. Кто платит за доступ к моделям во время учёбы.
Сравнить программы разных онлайн-школ поможет рейтинг школ с обучением ИИ для разработчиков. Это рейтинг по более широкому направлению, чем профессия LLM-инженера, поэтому отбирайте в нём программы, где есть API, RAG, оценка качества и развёртывание, а не только помощники для написания кода. Хороший признак — итоговый проект, в котором вы сами считаете качество, цену и задержку ответа: те же цифры потом лягут в портфолио.