Stable Diffusion и ControlNet: генерация картинок с контролем позы, композиции и стиля
Stable Diffusion — открытая модель, которая рисует изображение по текстовому описанию и работает на вашем компьютере, а не на сервере сервиса. ControlNet — дополнение к ней: вы даёте схему (скелет позы, карту глубины, контурный рисунок), и модель строит картинку по этой схеме, а не наугад. Стиль закрепляют небольшими надстройками LoRA. Освоить придётся интерфейс ComfyUI или Forge, подбор моделей под версию SD, препроцессоры, дорисовку фрагментов по маске и лицензии, от которых зависит, можно ли продавать результат.
Содержание

Главное отличие от облачных генераторов — управляемость. Иллюстратору нужен персонаж, который сидит вполоборота и держит чашку левой рукой. В текстовом генераторе он переписывает запрос десятки раз и получает руку не с той стороны. В Stable Diffusion он фотографирует себя в нужной позе, превращает снимок в скелет из точек и линий, и модель рисует героя именно так. Цена точности в том, что Stable Diffusion — конструктор: результат зависит от того, какие детали вы собрали и подходят ли они друг другу.
Из чего собирается генерация
В основе лежит базовая модель, её называют чекпойнтом: файл с весами Stable Diffusion 1.5, SDXL, SD 3.5 или дообученная на их основе версия с определённым стилем. Поверх неё подключают LoRA — файл в десятки или сотни мегабайт, который сдвигает модель к нужному персонажу, технике или фактуре и не меняет саму модель. ControlNet работает иначе. По описанию авторов метода — Лвмина Чжана, Аньи Рао и Маниша Агравалы (arXiv:2302.05543) — исходная модель остаётся замороженной, а рядом обучают её копию, которая принимает пространственное условие: края, глубину, сегментацию, позу человека. Поэтому одну и ту же базовую модель можно вести то по контуру, то по скелету, не переобучая её.
Всё это собирают в интерфейсе. В ComfyUI генерация выглядит как схема из узлов: загрузка модели, текстовый запрос, ControlNet, сэмплер, сохранение файла. По описанию в репозитории ComfyUI распространяется под лицензией GPL-3.0, есть настольное приложение для Windows и macOS, поддерживаются SD 1.5, SDXL, SD 3.5, Flux.1 и Flux.2, LoRA, ControlNet, дорисовка и расширение кадра по маске. Большие модели, по тому же описанию, запускаются даже при 4 ГБ видеопамяти и 8 ГБ оперативной благодаря выгрузке частей модели, а режим без видеокарты разработчики обычным пользователям не советуют. Forge и Automatic1111 устроены как вкладки и поля: войти проще, но сложную цепочку труднее воспроизвести.
Препроцессоры: поза, глубина, контуры
ControlNet читает не исходную фотографию, а карту, которую из неё делает препроцессор. Если на вход подать готовый скелет и снова прогнать его через препроцессор позы, карта испортится — в таком случае препроцессор отключают. В репозитории ControlNet 1.1 перечислены 14 моделей: 11 рабочих и 3 экспериментальные. Основные пары выглядят так.
| Что задаёте | Препроцессор | Модель ControlNet 1.1 |
|---|---|---|
| Позу тела, кистей и лица | Openpose, Openpose Full | controlv11psd15_openpose |
| Расположение планов в глубину | DepthMidas, DepthLeres, Depth_Zoe | controlv11f1psd15_depth |
| Точный контур предмета | Canny, Lineart | controlv11psd15_canny, lineart |
| Мягкие границы форм | SoftEdgeHED, SoftEdgePIDI | controlv11psd15_softedge |
| Прямые линии интерьера | MLSD | controlv11psd15_mlsd |
| Свой набросок от руки | Scribble | controlv11psd15_scribble |
Обратите внимание на «sd15» в каждом названии: в репозитории прямо сказано, что для работы нужна модель Stable Diffusion 1.5. С чекпойнтом SDXL эти файлы не работают — нужен ControlNet, обученный под SDXL. Перепутанная архитектура — частая причина ошибки или каши вместо картинки, и новички ищут её в настройках, а не в файлах.
Учебный пример: персонаж в заданной позе и одном стиле
Задача условная: серия из четырёх иллюстраций к детской книге, герой — девочка в жёлтом плаще. Иллюстратор снимает на телефон четыре позы, прогоняет их через Openpose и получает скелеты. Для первой сцены добавляет ControlNet глубины по фотографии комнаты, чтобы девочка стояла у окна, а не висела в воздухе. Стиль держит LoRA, обученная на его собственных акварельных набросках. После генерации неудачную кисть руки он выделяет маской и перерисовывает только её, затем увеличивает картинку до нужного размера. Номер затравки (seed) и схема узлов сохранены, поэтому правку по третьей сцене можно внести, не теряя остальные.
С чего начать и в каком порядке осваивать
Порядок выстроен так, чтобы каждый элемент добавлялся к уже понятной схеме. Если начать сразу с SDXL, двух ControlNet и трёх LoRA, при неудаче не понять, какая деталь виновата.
- Установите ComfyUI и запустите встроенный шаблон «текст в изображение» на SD 1.5: модель лёгкая, и под неё больше всего готовых ControlNet.
- Зафиксируйте seed и меняйте по одному параметру — число шагов, силу следования запросу (CFG), сэмплер. Записывайте, что изменилось.
- Подключите ControlNet Canny к своему наброску, затем Openpose к своей фотографии. Сравните силу влияния 0,5 и 1,0 и момент, когда контроль отключается.
- Освойте дорисовку по маске: исправьте руку или фон, не трогая остальное.
- Подключите LoRA и сравните несколько значений её веса на одной затравке.
- Перейдите на SDXL и подберите к нему ControlNet той же архитектуры.
Проверка простая: повторите схему через неделю — картинка должна совпасть. Ещё одна частая ошибка — скачивать модели в формате .ckpt с неизвестных сайтов: такой файл может содержать исполняемый код, поэтому выбирайте .safetensors. Отдельный этап по Stable Diffusion с локальной установкой есть на онлайн-курсе «Нейросети для дизайнеров» Логомашины: 20 уроков в пяти модулях, около трёх месяцев по четыре часа в неделю, пятый модуль целиком отдан SD — установке, промптингу, моделям и редактированию, а после каждого этапа наставник разбирает кейс для портфолио. Изучение ControlNet и LoRA стоит уточнить у школы.
Лицензии моделей: кто может продавать результат
Открытая модель не значит модель без условий, и у версий Stable Diffusion они разные. SDXL выпущена под лицензией CreativeML Open RAIL++-M: это разрешительная лицензия с перечнем запрещённых способов использования. Stable Diffusion 3.5 распространяется по Stability AI Community License в редакции от 5 июля 2024 года. Бесплатно ею пользуются люди и компании с годовой выручкой меньше 1 млн долларов; для коммерческого использования нужно зарегистрироваться у Stability AI. Если выручка вместе с аффилированными лицами превысила порог, лицензия прекращается, и дальше нужна отдельная корпоративная. Скачать веса SD 3.5 Large можно только после того, как вы примете условия и передадите контактные данные.
Для того, кто обучает свои надстройки, важен ещё один пункт. Лицензия прямо относит к производным работам дообученные модели и LoRA. Свою LoRA для SD 3.5 вы можете выложить или продать, но обязаны приложить файл с фразой «This Stability AI Model is licensed under the Stability AI Community License», отметить, что меняли материалы, и заметно разместить надпись «Powered by Stability AI» на сайте, в интерфейсе или документации. Сгенерированные картинки принадлежат вам в той мере, в какой это допускает закон, но использовать их для обучения другой базовой генеративной модели нельзя. Перед коммерческим заказом проверяют лицензию каждой детали — чекпойнта, LoRA, ControlNet: дообученная модель с сайта-каталога, как правило, наследует условия исходной.
Кому нужен навык, а кому хватит облачного генератора
Связка окупается там, где важна повторяемость: у иллюстраторов книжных серий, концепт-художников, которые собирают сцены по эскизу, CG-специалистов, дизайнеров карточек товаров, где один предмет показывают в разных интерьерах. Если нужна одна атмосферная картинка для поста, облачный сервис даст её быстрее. Надписи тоже лучше делать в другом инструменте: в карточке SDXL честно сказано, что модель не умеет рисовать читаемый текст, а лица и фигуры людей у неё не всегда получаются правильно.
Сгенерированная сцена редко идёт в работу без графического редактора. Фотобаш — сборку изображения из фотографий, рендеров и генераций — разбирают на курсе «Photoshop для CG-специалистов» Skillbox: два месяца, 15 часов теории и 40 часов практики, два итоговых проекта. Stable Diffusion указана в блоке об ИИ рядом со встроенными функциями Photoshop, Midjourney и BlueWillow, но только строкой в списке, поэтому объём этой темы уточняйте у школы.
Как навык влияет на доход
Отдельной профессии «оператор ControlNet» нет: Stable Diffusion и ComfyUI встречаются в вакансиях AI-дизайнеров и контент-мейкеров как один из инструментов. В вакансии «AI-дизайнер / Нейродизайнер» компании Homex Global (Алматы, опубликована 13 октября 2026 года, опыт от одного года до трёх лет) предлагают от 600 000 до 900 000 тенге в месяц на руки. Stable Diffusion и ComfyUI там стоят в списке генераторов, из которого нужно уверенно владеть хотя бы двумя, а опыт с ComfyUI или обучение LoRA под продукт названы плюсом. Минский «Евроторг» в вакансии AI-контент-мейкера от 31 июля 2026 года требовал знания ComfyUI, но зарплату не указал. Это две вакансии за пределами России, а не статистика. Сопоставимых открытых данных о надбавке за этот навык по России нет.
Чтобы оценить рынок самостоятельно, ищите вакансии по словам «ComfyUI», «Stable Diffusion», «LoRA», фильтруйте по региону и опыту, смотрите медиану, а не среднее, и отличайте суммы до вычета налога от сумм на руки. На фрилансе навык позволяет брать заказы, где нужна серия в одном стиле или точная поза. Из дохода вычитаются расходы на видеокарту и электричество.
Как выбрать обучение
Программы меняются медленнее, чем инструменты, поэтому смотрите, какую версию SD и какой интерфейс показывают на уроках, и есть ли задание, где вы собираете схему сами, а не повторяете готовую. Хороший признак — проверка наставником и разговор о лицензиях.
Короткий обзорный вариант — онлайн-курс «Нейросети для решения творческих задач» Contented: месяц видеоуроков без расписания, четыре модуля, практика после каждого. Четвёртый модуль называется «Stable Diffusion, 3D, звук и расширенные техники», он посвящён альтернативным генераторам изображений, основам 3D и звука. ControlNet и LoRA на странице не упомянуты, а цены в описании расходятся — уточните их у школы до оплаты.
Обзорный курс поможет понять, нравится ли вам такая работа. Глубокое освоение ControlNet и обучение своих LoRA обычно требуют отдельного модуля или самостоятельной практики.
Сравнить школы по практике, гибкости и поддержке наставников поможет рейтинг онлайн-школ с обучением ИИ для дизайнеров и креаторов — он шире этой темы и охватывает все генераторы визуала.
Лучшая проверка готовности — неделя с бесплатным ComfyUI: если вам интересно разбираться, почему скелет позы не совпал с рукой и как это исправить, навык стоит развивать на курсе или самостоятельно. Если нужны только красивые картинки, облачный генератор сэкономит время.