Локальные нейросети: Ollama и LM Studio — как запустить модель на своём компьютере и зачем
Локальная нейросеть — это языковая модель, файл которой вы скачиваете и запускаете на своём ноутбуке или сервере, без отправки запросов в облако. Ollama делает это из командной строки и сразу поднимает локальный API, LM Studio — через окно с каталогом моделей и чатом. Так документы не покидают компьютер, модель работает без интернета и подписки. Взамен придётся подобрать модель под объём памяти, разобраться с квантизацией и длиной контекста и привыкнуть, что небольшая модель отвечает слабее облачных флагманов.
Содержание

Частое заблуждение — считать локальную модель бесплатной копией ChatGPT. На обычном ноутбуке помещается модель на 4–14 миллиардов параметров, и она уверенно справляется с узкими задачами: пересказать протокол, вытащить реквизиты из договора, переписать письмо, объяснить фрагмент кода. С длинными рассуждениями и редкими фактами она ошибается чаще. Поэтому навык состоит в том, чтобы подобрать модель под задачу и железо и проверить, что она действительно прочитала весь текст.
Что происходит при локальном запуске
Программа скачивает файл с весами модели — миллиардами чисел, полученных при обучении, — загружает его в видеопамять или оперативную память и по вашему запросу предсказывает текст по одному токену, кусочку слова. Всё вычисление идёт на вашем процессоре или видеокарте, поэтому скорость зависит от железа, а не от загрузки чужих серверов.
Ollama после установки работает как фоновая служба. Команда ollama run qwen3:8b скачивает модель и открывает чат в терминале, а по адресу 127.0.0.1, порт 11434, доступен API: к нему подключают редакторы кода, приложения для заметок и свои скрипты (FAQ Ollama). LM Studio привычнее тем, кто не любит терминал: поиск по каталогу, кнопка загрузки, чат с вложенными документами и тоже локальный сервер. Для встраивания в другие программы и работы на сервере удобнее Ollama, для сравнения моделей в чате — LM Studio.
У LM Studio есть требования к компьютеру. На Mac нужен процессор Apple Silicon и macOS 14 или новее, на Windows с процессором x64 обязательна поддержка инструкций AVX2; рекомендуют от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти (системные требования LM Studio).
Железо и квантизация
Объём памяти — главное ограничение. Модель на 8 миллиардов параметров в 16-битной точности занимает около 16 ГБ. Квантизация — это округление весов до меньшего числа бит: модель становится в несколько раз легче и чуть менее точной.
В библиотеке Ollama модель qwen3:8b весит 5,2 ГБ, qwen3:14b — 9,3 ГБ, qwen3:32b — 20 ГБ (страница qwen3). Разделите 5,2 ГБ на 8 миллиардов весов — выйдет около 5 бит на вес вместо 16: это и есть квантизованная версия. К размеру файла добавляется память под контекст, поэтому модель на 8 миллиардов помещается на видеокарту с 8 ГБ, а модели на 32 миллиарда нужна карта на 24 ГБ или Mac с большим объёмом общей памяти.
Если модель не помещается в видеопамять, Ollama выгружает часть слоёв на процессор: ответ не ломается, но скорость падает в разы. Распределение показывает команда ollama ps, нужное значение в колонке PROCESSOR — 100% GPU. Память под контекст тоже можно сжать: OLLAMA_KV_CACHE_TYPE=q8_0 уменьшает её примерно вдвое с очень небольшой потерей точности, q4_0 — примерно вчетверо, но с заметной потерей.
Длина контекста: почему модель «не видит» конец документа
Контекст — объём текста, который модель держит в голове за один запрос: вопрос, вложенный документ и собственный ответ. У Ollama длина контекста по умолчанию зависит от видеопамяти: меньше 24 ГБ — 4 тысячи токенов, от 24 до 48 ГБ — 32 тысячи, от 48 ГБ — 256 тысяч (документация Ollama о длине контекста). Сама модель может поддерживать больше: у qwen3:8b заявлено 40 тысяч токенов.
На практике владелец ноутбука с видеокартой на 8 ГБ вставляет в чат договор на двадцать страниц и просит найти условия расторжения. Модель получает только ту часть, которая влезла в 4 тысячи токенов, и уверенно отвечает по ней, не сообщая, что остальное отрезано.
Исправляется это ползунком Context length в окне Ollama или переменной OLLAMA_CONTEXT_LENGTH=32000 при запуске сервера. Документация предупреждает, что больший контекст требует больше памяти, а для агентов, веб-поиска и инструментов для кода советует не меньше 64 тысяч токенов. После изменения снова откройте ollama ps: колонка CONTEXT покажет выделенный контекст, PROCESSOR — не ушла ли модель частично на процессор.
Приватность: что остаётся на компьютере
При локальном запуске разработчики Ollama не видят ваших запросов и данных — так сказано в FAQ Ollama. Но в Ollama есть и облачные модели, запрос к которым уходит на серверы компании. Если данные не должны покидать компьютер, облачные функции отключают переменной OLLAMA_NO_CLOUD=1.
Второй риск — сетевой доступ. По умолчанию Ollama принимает запросы только с того же компьютера; чтобы подключиться с другого устройства, адрес меняют переменной OLLAMA_HOST, а вход по паролю в документации не описан. Открывать такой порт в интернет без прокси с авторизацией нельзя: любой, кто найдёт адрес, сможет пользоваться вашей моделью. И ещё одно: открытые веса не означают свободы использования, условия коммерческого применения читают на странице модели до того, как встроить её в продукт.
Учебный пример: протоколы совещаний без облака
Учебная ситуация: секретарь отдела готовит итоги совещаний, а в расшифровках фамилии сотрудников и цифры бюджета, которые нельзя загружать во внешние сервисы. На ноутбуке 16 ГБ оперативной памяти и видеокарта на 8 ГБ.
Секретарь ставит Ollama, загружает qwen3:8b и проверяет через ollama ps, что модель целиком на видеокарте. Затем увеличивает контекст до 16 тысяч токенов, потому что расшифровка часового совещания в 4 тысячи не влезет, и снова смотрит на память. Запрос формулирует конкретно: выписать решения, ответственных и сроки и к каждому пункту привести цитату из расшифровки. Итог — шаблон запроса и настройка, которые работают на этом ноутбуке без интернета.
С чего начать и в каком порядке осваивать
Шаги идут от простого к рискованному: сначала вы учитесь понимать, сколько памяти нужно модели, потом проверяете, что она видит весь текст, и только затем подключаете её к другим программам и сети.
- Узнайте объём видеопамяти и оперативной памяти, поставьте LM Studio или Ollama.
- Запустите модель на 1–4 миллиарда параметров и оцените скорость.
- Сравните две модели разного размера на пяти задачах из своей работы.
- Настройте длину контекста и проверьте её на документе, ответ на который лежит в последнем абзаце.
- Подключите модель через API к одной программе.
- Только после этого решайте, нужен ли доступ с других устройств и как его защитить.
Упражнения и типичные ошибки
Полезное упражнение — «иголка в стоге сена»: вставьте в конец длинного текста фразу вроде «пароль от склада — синий слон» и спросите о ней модель. Не нашла — контекст обрезан. Второе упражнение — одна и та же задача в локальной и облачной модели на обезличенных данных: так видно, где разница в качестве для вас существенна.
Ошибки новичков повторяются. Скачивают самую большую модель, которая еле работает на процессоре. Забывают о длине контекста и винят модель, которая не видела текста. Открывают порт Ollama в сеть ради доступа с телефона. Верят, что локальная модель не выдумывает: маленькие модели ошибаются так же уверенно, как большие, поэтому ответ по документу стоит просить с цитатами.
Чему учат на онлайн-курсах
Отдельной программы только про Ollama и LM Studio на сайте нет: локальный запуск входит блоком в более широкие курсы. Разработчикам игр подойдёт курс Skillbox «Нейросети в играх и графике»: месячный интенсив из 7 модулей и 29 уроков, где в технической части разворачивают локальную модель Qwen 3 Coder через Ollama и расширение Continue и подключают её к проекту на Unity. Номер модуля и требования к компьютеру на карточке не указаны — уточните их у школы.
Квантизация, настройка контекста и защита локального сервера в описаниях программ отдельно не выделены, а именно с ними связаны ошибки из раздела выше. Уточните у школы, разбирают ли их и на каком железе показывают примеры.
Тем, кому нужен ассистент для документов без программирования, ближе онлайн-курс Skillbox «Нейросети для бизнеса»: от двух до четырёх месяцев в зависимости от тарифа, более 78 часов практики. В инструментах указаны LM Studio и AnythingLLM, среди сценариев — локальный ассистент, который работает с документами без отправки базы знаний в публичное облако. Как именно используют LM Studio, в описании не раскрыто.
Обе программы выше — от одной онлайн-школы: других курсов с подробно описанным блоком о локальных моделях мы на сайте не нашли, а карточки без программы в подборку не включали.
Следующий шаг после локального чата — бот, который отвечает по вашим документам. Его собирают на интенсиве Karpov.Courses «RAG-боты и агенты LLM»: две недели, четыре вебинара с записью, путь от ассистента без кода к цепочкам на LangChain, поиску по документам и боту в Telegram; на время обучения дают сервер с видеокартой. Ollama и квантизация в описании не упомянуты, так что базу из этой статьи лучше пройти заранее.
Как навык влияет на доход
Отдельной профессии «оператор локальных нейросетей» нет, и открытой статистики о надбавке за этот навык мы не нашли. Он работает как часть других ролей: разработчику даёт ассистента, который не отправляет исходники на чужой сервер, юристу и аналитику — обработку конфиденциальных документов, системному администратору — задачу развернуть модель внутри компании.
Чтобы оценить спрос самостоятельно, ищите на сайтах вакансий по словам Ollama, vLLM и «локальные LLM» с фильтром по региону и опыту, смотрите медиану, а не верхнюю границу вилки, и отличайте суммы до вычета налога от сумм на руки. Обычно этот навык стоит в требованиях рядом с Python, Docker и Linux.
Как выбрать обучение
Если модель нужна только для своих задач, курс не обязателен: документации Ollama и LM Studio и упражнений выше хватит на первые недели. Обучение пригодится, когда модель предстоит встроить в продукт, бот или процесс команды — там появляются API, поиск по документам и безопасность.
Сравнить школы поможет рейтинг онлайн-школ, обучающих ИИ для разработчиков. Он шире темы локальных моделей, поэтому в программе каждого курса ищите конкретные слова: Ollama, LM Studio, локальный сервер, длина контекста.
Перед оплатой спросите школу, на каком компьютере выполняются задания, дают ли сервер с видеокартой, если своего нет, и проверяет ли кто-то настройку модели, а не только итоговый результат.