Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

PyTorch с нуля: тензоры, обучение нейросети и переход от sklearn к глубокому обучению

PyTorch — библиотека Python, в которой собирают и обучают нейросети. С её помощью задают слои модели, подают данные пакетами, считают ошибку, получают градиенты и обновляют веса, а затем переносят вычисления на видеокарту и сохраняют обученную модель. Для старта нужны уверенный Python, NumPy и основы классического машинного обучения. Главное отличие от scikit-learn: цикл обучения вы пишете сами, поэтому многие ошибки не вызывают сообщений, а только портят качество. Ниже — тензоры и autograd, учебный пример, сравнение с TensorFlow и порядок освоения.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: PyTorch с нуля: тензоры, обучение нейросети и переход от sklearn к глубокому обучению

Кто пришёл из scikit-learn, привык к одной строке model.fit(X, y). В PyTorch её нет: на каждом шаге вы сами подаёте пакет данных в модель, считаете функцию потерь, обнуляете старые градиенты, вычисляете новые и делаете шаг оптимизатора. Зато в явном цикле можно поменять что угодно — добавить вторую функцию потерь, заморозить часть слоёв, обучать на нескольких видеокартах. И именно в нём новички совершают ошибки, о которых интерпретатор молчит.

Какие задачи решают на PyTorch, а какие — нет

PyTorch нужен, когда данные — изображения, тексты, звук или последовательности и признаки вручную не придумать. На нём дообучают готовые сети для классификации снимков, распознавания речи и обработки текстов, на нём написана большая часть открытых моделей. Для таблиц с клиентами и заказами нейросеть обычно не нужна: градиентный бустинг в CatBoost или LightGBM обучается быстрее и редко уступает в качестве. А если нужно генерировать тексты, разумнее начать с готовой языковой модели через API. О профессии специалиста по глубокому обучению и о компьютерном зрении на сайте есть отдельные статьи; здесь речь о самом инструменте.

Тензоры, autograd и цикл обучения

Тензор — многомерный массив чисел вроде массива NumPy: вектор признаков, матрица весов, пакет из 64 картинок 28 на 28 пикселей. Но тензор можно перенести на видеокарту командой .to("cuda"), и он умеет запоминать, какими операциями получен. На этом построен autograd — автоматическое дифференцирование. Если у тензора весов включён флаг requires_grad, PyTorch записывает вычисления с ним, а loss.backward() проходит запись в обратном порядке и кладёт в каждый вес градиент — направление, в котором вес надо сдвинуть, чтобы ошибка уменьшилась.

Модель описывают классом-наследником nn.Module: в конструкторе перечисляют слои, в методе forward — как через них идут данные. DataLoader режет выборку на пакеты и перемешивает их. Одна эпоха выглядит так:

model.train()
for x, y in train_loader:
    x, y = x.to(device), y.to(device)
    loss = loss_fn(model(x), y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

optimizer.zero_grad() нужен потому, что градиенты в PyTorch по умолчанию накапливаются: без обнуления новые складываются со старыми.

Учебный пример: классификатор одежды и две тихие ошибки

Ситуация учебная. Аналитик, знакомый со scikit-learn, обучает небольшую сеть на наборе FashionMNIST из torchvision — чёрно-белых снимках одежды десяти категорий. Сначала он обучает на тех же пикселях логистическую регрессию и записывает её точность: это базовая линия. Сеть из трёх полносвязных слоёв он, как в учебнике, заканчивает слоем Softmax и подключает nn.CrossEntropyLoss. Ошибка снижается, но медленно, итоговая точность едва обгоняет регрессию, сообщений в консоли нет.

Причина записана в документации CrossEntropyLoss: функция ожидает на входе ненормированные логиты — сырые оценки классов, которые не обязаны быть положительными и давать в сумме единицу. Для меток классов это, как сказано там же, эквивалентно LogSoftmax с последующим NLLLoss, то есть softmax уже встроен в функцию потерь. Добавив свой слой, аналитик применил его дважды: выходы сжались в диапазон от нуля до единицы, градиенты ослабли, и сеть учится хуже, хотя формально всё работает. Исправление — убрать Softmax из модели и применять его только для показа вероятностей.

Вторая проблема появилась, когда в сеть добавили Dropout и BatchNorm: точность на проверке стала скакать от запуска к запуску. Аналитик проверял модель внутри torch.no_grad(), но не переводил её в режим оценки. В заметках об autograd сказано прямо: режим оценки — не механизм отключения градиентов, а слои вроде Dropout и BatchNorm2d ведут себя по-разному при обучении и оценке. Документация советует всегда вызывать model.train() при обучении и model.eval() при проверке, даже если вы не уверены, есть ли в модели такие слои.

Сохранение модели

Документация по сериализации рекомендует сохранять не модель целиком, а её state_dict() — словарь весов — и загружать его через load_state_dict() в новый объект того же класса. Там же объяснено, почему чужие файлы весов опасны: torch.save и torch.load используют модуль pickle, и загрузка непроверенного файла может выполнить произвольный код. С версии 2.6 torch.load по умолчанию работает с weights_only=True и собирает только тензоры и разрешённые типы; отключать это стоит лишь для файлов из надёжного источника.

PyTorch или TensorFlow

Понятия у фреймворков общие: тензоры, слои, функции потерь, оптимизаторы. В PyTorch цикл обучения обычно пишут явно и отлаживают обычными средствами Python, в TensorFlow модель чаще собирают в Keras и обучают вызовом fit, что ближе к scikit-learn. С выходом Keras 3 граница размылась: по документации Keras ему нужен движок JAX, TensorFlow или PyTorch, а выбирают его переменной KERAS_BACKEND до импорта библиотеки.

Для домашнего компьютера важна деталь: на странице установки TensorFlow указано, что версия 2.10 была последней с поддержкой видеокарты в обычной Windows, с 2.11 для GPU нужна подсистема WSL2. У PyTorch на странице установки есть сборки для Windows с CUDA; библиотека требует Python 3.10 или новее. Если команда работает на TensorFlow, переход займёт недели, а не месяцы: понятия переносятся, меняется синтаксис.

С чего начать и в каком порядке осваивать

Шаги ниже идут так, чтобы каждый опирался на предыдущий и ошибка находилась там, где её проще заметить. Сначала тензоры, потому что большинство ошибок новичков — несовпадение размерностей. Затем autograd на задаче, где градиент можно проверить на бумаге. И только потом полный цикл и видеокарта.

  1. Освойте операции с тензорами: изменение формы, срезы, умножение матриц, перенос между CPU и GPU. Проверяйте .shape после каждой операции.
  2. Решите линейную регрессию вручную: веса с requires_grad, backward(), обновление без оптимизатора. Сравните результат с LinearRegression из scikit-learn.
  3. Перепишите её через nn.Module, DataLoader и оптимизатор, затем обучите сеть на FashionMNIST.
  4. Перенесите обучение на GPU в бесплатном облачном ноутбуке и сравните время эпохи.
  5. Сохраните state_dict, загрузите в новую модель и убедитесь, что точность совпала.
  6. Дообучите готовую сеть из torchvision на 300–500 своих снимках двух-трёх классов.

Есть простые контрольные точки. Для десяти равновероятных классов ошибка CrossEntropyLoss на первом шаге должна быть около натурального логарифма десяти, примерно 2,3; если она намного больше, проверьте выход модели. Сеть должна обгонять логистическую регрессию, иначе её сложность не оправдана. А точность на проверке в режиме eval не должна заметно меняться от запуска к запуску.

Где освоить PyTorch на курсе

Базу можно пройти по официальным руководствам, но онлайн-курс полезен, когда нужны проверка заданий и путь от Python к нейросетям. PyTorch почти всегда входит в программу как блок широкой подготовки по машинному обучению.

Если вы начинаете без опыта программирования, посмотрите на курс «Инженер машинного обучения» Karpov.Courses. Нейросетям там отведён модуль «Основы глубокого обучения»: 10 уроков за 4 недели, PyTorch и свёрточные сети. До него идут прикладной Python и большой блок классического машинного обучения со scikit-learn и CatBoost — тот самый путь от sklearn к глубокому обучению. Глубже в компьютерное зрение или тексты ведёт только старший тариф.

Открыть курс «Инженер машинного обучения»

Перед оплатой уточните, сколько часов приходится на нейросети и на каком фреймворке выполняются задания, дают ли видеокарту или придётся обходиться бесплатными облачными ноутбуками, проверяют ли домашние работы люди.

На курсе «Data Scientist + ИИ» Skillbox знакомство с нейросетями входит в раздел машинного обучения вместе со Scikit-learn, TensorFlow и PyTorch. Программа рассчитана на 12 месяцев и ведёт от Python и SQL до развёртывания модели как API. Глубину блока по PyTorch и объём практики в нём стоит уточнить у школы.

Открыть курс «Профессия Data scientist»

Сравнивая программы, смотрите на проекты: есть ли хотя бы один, где вы сами пишете цикл обучения, а не только вызываете готовую модель. Без этого читать и менять чужой код на PyTorch будет трудно.

Тем, кому нужны живые занятия, подойдёт курс Data Scientist от TeachMeSkills: 7,5 месяца, 240 академических часов, вечерние занятия дважды в неделю. В программе блок глубокого обучения на TensorFlow и PyTorch, затем свёрточные и рекуррентные сети и обработка текстов. Сколько времени отдано каждому фреймворку, не сказано, а вход «с нуля» при таком объёме математики следует считать условным.

Как навык влияет на доход

PyTorch редко бывает названием должности: в вакансиях он стоит среди требований к ML-разработчикам, специалистам по данным, инженерам компьютерного зрения и обработки текстов. Отдельной зарплатной статистики по навыку в открытых источниках нет.

Ориентир — доход ролей, где он требуется. В калькуляторе зарплат Хабр Карьеры для специализации «ML разработчик» на 14 октября 2026 года указано 222 300 ₽ в месяц по 568 анкетам, по России и всем уровням вместе; разбивка по грейдам без входа скрыта. Это зарплаты из анкет специалистов, а не предложения в вакансиях, и в группу входят те, кто работает только с классическими моделями, так что надбавку за PyTorch из цифры не вычислить. На практике навык открывает задачи с изображениями, текстами и звуком и вакансии, где фреймворк указан обязательным. Свою вилку оценивайте по вакансиям со словом PyTorch на hh.ru и Хабр Карьере с фильтрами по региону и опыту, проверяя, указана сумма до вычета налога или на руки.

Как выбрать обучение

Если цикл обучения из примера вам уже понятен, а сеть на FashionMNIST обгоняет базовую линию, длинная программа с нуля не нужна — ищите короткий курс по нейросетям или задачу на своих данных. Если Python и scikit-learn ещё не уверенные, начинать стоит с них. Сравнить онлайн-школы поможет рейтинг онлайн-школ по машинному обучению. Он охватывает всё направление, а не только PyTorch, поэтому в каждой программе проверяйте, сколько места отведено нейросетям и практике на этом фреймворке.