Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Hugging Face для ML-специалиста: модели, датасеты, Transformers и Spaces

Hugging Face — это платформа и набор библиотек, через которые ML-специалист находит готовую модель или датасет, читает их карточку и лицензию, скачивает веса и запускает модель в своём коде. Библиотека Transformers загружает модель по имени репозитория, а функция pipeline позволяет получить первый результат за несколько строк. Spaces нужны, чтобы показать модель в браузере, Inference Providers — чтобы вызвать её по API без своей видеокарты. Ниже — как выбирать модель, что изменилось в Transformers 5 и как работать с Hub из России.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Hugging Face для ML-специалиста: модели, датасеты, Transformers и Spaces

Главная ошибка новичка — считать, что работа заканчивается на команде скачивания. На деле больше всего времени уходит на выбор: на каких данных обучена модель, какие метки она выдаёт, на каком языке её проверяли, можно ли использовать её в коммерческом проекте. Модель с миллионом загрузок может быть обучена на англоязычных новостях и ошибаться на ваших русских документах. Поэтому навык работы с Hugging Face — это прежде всего умение читать карточки и проверять модель на своих данных, а уже потом знание API.

Из чего состоит Hugging Face

Центр платформы — Hub, хранилище репозиториев трёх типов: модели, датасеты и Spaces. Каждый репозиторий устроен как git, у каждой версии свой хеш коммита. В репозитории модели лежат веса, конфигурация, токенизатор и README — карточка модели. В её шапке записаны задача, язык, лицензия и датасеты, по ним работают фильтры поиска; ниже автор описывает назначение, ограничения и метрики. Часть моделей закрыта: файлы скачиваются только после принятия условий автора и с личным токеном доступа.

Transformers загружает и запускает модели для текста, изображений и звука, Datasets — наборы данных, huggingface_hub отвечает за вход по токену, скачивание и публикацию. Spaces — маленькие веб-приложения на Gradio, Streamlit или в Docker: в них показывают модель коллегам, не заставляя их ставить Python. Inference Providers — единый способ вызвать модель у партнёрских провайдеров вычислений через токен Hugging Face.

Когда Hugging Face нужен, а когда нет

Платформа окупается там, где задачу уже решали другие и можно взять предобученную модель: классифицировать тексты, извлекать из них сущности, распознавать речь, сравнивать изображения, искать похожие документы. Для таблиц с числовыми признаками — прогноза оттока или кредитного скоринга — Hugging Face обычно не нужен: там работают scikit-learn и градиентный бустинг. Если же нужно запустить чат-модель на своём ноутбуке без кода, проще взять Ollama или LM Studio — этому посвящена соседняя статья о локальных нейросетях.

Transformers 5: остался только PyTorch

Многие руководства по Transformers показывают модели на TensorFlow. В анонсе пятой версии библиотеки от 1 декабря 2025 года команда Hugging Face сообщила, что сворачивает поддержку TensorFlow и Flax и оставляет PyTorch единственным бэкендом. В том же анонсе приведён масштаб: более 400 архитектур моделей против 40 во времена четвёртой версии и более 750 000 совместимых с библиотекой чекпойнтов на Hub. Страница установки для версии 5.19.0 говорит, что библиотеку проверяли на Python 3.10+ и PyTorch 2.5+.

Следствие легко упустить: ноутбук из старого урока, который импортирует классы для TensorFlow (их имена начинаются с TF), на свежей версии работать не будет. Есть два честных выхода: переписать код на PyTorch или явно закрепить в requirements старую четвёртую версию и понимать, что новые архитектуры туда уже не попадут. Ещё одна перемена — отказ от деления токенизаторов на «быстрые» и «медленные», так что старые советы про медленный токенизатор теперь только путают.

Учебный пример: найти модель для извлечения организаций из новостей

Учебная задача: аналитик собирает ленту отраслевых новостей и хочет автоматически вытаскивать из заметок названия компаний и городов. Это задача распознавания именованных сущностей, на Hub она называется Token Classification. Он ставит фильтры по этой задаче и русскому языку и сортирует результаты по загрузкам и дате обновления.

Дальше он читает карточки трёх-четырёх кандидатов: на каком датасете обучена модель (новости, соцсети, юридические тексты), какие метки выдаёт, какая лицензия, есть ли метрики на русском. Если на странице есть виджет, кандидата можно проверить в браузере на паре своих заметок.

Последний шаг — проверка в коде. Аналитик вызывает pipeline с задачей token-classification, явно указывает имя модели и параметр aggregation_strategy=»simple», чтобы куски слов склеивались в целые названия. Затем он прогоняет 50 своих заметок, которые заранее разметил вручную, и считает, сколько названий модель нашла верно, сколько пропустила и сколько добавила лишних. Выбранную версию стоит закрепить параметром revision с хешем коммита: автор может обновить веса, и результаты молча изменятся.

Работа из России: оплата, загрузка и данные

Скачивание публичных моделей и датасетов не требует оплаты, но платные функции — подписка PRO, мощное железо для Spaces, Inference Providers — оплачиваются зарубежной картой; российские банковские карты для этого не подходят. Скорость и стабильность загрузки больших файлов зависят от сети, поэтому разумно скачать модель один раз и работать с локальной копией. По умолчанию файлы складываются в кэш ~/.cache/huggingface/hub; путь меняют переменной HF_HOME или HF_HUB_CACHE, переменная HF_HUB_OFFLINE=1 запрещает обращения к Hub при загрузке, а параметр local_files_only=True в from_pretrained берёт только уже скачанные файлы.

С данными осторожнее. Inference Providers и Spaces работают на серверах за пределами России, поэтому отправлять туда тексты с персональными данными клиентов — значит передавать их за границу, а это отдельный режим по 152-ФЗ. Для таких задач модель лучше скачать и запускать на своём сервере.

С чего начать и в каком порядке осваивать

Порядок ниже выстроен от чтения к публикации: сначала вы учитесь брать готовое и проверять его, потом обрабатывать данные, и только затем дообучать и выкладывать своё. Для первых шагов хватит Python на уровне функций и словарей, базового понимания train/test и бесплатного Google Colab или машины с видеокартой.

  1. Зарегистрируйтесь, создайте токен с правами только на чтение и войдите через huggingface_hub; прочитайте карточки пяти моделей для одной задачи и сравните их.
  2. Запустите pipeline с явно указанной моделью для двух задач: классификации текста и распознавания речи или изображений.
  3. Разберите то же вручную: AutoTokenizer, AutoModel, тензоры на входе и выходе. Посмотрите, на какие токены модель режет русское слово.
  4. Загрузите датасет через load_dataset, разбейте его на части и обработайте функцией map.
  5. Дообучите небольшую модель классом Trainer на своём датасете и сравните результат с исходной моделью.
  6. Опубликуйте модель через push_to_hub и заполните карточку: данные, метрики, ограничения, лицензию.
  7. Соберите Space на Gradio, где коллега может проверить модель без установки чего-либо.

Упражнения и типичные ошибки

Три полезных упражнения: прогнать три модели разных авторов на одних и тех же 100 своих примерах и сравнить точность, скорость и размер; написать карточку своей модели так, чтобы незнакомый человек понял, где она ошибается; запустить проект на машине без сети из кэша.

Ошибки повторяются у многих. Вызов pipeline без имени модели работает, но библиотека подставляет модель по умолчанию и предупреждает об этом — в рабочем коде модель указывают явно. Параметр trust_remote_code=True разрешает выполнить код из чужого репозитория на вашей машине, поэтому включают его только для авторов, которым доверяют, и с закреплённой ревизией. Лицензию читают до начала проекта: открытые веса не означают разрешения на коммерческое использование. Наконец, метрики из карточки — это заявление автора, а не проверка на ваших данных.

Чему учат на курсах

Для старта хватает документации, а системная программа полезна, когда Hub нужно встроить в полный цикл от данных до развёртывания. На курсе «Инженер машинного обучения PRO» Нетологии в описании специализаций сказано, что NLP-направление включает Hugging Face Transformers, BERT и GPT для классификации, генерации и понимания текста.

Открыть курс «Инженер машинного обучения PRO»

Если вы хотите в основном встраивать готовые модели в продукт, важнее инженерный блок программы; если хотите понимать, почему модель ошибается, — блок про архитектуры.

Освоить вторую сторону можно на курсе «Основы глубокого обучения нейросетей» Яндекс Практикума: это два месяца, в программе полносвязные и свёрточные сети, RNN, механизм внимания и трансформеры, а в стеке рядом с PyTorch названы Hugging Face, spaCy и Torchvision.

Длинные профессиональные программы обычно доходят до трансформеров ближе к концу, после Python, статистики и классического машинного обучения. Это нормальная последовательность: без понимания разбиения выборки и метрик дообученная модель будет выглядеть лучше, чем есть.

Такой путь описан у Skillbox: на курсе «Machine Learning Engineer с нуля» в продвинутой части появляются нейросети, трансформеры, NLP и компьютерное зрение, а среди проектов указана классификация текстов на PyTorch. Сама платформа Hugging Face в описании не названа, так что объём работы с Hub лучше уточнить у школы.

Открыть курс «Machine Learning Engineer с нуля»

Как навык влияет на доход

Отдельной статистики зарплат за умение работать с Hugging Face нет, и честно назвать надбавку за этот навык нельзя. Обычно он входит в требования вакансий ML-, NLP- и CV-инженеров как часть стека рядом с PyTorch. На доход он влияет косвенно: позволяет брать задачи, где нужно быстро проверить готовые модели, дообучить одну и показать демо.

Чтобы оценить рынок самостоятельно, ищите вакансии по запросам «Hugging Face» и «Transformers» с фильтром по региону и опыту, смотрите медиану, а не самые высокие предложения, и отличайте суммы до вычета налога от сумм на руки. Вилка сильнее зависит от того, что требуют рядом — дообучение, развёртывание, LLM, — чем от названия библиотеки.

Как выбрать обучение

При выборе программы проверьте, будут ли задания, где вы сами выбираете модель на Hub и сравниваете её с альтернативами, а не только повторяете готовый ноутбук. Важно, чтобы код был на PyTorch и на актуальной версии Transformers, а в проектах была публикация модели или демо, которое можно показать работодателю. Сравнить школы по направлению поможет рейтинг онлайн-школ с обучением Data Science — он широкий, по всему направлению, поэтому наличие Hugging Face в программе каждого курса из него нужно проверять отдельно.

Если вы уже пишете на Python и знаете, что такое обучающая и тестовая выборки, начните с учебного примера выше на своей задаче: подбор и проверка трёх моделей за вечер покажут, хватает ли вам документации или нужен наставник и программа с обратной связью.