Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Парсинг сайтов: XPath, Python и сбор данных для SEO и аналитики — с чего начать

Парсинг сайта — это работа программы, которая скачивает страницы, находит в их HTML-коде нужные элементы и складывает значения в таблицу: цены из каталога, заголовки и метатеги со всех страниц сайта, характеристики товаров, даты объявлений. Элемент указывают выражением XPath или CSS-селектором, страницы загружают скриптом на Python или программой-краулером. Чтобы начать, нужны основы HTML, инструменты разработчика в браузере и базовый Python. Отдельно придётся разобраться с правилами сайта-источника и с тем, как закон защищает чужие базы данных.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Парсинг сайтов: XPath, Python и сбор данных для SEO и аналитики — с чего начать

Новички обычно думают, что главное в парсинге — код загрузки. На деле запрос к странице занимает пару строк, а основное время уходит на другое: понять, как устроена разметка, найти устойчивый признак нужного блока и проверить, что селектор не ломается на соседних страницах.

Какие задачи решает парсинг и когда он не нужен

SEO-специалист сверяет на трёх тысячах страниц заголовки title, H1, канонические адреса и находит шаблонные дубли. Аналитик раз в неделю собирает цены конкурентов по сотне позиций и сравнивает их со своими. Исследователь выгружает тексты объявлений, чтобы посчитать, какие требования встречаются чаще. Вручную всё это долго и чревато ошибками.

Парсер не нужен, если у сайта есть официальный API, выгрузка в CSV или открытый набор данных: структурированный источник надёжнее и не зависит от вёрстки. Полезна и карта сайта sitemap.xml с готовым списком адресов. Если же страница собирается в браузере скриптами, обычный запрос вернёт пустой шаблон. Тогда сначала откройте вкладку Network в инструментах разработчика: часто данные приходят отдельным JSON-ответом, и забрать их проще, чем запускать управляемый браузер.

XPath и CSS-селекторы: два способа указать на элемент

CSS-селектор div.product-card span.price читается так: «элемент span с классом price внутри div с классом product-card». Тот же путь на XPath выглядит длиннее: //div[@class="product-card"]//span[@class="price"]. Зато XPath умеет то, чего в CSS нет: подниматься к родителю, искать элемент по его тексту и брать соседа. Выражение //th[text()="Артикул"]/following-sibling::td находит ячейку справа от заголовка «Артикул», даже если порядок строк меняется от товара к товару.

У XPath есть важное ограничение, о котором легко забыть. Популярная библиотека lxml, на которой работают многие парсеры на Python, по собственной документации поддерживает XPath 1.0. Функции из более поздних версий вроде lower-case() или ends-with() в ней не сработают. Регулярные выражения доступны через расширения EXSLT.

Вторая тонкость касается классов. Условие contains(@class, "price") выберет и price, и price-old, то есть вместе с текущей ценой попадёт зачёркнутая. Точнее проверять слово целиком: contains(concat(" ", normalize-space(@class), " "), " price "). В CSS селектор .price совпадает только с отдельным классом.

Учебный пример: каталог из сорока страниц

Ситуация учебная. Владелец небольшого магазина инструментов хочет знать, как меняются цены у конкурента: в каталоге 40 страниц по 24 товара, нужны название и цена. Сначала он открывает одну страницу каталога, вызывает инструменты разработчика и находит карточку товара. В исходном коде страницы (Ctrl+U) он убеждается, что цены есть уже в HTML.

Селектор он проверяет прямо в консоли браузера командой $x('//div[contains(@class,"product-card")]') и сразу видит, сколько элементов нашлось. Скрипт на Python получается коротким:

import time, requests
from lxml import html
rows = []
for page in range(1, 41):
    r = requests.get(f"https://example.com/catalog/?page={page}", timeout=10)
    r.raise_for_status()
    tree = html.fromstring(r.content)
    for card in tree.xpath('//div[contains(concat(" ", normalize-space(@class), " "), " product-card ")]'):
        rows.append([card.xpath('normalize-space(.//a[@class="title"])'),
                     card.xpath('normalize-space(.//span[@class="price"])')])
    time.sleep(2)

После запуска он проверяет результат: строк должно быть около 960, пустых цен — ноль, а десять случайных строк совпадают с тем, что видно на сайте. Пауза в две секунды между страницами нужна, чтобы не создавать нагрузку на чужой сервер.

С чего начать и в каком порядке осваивать

Каждая ступень опирается на предыдущую: без HTML селектор подбирают наугад, без проверки селекторов в браузере ошибку в выражении не отличить от ошибки в коде, а обход сотен страниц имеет смысл, только когда одна страница разбирается надёжно.

  1. HTML: теги, атрибуты, вложенность, таблицы и списки.
  2. Инструменты разработчика: разница между исходным кодом и деревом DOM, вкладка Network.
  3. XPath и CSS-селекторы в консоли браузера на пяти-шести разных сайтах.
  4. Python: библиотека requests, разбор HTML через lxml или parsel, запись в CSV.
  5. Обход: пагинация, паузы, обработка ошибок и повторных попыток.
  6. Позже — фреймворк Scrapy и управляемые браузеры для страниц, которые собираются скриптами.

На четвёртом шаге сразу привыкайте указывать время ожидания ответа. В документации requests прямо сказано, что по умолчанию запросы не прерываются по таймауту и без него код может зависнуть на минуты и дольше. Ночной обход тысячи страниц может встать на первом же медленном ответе.

Если вы осваиваете Python с нуля и хотите, чтобы сбор данных был частью общей программы, посмотрите обзор онлайн-курса Нетологии по основам Python: в описании сбор данных с сайтов стоит среди тем после основных модулей вместе с SQLAlchemy и тестированием. Насколько подробно разбирают XPath и обход страниц, в учебном плане не указано, поэтому глубину этой темы стоит уточнить у школы.

Открыть курс «Python-разработчик с нуля»

Упражнения и проверка результата

Тренироваться лучше на учебных сайтах, созданных для парсинга, и на своих страницах. Упражнения можно усложнять так: собрать с одной страницы все заголовки и ссылки; выгрузить таблицу характеристик через поиск по тексту заголовка; пройти пагинацию до последней страницы, не зная заранее их числа; повторить ту же задачу через CSS-селекторы и сравнить, какой вариант читается проще.

Результат проверяйте не на глаз. Сравните число строк с ожидаемым, посчитайте пустые значения в каждом столбце, найдите дубли по адресу товара. Затем откройте пять-десять случайных строк на сайте и сверьте вручную. Много пустых цен обычно означает, что у части карточек, например со скидкой, другая разметка.

Когда простые скрипты перестают справляться, нужен опыт с фреймворками и большими проектами: очередь адресов, повторные попытки, хранение в базе данных. На расширенном тарифе курса Яндекс Практикума «Python-разработчик» этому посвящены два проекта по парсингу, но они идут уже после десяти месяцев базовой программы с Django, API и Docker.

Где новички ошибаются

Самая частая ошибка — скопировать из инструментов разработчика полный путь вида /html/body/div[3]/div[2]/table/tbody/tr[5]/td[2]. Такой путь ломается от любой правки вёрстки. Кроме того, браузер показывает не исходный HTML, а уже обработанное дерево. В документации Scrapy отдельно предупреждают: браузеры, особенно Firefox, добавляют в таблицы элемент tbody, которого нет в коде страницы, и XPath с ним ничего не находит. Там же советуют строить короткие выражения на атрибутах вместо полных путей.

Другие промахи: запросы без пауз и таймаута, хранение только итоговой таблицы без исходных страниц (при ошибке в селекторе всё скачивается заново) и отсутствие проверки на смену разметки — парсер в этом случае не падает, а тихо пишет пустые значения.

Правила сайта и закон: что можно собирать

Перед запуском прочитайте файл robots.txt и пользовательское соглашение сайта: там бывают прямые ограничения на автоматический сбор. Имена, телефоны и профили людей — персональные данные, и без правового основания их собирать нельзя.

Менее известна защита самих баз данных. По статье 1334 ГК РФ изготовителю базы данных, создание которой потребовало существенных затрат, принадлежит исключительное право извлекать из неё материалы. Существенные затраты предполагаются, если в базе не меньше 10 000 самостоятельных элементов, пока не доказано обратное. Извлечением закон называет перенос всего содержимого или существенной части на другой носитель любыми техническими средствами — именно то, что делает парсер. Каталог интернет-магазина на 15 000 товаров вполне подходит под это описание.

Статья 1335.1 ГК РФ разрешает правомерному пользователю извлекать материалы для личных, научных и образовательных целей в оправданном объёме, а для иных целей — только несущественную часть, указывая источник при публикации. Но в пункте 3 той же статьи есть оговорка, которая касается почти любого регулярного парсера: неоднократное извлечение несущественных частей не допускается, если оно противоречит нормальному использованию базы и необоснованно ущемляет интересы изготовителя. Ежедневный сбор понемногу, который в сумме даёт копию всего каталога, может считаться нарушением. Коммерческую задачу такого рода лучше заранее обсудить с юристом.

Как навык влияет на доход

Открытых данных о зарплатах или надбавках именно за этот навык найти не удалось: в вакансиях он обычно входит в требования к другим ролям, и его вклад в доход зависит от того, какие задачи благодаря нему становятся доступны. Для разработчика это проекты по сбору данных, для аналитика — мониторинг цен без ручного труда, для фрилансера — разовые выгрузки каталогов.

В SEO навык выражается иначе: XPath нужен в техническом аудите, когда краулер обходит сайт и по выражению вытаскивает из каждой страницы нужный фрагмент. Например, на курсе Skillbox по продвинутому SEO XPath-запросы входят в блок о техническом аудите наряду с поиском шаблонных ошибок и проблем CMS. Курс рассчитан на тех, у кого уже есть начальный опыт в SEO.

Открыть курс «SEO PRO»

Чтобы оценить свою вилку, смотрите вакансии по целевой роли, а не по слову «парсинг»: фильтруйте по региону и опыту, берите медиану, а не среднее, и различайте суммы до вычета налога и на руки.

Как выбрать обучение

Во всех трёх программах, упомянутых выше, парсинг — часть более широкого обучения: основ Python, бэкенд-разработки или SEO. Поэтому сначала решите, какая роль вам нужна, а затем проверяйте программу: есть ли практика на реальных страницах, разбираются ли XPath и CSS-селекторы, обход страниц, обработка ошибок, проверяет ли кто-то ваш код. Сравнить школы, которые учат Python, можно по широкому рейтингу онлайн-школ с обучением Python: он охватывает всё направление, а не только сбор данных, поэтому тему парсинга в конкретной программе всё равно нужно искать в её описании.

Если учебный пример показался вам интересным и вы готовы возиться с разметкой ради чистой таблицы, навык стоит развивать. Если же нужны данные из одного-двух источников, сначала поищите у них API или готовую выгрузку: это избавит от поддержки парсера.