Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Screaming Frog SEO Spider: как найти битые ссылки, дубли и ошибки сайта за один обход

Screaming Frog SEO Spider — программа для компьютера, которая обходит сайт по ссылкам так же, как поисковый робот, и для каждого найденного адреса записывает код ответа сервера, заголовок title, описание, H1, canonical, директивы robots и входящие ссылки. После обхода вы фильтруете таблицу и получаете списки битых ссылок, цепочек редиректов, дублей и страниц без метатегов. Бесплатная версия обходит до 500 адресов, лицензия снимает лимит. Освоить базу можно за несколько вечеров, сложнее научиться отличать настоящую ошибку от особенности сайта.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Screaming Frog SEO Spider: как найти битые ссылки, дубли и ошибки сайта за один обход

Главное отличие краулера от панелей вебмастеров — источник данных. Яндекс Вебмастер и Search Console сообщают, что увидел поисковый робот, и делают это с задержкой в дни и недели. Screaming Frog показывает состояние сайта прямо сейчас и только то, что достижимо по ссылкам с той страницы, с которой вы начали обход. Поэтому его запускают до релиза и сразу после переноса сайта. Страницу, на которую не ведёт ни одна ссылка, программа сама не найдёт: для этого ей нужно дополнительно дать карту сайта или подключить данные аналитики.

Что делает программа и кому она полезна

SEO-специалист запускает обход перед аудитом и выгружает из него таблицы для разработчика: какие адреса отвечают кодом 404, с каких страниц на них ведут ссылки, где редирект идёт через три промежуточных адреса. Контент-менеджер после переноса блога проверяет, что у статей заполнены title и описание. Владельцу небольшого магазина программа помогает проверить работу подрядчика, не полагаясь на его отчёт.

Для сайта-визитки из десяти страниц краулер избыточен: всё видно глазами и в панелях вебмастеров. Для очень крупного сайта на сотни тысяч адресов нужен мощный компьютер или облачный сервис аудита, потому что программа хранит обход локально и упирается в память и диск.

Бесплатная версия и лицензия

Скачать программу можно бесплатно, и без лицензии она обходит до 500 адресов. На официальной странице SEO Spider сказано, что в бесплатной версии ограничены настройка обхода, сохранение результатов и расширенные функции: JavaScript-рендеринг, кастомное извлечение и подключение внешних сервисов через API.

Лицензия оформляется на одного пользователя и действует год. На странице лицензии в октябре 2026 года указана цена 279 долларов за лицензию в год, при покупке от пяти лицензий цена за каждую снижается.

Два умолчания полезно знать с первого запуска. По руководству пользователя программа соблюдает правила robots.txt и обходит сайт в пять потоков, чтобы не перегружать сервер. Игнорировать robots.txt в настройках можно, но только на сайте, владелец которого согласен на такой обход.

Учебный пример: магазин после редизайна

Ситуация учебная. Интернет-магазин посуды на 400 товаров сменил шаблон, и владелец просит проверить сайт, пока поисковики не заметили проблем. Бесплатной версии для этого хватает.

Специалист вводит адрес главной страницы и запускает обход. Через несколько минут на вкладке Response Codes видно 37 адресов с ответом 404. Он выделяет один из них и открывает вкладку входящих ссылок Inlinks: все ссылки ведут из нового блока «Похожие товары», который формирует адреса по старой схеме. Это одна ошибка шаблона, а не 37 разных.

На вкладке редиректов видно, что старые адреса категорий ведут сначала на версию с http, затем на https и только потом на новую категорию. Отчёт Redirect Chains выгружает такие цепочки целиком, с каждым промежуточным шагом. На вкладке Canonicals обнаруживаются страницы фильтров, у которых canonical указывает сам на себя, хотя по замыслу должен вести на основную категорию.

После исправлений специалист повторяет обход и сравнивает: было 37 адресов с кодом 404, стало ноль, цепочки редиректов сократились до одного шага.

Почему вкладка с дублями бывает пустой

С дублями новички чаще всего делают неверный вывод. В разделе руководства о настройке дублей описаны три правила. Частичные дубли определяются алгоритмом minhash при сходстве не ниже 90 %, и этот порог можно снизить. Проверяются только индексируемые страницы, причём и для точных, и для частичных дублей. Наконец, столбец частичных дублей заполняется только после анализа обхода (Crawl Analysis), который запускают отдельно.

На практике это означает следующее. Если сразу после обхода открыть фильтр частичных дублей, он будет пустым, и легко решить, что их нет. Если на сайте по ошибке шаблона закрыты от индексации сотни карточек, программа не покажет их как дубли, потому что они не считаются индексируемыми. Поэтому проверку ведут в два шага: сначала смотрят вкладку директив и canonical, чтобы понять, какие страницы выпали из индексируемых и почему, и только потом запускают анализ и читают вкладку дублей.

Кастомное извлечение и JS-рендеринг

Кастомное извлечение позволяет вытащить из каждой страницы произвольный фрагмент: артикул, цену, дату публикации, наличие блока с отзывами. Фрагмент указывают выражением XPath, CSS-селектором или регулярным выражением. По руководству, можно настроить до 100 правил извлечения. Типичная задача — найти карточки без цены.

JavaScript-рендеринг нужен, когда содержимое страницы собирается в браузере. В этом режиме программа загружает страницу во встроенном браузере Chromium с окном 411 × 731 пикселей для мобильной версии или 1024 × 768 для десктопной и позволяет сравнить исходный HTML с итоговым. Так видно, что ссылки или текст появляются только после выполнения скриптов. Режим замедляет обход, поэтому его включают, когда обычный обход находит подозрительно мало ссылок.

Интеграции с Google Analytics, Search Console и PageSpeed Insights добавляют в таблицу визиты, показы и скорость загрузки: так проще решить, какую ошибку исправлять первой.

С чего начать и в каком порядке осваивать

Последовательность повторяет логику аудита. Сначала нужно понять, отвечает ли страница вообще, затем куда она перенаправляет, затем какую версию считать основной и только потом разбираться с содержимым. Если начать с дублей заголовков, легко потратить день на страницы, которые всё равно отдают ошибку или закрыты от индексации.

  1. Обойдите свой сайт или учебный проект с настройками по умолчанию и разберите вкладку кодов ответа: 3xx, 4xx, 5xx.
  2. Для каждого битого адреса найдите источник ссылки через Inlinks и сгруппируйте ошибки по шаблонам.
  3. Выгрузите цепочки редиректов и проверьте, нет ли петель.
  4. Разберите canonical и директивы robots: какие страницы считаются индексируемыми.
  5. Запустите анализ обхода и только после этого читайте дубли.
  6. Попробуйте одно правило кастомного извлечения и один обход в режиме JavaScript.
  7. Повторите обход после правок и сравните результаты.

Если хочется пройти этот путь с проверкой практики куратором, посмотрите онлайн-курс Skillbox «SEO-специалист», созданный вместе с агентством AMDG. Screaming Frog — один из основных инструментов курса, а в разделе «Основные сервисы» его разбирают вместе с панелями вебмастеров и отладкой в браузере. В разделе о технической оптимизации перечислены коды ответа, редиректы, canonical, sitemap и дубли.

Открыть курс «SEO-специалист: курс от AMDG»

Типичные ошибки и проверка результата

Самая частая ошибка — отдать заказчику выгрузку на тысячи строк без группировки. Сто битых ссылок из одного блока шаблона — это одна задача для разработчика, а не сто. Вторая ошибка — обойти сайт с ограничением в 500 адресов и сделать выводы обо всём сайте, не заметив, что обход остановился на середине каталога. Третья — обходить слабый хостинг в много потоков: сайт начинает отдавать ошибки 5xx, и они попадают в отчёт.

Ещё одна ловушка — считать любой редирект ошибкой. Постоянное перенаправление со старого адреса на новый после переезда нормально; проблемой становятся цепочки, петли и внутренние ссылки, которые ведут на перенаправляемые адреса вместо конечных. Проверка себя: для каждой проблемы вы можете назвать причину, масштаб и способ убедиться, что исправление сработало.

Российские аналоги

Screaming Frog не единственный краулер такого типа. Из российских разработок известна бесплатная программа SiteAnalyzer: по описанию автора на Хабре, она обходит сайт, строит граф внутренних ссылок и считает внутренний вес страниц. Есть и облачные сервисы аудита. Логика у всех похожа, поэтому навык переносится: кто понимает коды ответа, canonical и цепочки редиректов, быстро разберётся в любом интерфейсе. Выбор обычно определяют размер сайта, нужен ли рендеринг JavaScript и готовы ли вы платить за лицензию в иностранной валюте.

Чему учат на курсах

Отдельных курсов только по Screaming Frog почти нет: программу изучают в составе обучения SEO, обычно в блоках о техническом аудите. Смотрите, есть ли задания на реальном сайте и кто проверяет выводы.

В большой программе профессии Skillbox «SEO-специалист с нуля до PRO» Screaming Frog назван в блоке «Аналитика и инструменты» вместе с Rush Analytics, Пиксель Тулс и Arsenkin Tools. Обучение рассчитано на год, в портфолио входят три проекта. Это вариант для тех, кто осваивает профессию целиком.

Открыть курс «Профессия SEO-специалист c нуля до PRO»

Если базовые отчёты уже понятны и хочется глубже разобраться в техническом аудите, обратите внимание на программы для специалистов с опытом. Там меньше времени уходит на интерфейс и больше на выводы: масштаб проблемы, приоритет, проверку после релиза.

На курсе Skillbox «SEO PRO» этому посвящены блоки «Технический аудит» и «Управление индексацией»: шаблонные ошибки, XPath-запросы, планирование сканирования с ограничением скорости и правилами для параметров, разница между запретом обхода, запретом индексации и канонизацией. Каким краулером работают на занятиях и будет ли Screaming Frog, стоит уточнить у школы.

Открыть курс «SEO PRO»

Как навык влияет на доход

Открытых данных о надбавке за владение Screaming Frog нет: в вакансиях программа обычно стоит в списке инструментов SEO-специалиста и отдельной строкой зарплату не меняет. На доход влияет другое: умение провести технический аудит позволяет брать задачи, за которые платят отдельно, — проверку сайта перед переездом или разбор падения трафика после релиза.

Для фрилансера краулер ещё и статья расходов. Если сайты клиентов больше 500 адресов, понадобится лицензия, а её цена указана в долларах за год. Чтобы оценить вилку по целевой роли, смотрите вакансии SEO-специалиста с фильтром по региону и опыту, берите медиану, а не среднее, и различайте суммы до вычета налога и на руки.

Как выбрать обучение

Если вы пока не уверены, нужен ли вам курс, сделайте первый обход своего сайта или учебного проекта и разберите вкладку кодов ответа. Если работа с таблицами и поиск причин даются легко, навык стоит развивать дальше. Сравнить школы, которые учат SEO, поможет рейтинг онлайн-школ с обучением SEO: он охватывает всё направление, поэтому место Screaming Frog в программе всё равно проверяйте по её описанию.