Краулеры сайта: Screaming Frog и аналоги для поиска ошибок

Краулер — программа, которая обходит сайт по ссылкам так же, как поисковый робот, и для каждой страницы записывает код ответа, title, description, H1, canonical, директивы индексации и ссылки. Через полчаса после запуска у вас таблица всех адресов сайта с ошибками, которые вручную искали бы неделю. Самые известные — Screaming Frog SEO Spider, Netpeak Spider и бесплатный SiteAnalyzer. Принцип у них одинаковый, отличаются интерфейс и детали.

Чем краулер отличается от Вебмастера

Вебмастер и Search Console показывают то, что поисковик уже нашёл и обработал, с задержкой. Краулер показывает состояние сайта прямо сейчас и проверяет все страницы, до которых можно дойти по ссылкам. Поэтому они дополняют друг друга:

Какие краулеры бывают

• Screaming Frog SEO Spider — самый распространённый в отрасли, работает на Windows, macOS и Linux. Бесплатная версия ограничена по числу адресов и части функций, для небольшого сайта её часто хватает.
• Netpeak Spider — похожий набор проверок, есть русский интерфейс.
• SiteAnalyzer — бесплатная программа с русским интерфейсом, подходит для первых шагов.

Есть и облачные краулеры в составе SEO-платформ, они сканируют сайт по расписанию на своих серверах. Для работы своими силами достаточно любой программы из списка.

Настройка перед первым запуском

1. Стартовый адрес. Укажите главную в том виде, который считается основным: https://example.ru/. Если начать с http или www, первым делом увидите редирект — это тоже полезная проверка.
2. Учёт robots.txt. По умолчанию краулер его соблюдает. Для первого прогона оставьте так, чтобы видеть сайт глазами робота. Чтобы найти, что именно вы закрыли, запустите второй прогон с игнорированием robots.txt.
3. User-agent. Можно представиться роботом Яндекса или Google. Иногда сайт отдаёт поисковым роботам другой контент или блокирует их, и это сразу всплывёт.
4. Скорость. Не ставьте много потоков на слабом хостинге: сайт может начать отдавать ошибки 5xx, и вы примете перегрузку за проблему сайта.
5. Отрисовка JavaScript. Если меню, каталог или тексты подгружаются скриптами, включите рендеринг. Сравните результаты с ним и без него: если без рендеринга страниц или текста почти нет, у поисковиков могут быть сложности.
6. Sitemap. Добавьте адрес карты сайта — краулер сравнит её со страницами, найденными по ссылкам.

Что искать в результатах

Коды ответа

Отфильтруйте адреса по кодам:

• 4xx — битые страницы. Важно не само их наличие, а ссылки на них: в отчёте по входящим ссылкам видно, с каких страниц ведёт ссылка. Исправьте ссылку или настройте 301 на актуальный адрес.
• 3xx — редиректы. Внутренние ссылки должны вести сразу на конечный адрес. Цепочки вида «А → Б → В» и циклы исправляйте в первую очередь.
• 5xx — ошибки сервера. Если их много, сначала проверьте, не перегрузили ли вы хостинг скоростью сканирования.

Мета-теги и заголовки

Краулер находит пустые, слишком длинные и одинаковые title и description, страницы без H1 и с несколькими H1. Пример на условном интернет-магазине чая: у ста карточек одинаковый title «Купить чай в интернет-магазине». Это сигнал, что шаблон title нужно собирать из названия товара. Как писать мета-теги — в шаге мета-теги.

Индексация и canonical

Проверьте колонки с директивами:

• страницы с noindex, которые должны быть в поиске;
• canonical, указывающий на другой адрес, на редирект или на 404;
• страницы, у которых canonical не указан вовсе, хотя у них есть копии с параметрами.

Дубли и параметры

Отсортируйте адреса по заголовку или по контрольной сумме содержимого. Одинаковые страницы с разными адресами (/catalog/?sort=price, /catalog/?page=1, адрес со слешем и без) — дубли. Решение: canonical, 301 или закрытие параметров. Подробно — в шаге техническая оптимизация.

Глубина вложенности и сироты

Краулер считает, за сколько кликов от главной доступна страница. Важные коммерческие страницы должны быть недалеко. Если краулер нашёл страницу только в Sitemap, а по ссылкам до неё не дойти, это страница-сирота: поставьте на неё ссылки из меню или разделов. Логику перелинковки смотрите в шаге структура сайта.

Изображения и вес страниц

Найдите изображения без атрибута alt и слишком тяжёлые файлы. Тяжёлые картинки — частая причина медленной загрузки, особенно на телефонах.

Как разбирать найденное

Не пытайтесь исправить всё сразу. Выгрузите отчёты в таблицу и разложите по приоритетам:

После исправлений просканируйте сайт снова и сравните с прошлым прогоном. Многие краулеры умеют сохранять проекты и сравнивать обходы.

Когда сканировать

• при первом аудите сайта;
• после смены шаблона, CMS или структуры;
• до и после переезда на новый домен;
• раз в месяц для сайта, где регулярно появляются новые страницы.

Что должно получиться

• Сайт полностью просканирован с настройками, близкими к поисковому роботу.
• Выгружен список адресов с 4xx, 5xx, редиректами и noindex.
• Найдены дубли и пустые title, description, H1.
• Ошибки разложены по приоритетам, критичные исправлены.
• Сохранён проект для сравнения со следующим обходом.

Частые вопросы

Может ли краулер навредить сайту?

Сам по себе нет, он только читает страницы. Но при большой скорости сканирования слабый хостинг может не справиться с нагрузкой и начать отдавать ошибки реальным посетителям. Начните с небольшого числа потоков, а на рабочем сайте сканируйте в часы, когда посетителей меньше.

Почему краулер нашёл меньше страниц, чем есть на сайте?

Краулер идёт только по ссылкам. Если до страницы нельзя дойти по ссылке, она выводится скриптом без обычной ссылки или закрыта в robots.txt, программа её не увидит. Добавьте в настройки Sitemap и сравните списки: страницы, которые есть только в карте, — кандидаты в сироты, которым нужны внутренние ссылки.

Нужна ли платная версия краулера для небольшого сайта?

Для сайта на несколько сотен страниц обычно хватает бесплатной версии Screaming Frog или бесплатного SiteAnalyzer. Платные версии нужны, когда страниц много, требуется отрисовка JavaScript, сохранение проектов и сравнение обходов. Решайте по размеру сайта и задачам, а не по списку функций.

Можно ли просканировать сайт до публикации?

Да, и это хорошая практика. Если тестовая версия закрыта паролем, большинство краулеров поддерживают авторизацию. Так вы найдёте битые ссылки, пустые мета-теги и случайный noindex до того, как сайт увидят поисковые роботы. Перед запуском обязательно проверьте, что закрытие от индексации снято на боевом сайте.