Те, кто занимается SEO в Google, знают, что инструменты — это рычаг эффективности. Возьмем в качестве примера Screaming Frog: этот краулер способен выполнить за 20 минут объем работы, на который у человека ушло бы 8 часов. Он может просканировать каждый URL вашего сайта и точно выявить от 80 до 120 типичных SEO-проблем (таких как битые ссылки 404, дублирующиеся заголовки, изображения без атрибута Alt).
Эта статья проведет вас от установки и настройки до практического использования данных, превратив Screaming Frog в ваш «SEO-микроскоп».
Установка и базовые настройки
Установка Screaming Frog звучит как простая операция «нажми пару раз Далее», но некоторые пользователи сообщают, что из-за игнорирования совместимости систем версия для Mac работает с задержками, а скорость сканирования на 40% ниже нормы.
Другие хаотично выставляют глубину сканирования, в результате чего маленький сайт сканируется 2 часа, а основные страницы так и не обработаны.
Подготовка перед установкой
1. Совместимость системы
Screaming Frog поддерживает Windows 10/11 (64-бит) и macOS 10.15 и выше. Если ваш компьютер работает на Windows 7 или macOS 10.14, при скачивании установщика появится сообщение о «несовместимости», а принудительный запуск может привести к сбоям (тесты показывают, что частота вылетов у пользователей Win7 составляет около 35%).
2. Вопросы прав доступа
- Windows: Рекомендуется устанавливать от имени администратора (правой кнопкой на файл → «Запуск от имени администратора»), иначе программа может не иметь прав для записи данных сканирования (типичная ошибка: «Не удается сохранить файл лога»).
- Mac: Нужно ли отключать SIP (System Integrity Protection)? Нет, но при первом запуске может потребоваться зайти в «Системные настройки → Защита и безопасность» и нажать «Подтвердить вход», иначе запуск будет заблокирован (около 20% пользователей Mac застревают на этом шаге).
3. Сетевое окружение
Перед началом работы отключите прокси-серверы (VPN, ускорители). Задержка локальной сети более 200 мс приведет к падению скорости сканирования на 50% (факт: при задержке 200 мс сканируется 10 URL в секунду; при 50 мс — 25 URL в секунду).
Процесс установки
Система Windows
- Посетите официальный сайт Screaming Frog (www.screamingfrog.co.uk) и нажмите «Download Free Version» (бесплатной версии достаточно для малых и средних сайтов);
- Выберите «Windows Installer», после завершения загрузки запустите файл двойным кликом;
- Следуйте подсказкам, выберите путь установки (рекомендуется диск C по умолчанию, чтобы избежать потери конфигурационных файлов), отметьте «Создать ярлык на рабочем столе» и нажмите «Установить»;
- После установки на рабочем столе появится иконка зеленого паука, откройте её двойным кликом.
Система macOS
- Также скачайте с официального сайта, выбрав «macOS DMG»;
- Дважды кликните на загруженный файл .dmg, перетащите иконку «Screaming Frog SEO Spider» в папку «Applications»;
- При первом открытии система может сообщить, что «разработчик не определен». Перейдите в «Системные настройки → Защита и безопасность» и нажмите «Открыть в любом случае».
4 базовые настройки
После установки при первом запуске необходимо настроить параметры «паука» (Spider).
Если настроить их неправильно, последующие данные сканирования могут оказаться бесполезными.
Пользовательский агент (User Agent)
- Функция: Сообщает серверу сайта, «кто я». У робота Google User Agent выглядит так: «Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)».
- Как настроить: Нажмите в верхнем меню «Configuration → Spider», в выпадающем списке «User Agent» выберите «Googlebot» (по умолчанию стоит «Screaming Frog»).
- Почему это важно: Если оставить стандартный агент «Screaming Frog», некоторые сайты заблокируют краулер (например, через настройку «Disallow: /screamingfrog»), что сделает сканирование невозможным. Использование «Googlebot» позволяет имитировать реального робота Google и получать данные, максимально близкие к реальности (факт: после переключения на одном e-commerce сайте успех сканирования вырос с 65% до 92%).
Глубина сканирования (Crawl Depth)
- Определение: Начиная с главной страницы, на сколько уровней кликов вглубь заходить (например: Главная → Категория → Товар — это 3 уровня).
- Рекомендации:
- Малые и средние сайты (≤1000 страниц): установите 5 уровней (охватывает более 90% основных страниц);
- Крупные сайты (＞1000 страниц): установите 10 уровней, но в сочетании с «Ограничением количества URL» (см. ниже), чтобы избежать чрезмерного времени сканирования.
Ограничение количества сканируемых URL (Max URLs to Crawl)
- Функция: Предотвращает бесконечное сканирование из-за огромного количества ссылок (например, форумы или страницы с бесконечной прокруткой).
- Как настроить: В меню «Configuration → Spider» отметьте «Limit number of URLs to crawl» и введите значение (для средних сайтов 5000–10000, для крупных — не более 50 тысяч).
- Последствия отсутствия лимита: Был случай, когда пользователь сканировал e-commerce сайт с динамическими ссылками в блоке «рекомендуемые товары». Без лимита программа работала 24 часа и собрала 230 тысяч URL (80% из которых — дубли страниц товаров).
Исключение параметров (Exclude Parameters)
- Проблема: Многие URL содержат лишние параметры (например, ?utm_source=weibo, ?page=2). Они не меняют контент, но распознаются Screaming Frog как разные URL, что ведет к дублированию.
- Как настроить: Нажмите «Configuration → Exclude», в поле «Query Parameters» введите параметры для фильтрации через запятую (например, «utm_source,utm_medium,page»).
- Эффект: Один образовательный сайт после фильтрации 12 параметров отслеживания сократил количество URL с 12 000 до 4 500, время сканирования уменьшилось на 40%.
Запуск «мини-сканирования» главной страницы
После настройки не спешите сканировать весь сайт. Сначала введите URL главной страницы, нажмите «Start» и проведите тест на малом объеме (лимит 100 URL), чтобы проверить 3 вещи:
- Не пропущены ли важные страницы: например, разделы «О нас» или «Контакты» (поищите их в отчете «Internal»);
- Нет ли дублирующихся URL: в отчете «URL» проверьте, нет ли разных версий одной страницы с параметрами;
- Не возникают ли ошибки 404: проверьте коды ответа в «Response Codes», убедитесь, что программа не находит удаленные страницы.
Быстрый запуск базового сканирования
Многие думают, что «нажать Старт» — это всё, но на деле 30% людей получают бесполезные данные из-за игнорирования деталей.
3 проверки перед запуском
1. Убедитесь, что базовые настройки завершены (User Agent, глубина, исключение параметров).
2. Проверьте стабильность сети (задержка до сайта в идеале ≤100 мс).
3. Подтвердите доступность сайта (откройте URL в браузере, чтобы избежать ошибки 403).
4 шага к результату за 10 минут
1. Введите целевой URL: обязательно с http:// или https://.
2. Установите ограничения (рекомендуется): ограничьте Max URLs, чтобы избежать бесконечного сканирования динамических страниц.
3. Нажмите «Start» и следите за статусом: зеленая полоса — всё ок, скорость 10–30 URL/сек — норма.
4. Решение проблем в процессе: если программа «зависла», проверьте сеть или попробуйте сменить User Agent на «Bingbot».
Разбор SEO-отчетов (фокус на этих 6)
В SEO говорят: «Данные не врут». В Screaming Frog десятки отчетов, но информация, влияющая на ранжирование в Google, сосредоточена в 6 из них.
Отчет по кодам ответа (Response Codes)
Здесь фиксируется HTTP-статус каждой страницы. Если код неверный, поисковик может просто проигнорировать страницу.
- 200 (ОК): должно быть ＞85%.
- 404 (Битые ссылки): выгрузите список и удалите ссылки на них или настройте 301 редирект.
Отчет по длине и структуре URL
У роботов Google ограниченное «терпение» к длинным URL. Чем длиннее URL, тем ниже вероятность его полной обработки. Идеальная длина — до 80 символов.
Отчет по тегам заголовков (Titles)
Заголовок — это основа для понимания темы страницы поисковиком. Дублирующиеся или некорректные заголовки напрямую снижают позиции.
Отчет по мета-описаниям (Meta Description)
Описание не влияет на позиции напрямую, но определяет, кликнет ли пользователь по ссылке. Проверьте отсутствие (Missing) и дубли (Duplicate).
Отчет по тегам H1
H1 — главный заголовок страницы. Google использует его для определения сути контента. На странице должен быть строго 1 тег H1.
Отчет по атрибутам картинок Alt
Атрибут Alt — это текстовое описание картинки. Его отсутствие лишает вас трафика из поиска по картинкам (а это до 30% всех поисковых запросов).
Массовая проверка внутренних ссылок
По статистике, на сайтах без такой проверки 15–20% страниц не индексируются эффективно из-за проблем с перелинковкой.
Битые внутренние ссылки
Это ссылки внутри сайта, ведущие на удаленные страницы (404). Пользователи уходят с таких страниц, а роботы тратят бюджет сканирования впустую.
Изолированные страницы (Orphan Pages)
Это страницы, на которые не ведет ни одна внутренняя ссылка. Вероятность их индексации на 60% ниже, чем у страниц с входящими ссылками.
Концентрация веса
Если на главной странице слишком много ссылок (например, 50 пунктов в футере), «внимание» робота рассеивается, и другие важные страницы (товары, статьи блога) получают меньше шансов на обход.
3 совета по массовой обработке
- Используйте Excel для фильтрации: выгрузите данные и найдите страницы, которые чаще всего ссылаются на ошибки.
- Приоритет страницам с высоким весом: сначала исправляйте ссылки на главной и в категориях.
- Регулярный аудит: сканируйте сайт раз в две недели, чтобы вовремя замечать новые битые ссылки или изолированные страницы.
Помните: инструменты — это лишь помощники, ядром ранжирования в Google всегда остается «нужный пользователю контент»
