Фаервол Cloudflare блокирует Google-краулер｜Как решить проблему с индексацией

Многие веб-мастера обнаруживают, что их сайт внезапно «исчез» из результатов поиска Google. Чаще всего это связано с тем, что брандмауэр Cloudflare ошибочно блокирует поискового робота Google (Googlebot), мешая поисковой системе корректно сканировать страницы.

Такое происходит из-за того, что стандартные правила защиты Cloudflare достаточно строгие, особенно к IP-адресам, совершающим частые запросы. Даже незначительное нарушение может привести к активации блокировки — от задержки индексации до резкого падения позиций по ключевым словам.

В этой статье мы рассмотрим 4 практических шага по решению проблемы с индексацией из-за правил Cloudflare — от диагностики причин до настройки списка разрешённых ботов.

Сначала убедитесь, что блокировка действительно произошла

Многие веб-мастера спешат менять настройки при отсутствии индексации, но на самом деле Googlebot может не быть заблокирован, или проблема может быть в другом (например, в качестве контента или настройках robots.txt).

Сначала проверьте, действительно ли происходит блокировка, чтобы избежать ненужных действий, которые могут усугубить ситуацию.

Отчет об ошибках сканирования в Google Search Console

• Путь: войдите в GSC → слева «Индекс» → «Покрытие» → проверьте исключенные страницы на наличие ошибок сканирования.
• Ключевые признаки: если отображаются ошибки с кодами «Отказ» (403/5xx) или «Переадресация», возможно, причина в блокировке Cloudflare.

Сравните с журналом событий брандмауэра Cloudflare

Действия: войдите в Cloudflare → перейдите в «Безопасность» → «События» → отфильтруйте по времени и найдите запросы с «User-Agent», содержащим «Googlebot».

Обратите внимание на статус:

1. Block: Полная блокировка (требуется разрешение)
2. Challenge: Проверка (может замедлить сканирование)
3. JS Challenge: JavaScript-проверка (может нарушить мобильное сканирование)

Используйте официальный инструмент проверки Google

1. Ссылка: https://search.google.com/search-console/inspect
2. Введите URL-адрес страницы и нажмите «Проверить активную страницу», чтобы увидеть результат:
3. Если указано «Crawl blocked» с HTTP-ответом 403 — это подтверждает блокировку.

Различие между CAPTCHA и полной блокировкой

CAPTCHA-проверка: бот получает страницу с капчей (код 200, но с формой), Google не может её обработать.

Полная блокировка: бот получает ошибку 403 или 5xx и не может загрузить страницу.

Проверьте базовые настройки брандмауэра Cloudflare

Стандартные настройки Cloudflare защищают сайт, но могут ошибочно блокировать Googlebot.

Частые сканирования могут восприниматься как атака, и Cloudflare начнёт ограничивать или блокировать запросы.

Проверьте следующие 4 базовые настройки и при необходимости внесите коррективы:

Измените уровень безопасности (Security Level)

1. Проблема: уровень «High» или «I’m Under Attack» может блокировать более 30% легитимных запросов бота.
2. Решение: в панели Cloudflare → «Безопасность» → «Настройки» → установите уровень «Medium» или «Low».
3. Совет: после снижения уровня следите за журналами атак и при необходимости используйте точечные правила.

Отключите ненужную блокировку по регионам

• Риск: блокировка IP-адресов из США или Европы может привести к блокировке Googlebot (большинство серверов Google находятся в США).
• Решение: в разделе «WAF» → «Регион» проверьте настройки, отключите блокировку или исключите ASN15169 (сеть Google).

Отключите режим Under Attack (значок красного щита)

• Проблема: этот режим требует от всех пользователей пройти проверку (задержка в 5 секунд), но Googlebot не может её пройти.
• Решение: на главной странице Cloudflare убедитесь, что режим «Under Attack» выключен.

Отключите JS Challenge для поисковых систем

Критическая ошибка: включение проверки на основе JavaScript может заблокировать мобильного Googlebot, так как он не выполняет скрипты.

Решение: в разделе «Безопасность» → «Настройки» → найдите «Проверка целостности браузера» и отметьте «Не применять к поисковым системам».

Дополнительно: можно отключить JS Challenge только для запросов с User-Agent, содержащим «Googlebot».

Настройка правил брандмауэра для белого списка

Простое снижение уровня защиты может подвергнуть сайт риску. Более безопасный способ — настроить точечные правила разрешения для Googlebot.

Cloudflare позволяет создавать правила на основе User-Agent, IP и ASN (автономной системы).

Белый список по User-Agent (высший приоритет)

Задача: разрешить все запросы с User-Agent, содержащим «Googlebot», в обход проверки.

Путь: панель Cloudflare → «Безопасность» → «WAF» → «Правила» → создать новое правило

• Поле: User-Agent → Содержит → .*Googlebot.*
• Действие: выберите «Пропустить» или «Разрешить»

Важно: убедитесь, что также разрешены такие варианты, как Googlebot-Image и Googlebot Smartphone.

Разрешение по ASN (предотвращает подделку User-Agent)

Зачем: злоумышленники могут подделывать User-Agent Googlebot, поэтому проверка по ASN надежнее.

Действие: добавьте в правило условие:

• Поле: ASN → Равно → 15169 (ASN Google)

Многие веб-мастера заметили, что их сайт внезапно исчез из результатов поиска Google. Часто причина в том, что брандмауэр Cloudflare по ошибке блокирует сканер Google (Googlebot), из-за чего поисковик не может корректно индексировать страницы.

Поскольку стандартные правила защиты в Cloudflare довольно строгие, особенно к IP-адресам с частыми запросами, такие роботы легко попадают под блокировку. Это может привести как к задержке индексации, так и к резкому падению позиций.

В этой статье вы найдёте 4 практических шага — от проверки блокировок и базовой настройки фаервола до создания точного белого списка для бота Google, чтобы вручную решить проблему с индексацией из-за Cloudflare.

Сначала проверьте, действительно ли происходит блокировка

Многие админы сразу начинают менять настройки, как только замечают, что сайт не индексируется. Но проблема может быть не в Cloudflare, а, например, в качестве контента или robots.txt.

Перед действиями проверьте следующее:

Отчёт об ошибках сканирования в Google Search Console

• Путь: откройте GSC → слева «Индекс» → «Покрытие» → в разделе «Исключено» ищите ошибки сканирования.
• Что искать: если указаны ошибки типа «Отказано» (403/5xx) или «Перенаправлено» — возможно, это блокировка.

Сравните с журналом брандмауэра Cloudflare

Как проверить: войдите в Cloudflare → «Безопасность» → «События» → выберите период → найдите запросы с «User-Agent», содержащим «Googlebot».

Обратите внимание на статус:

1. Block: Полная блокировка (нужно разрешить)
2. Challenge: Капча (может мешать боту)
3. JS Challenge: Проверка на JS (особенно мешает мобильной версии бота)

Используйте официальный инструмент от Google

1. Ссылка: https://search.google.com/search-console/inspect
2. Введите URL и нажмите «Проверить фактический URL».
3. Если появится «Crawl blocked» и HTTP-код 403 — это подтверждённая блокировка.

Разница между «капчей» и «полной блокировкой»

Капча: бот получает страницу с капчей (код 200, но контент — защита), и Google не может её обработать.

Полная блокировка: бот получает 403 или 5xx, то есть доступ полностью закрыт.

Проверьте базовые настройки Cloudflare

Стандартные параметры Cloudflare могут защитить сайт, но часто мешают ботам Google.

Частые визиты бота могут ошибочно расцениваться как атака, что приводит к ограничениям или блокировкам.

Проверьте следующие 4 настройки:

Настройте уровень безопасности (Security Level)

1. Проблема: При уровне «Высокий» или «Очень высокий» до 30% запросов от Googlebot могут блокироваться.
2. Решение: Перейдите в Cloudflare → «Безопасность» → «Настройки» → выберите уровень «Средний» или «Низкий».
3. Совет: После снижения уровня следите за журналом событий и используйте правила для блокировки реальных угроз.

Проверьте блокировку по регионам

• Риск: Если включена блокировка IP из США или Европы, вы можете заблокировать Googlebot (его серверы в США).
• Решение: Перейдите в «Безопасность» → «WAF» → «Регионы» → отключите региональную блокировку или исключите ASN15169 (Google).

Отключите режим «Under Attack»

• Что делает: Все посетители проходят 5-секундную JS-проверку, но Googlebot её пройти не может — полная блокировка.
• Как отключить: На главной странице Cloudflare найдите и выключите режим «Under Attack».

Отключите JS-проверку для поисковиков

Критичная ошибка: При включённой «Проверке целостности браузера» мобильный Googlebot не может выполнить JS, что мешает индексации.

Решение: В Cloudflare → «Безопасность» → «Настройки» → отключите проверку JS для поисковиков.

Дополнительно: создайте правило для запросов с User-Agent, содержащим Googlebot, чтобы обходить JS-челлендж.

Необходимые правила белого списка

Понижение уровня безопасности может быть опасно. Лучше настроить точечный доступ для Googlebot.

Cloudflare позволяет создавать правила по User-Agent, IP или ASN.

Белый список по User-Agent (самый надёжный способ)

Что делает: Автоматически пропускает все запросы, где User-Agent содержит Googlebot, мимо фильтров.

Как настроить:
Cloudflare → «Безопасность» → «WAF» → «Правила» → создать новое правило

• Поле: User-Agent → «Содержит» → введите: .*Googlebot.*
• Действие: Выберите «Пропустить» или «Игнорировать»

Важно: Учитывайте варианты: Googlebot-Image (бот для изображений), Googlebot Smartphone (мобильный бот) и др.

Белый список по ASN (дополнительная защита от подделки User-Agent)

Зачем: Злоумышленники могут подделать User-Agent, но не IP. Проверка ASN защитит от этого.

Настройка:

• Поле: ASN → «Равно» → введите 15169 (ASN Google)