Googlebot не может получить доступ к CSS и JS файлам. Как исправить?

28 Июл, 2015  |  Автор: kalinin  |  Рубрика: SEO, Поисковые системы

Сегодня,  28 июля 2015 года, многие вебмастера получили на свою почту письма от Google Search Console Team. В содержании письма сообщалось, что из-за настроек файла robots.txt, googlebot не может получить доступ к CSS и JS файлам сайта (иногда и к части изображений).

Проблема затронула большое количество интернет-ресурсов

Текст сообщения

Как видно, Google просит вебмастеров предоставить доступ к CSS и JS файлам, чтобы бот поисковой системы мог полноценно анализировать сайт.

В противном же случае, это может негативно сказаться на позициях!

На самом деле информация не новая, ещё в 2014 году поисковый гигант обновил свою справку для вебмастеров, где просит не скрывать от индекса CSS и JavaScript файлы.

Однако тогда не многие вебмастера предали этому сильно значение, ведь сами специалисты Google заявляли, что robots.txt это лишь рекомендации для бота, а не строго обязательные правила, соответственно, если нужные для бота файлы закрыты  через robots.txt, он может его просто проигнорировать.

Сейчас же, судя по всему, ситуация изменилась и вебмастерам получившим уведомление стоит принять меры.

Как исправить ситуацию?

1. Идём в Google Webmaster, в раздел  «Посмотреть как Googlebot». Выбираем сайт, у которого есть проблемы с доступом к файлам и картинкам.

2. Нажимаем «Получить и отобразить» и кликаем в таблице по результату сканирования

3. Получаем результаты

(1)  – Как видит сайт бот.  Из-за отсутствия доступа к CSS и JS бот видит только текст и ссылки на белом фоне

(2)  – Как видит сайт пользователь. Во втором случае сайт отображается корректно

Ниже видим ресурсы, к которым не удалось получить доступ роботу Google

Кликнув по ссылке «Инструменты проверки файла robots.txt» мы можем увидеть, какая именно строчка блокирует доступ к файлу или изображениям.

4. В зависимости от вашего конкретного случая вносим изменения в файл robots.txt.

Можно удалить строку, которая запрещает доступ к папке, в которой лежат запрашиваемые файлы (если в ней нет ничего такого, что индексировать точно нельзя). Можно, наоборот, добавить строку, которая разрешит индексировать файлы определенных типов в запрещенной для индексации папке.

Но есть и один условно-универсальный метод, добавьте в ваш robots.txt следующие строки:

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Важно! После внесения изменений обязательно просканируйте сайт через «Посмотреть как Googlebot»  ещё раз и убедитесь, что всё отображается корректно.

На этом всё. Теперь, вы знаете, что делать, чтобы не потерять позиции, если ваш сайт получил подобное уведомление от Google.

Оставить свои комментарии