09.03.2023
Почему Google не индексирует страницы сайта?
Проблемы с индексацией могут затрагивать отдельные страницы сайта, категории или разделы, либо весь сайт вцелом. Каждый случай уникален и требует детального анализа причин возникновения проблем. В данной статье мы рассмотрим частые причины отсутствия страниц в индексе Гугла и методы работы с ними.
Как проверить индексацию сайта в Google мы писали ранее в статье
1. Запрет на индексацию сайта
Распространенной ошибкой, по которой Гугл не видит и не индексирует сайт, является запрет на индексацию сайта или раздела в файле или метатеге Robots.
Содержимое файла вы можете посмотреть, введя в адресной строке браузера:
https://site.ru/robots.txt , где вместо site.ru нужно указать адрес вашего домена. Если в файле указано:
User-agent: *
Disallow: /
Значит, ваш сайт полностью закрыт для поисковых роботов и не попадет в индексацию из-за того, что Google не видит этот сайт. В данном случае нужно исправить файл роботс и закрыть от индексации только технические страницы.
Проверить корректность настройки файла можно через инструмент Search Console https://www.google.com/webmasters/tools/robots-testing-tool
Также, важно проверить отсутствие метатега Noindex на страницах сайта. Для этого можно через браузер открыть исходный код страницы и ввести в поиске фразу:
<meta name=”robots” content=”noindex”>
Если данный тег присутствует, страница будет исключена из индекса.
Для сайтов на WordPress часто забывают убрать “галочку” запрета видимости для поисковика в разделе Настройки → Чтение.
Распространенной ошибкой, по которой Гугл не видит и не индексирует сайт, является запрет на индексацию сайта или раздела в файле или метатеге Robots.
Содержимое файла вы можете посмотреть, введя в адресной строке браузера:
https://site.ru/robots.txt , где вместо site.ru нужно указать адрес вашего домена. Если в файле указано:
User-agent: *
Disallow: /
Значит, ваш сайт полностью закрыт для поисковых роботов и не попадет в индексацию из-за того, что Google не видит этот сайт. В данном случае нужно исправить файл роботс и закрыть от индексации только технические страницы.
Проверить корректность настройки файла можно через инструмент Search Console https://www.google.com/webmasters/tools/robots-testing-tool
Также, важно проверить отсутствие метатега Noindex на страницах сайта. Для этого можно через браузер открыть исходный код страницы и ввести в поиске фразу:
<meta name=”robots” content=”noindex”>
Если данный тег присутствует, страница будет исключена из индекса.
Для сайтов на WordPress часто забывают убрать “галочку” запрета видимости для поисковика в разделе Настройки → Чтение.
Для сайтов на Tilda нужно проверить статус индексации сайта в разделе Настройки → SEO → Запрет индексации
Статус индексирования отдельных страниц можно проверить в настройках страницы → Вкладка SEO
2. Нет доступа к страницам
Зачастую, сайт не индексируется Гуглом потому, что поисковый робот не может получить доступ к страницам сайта, а значит не может их просканировать и отправить на индексацию. Обычно это происходит, если на сайте реализовано сложное меню и нет внутренней перелинковки между страницами или меню реализовано через скрипт, который не распознает поисковый робот.
Программно проверить данный вариант можно через бесплатные сервисы XENU , Site Analyzer или через платные сервисы Screaming Frog SEO Spider или Netpeak Spider
Программа покажет количество просканированных страниц которые нужно сравнить с фактическим количеством страниц на сайте. Если вы видите, что по результатам сканирования страниц значительно меньше чем на сайте (исключение сайты более 100 тыс страниц, где есть высокий % погрешности при сканировании), необходимо решать данную проблему.
Этапы решения:
1. Корректировка структуры сайта
2. Реализация меню со ссылками на URL страниц, без JS
3. Формирование корректного файла Sitemap содержащего все страницы сайта
4. Ускоренная индексация страниц сайта через Fast Indexing
Зачастую, сайт не индексируется Гуглом потому, что поисковый робот не может получить доступ к страницам сайта, а значит не может их просканировать и отправить на индексацию. Обычно это происходит, если на сайте реализовано сложное меню и нет внутренней перелинковки между страницами или меню реализовано через скрипт, который не распознает поисковый робот.
Программно проверить данный вариант можно через бесплатные сервисы XENU , Site Analyzer или через платные сервисы Screaming Frog SEO Spider или Netpeak Spider
Программа покажет количество просканированных страниц которые нужно сравнить с фактическим количеством страниц на сайте. Если вы видите, что по результатам сканирования страниц значительно меньше чем на сайте (исключение сайты более 100 тыс страниц, где есть высокий % погрешности при сканировании), необходимо решать данную проблему.
Этапы решения:
1. Корректировка структуры сайта
2. Реализация меню со ссылками на URL страниц, без JS
3. Формирование корректного файла Sitemap содержащего все страницы сайта
4. Ускоренная индексация страниц сайта через Fast Indexing
Оцените возможности сервиса - 100 монет в подарок при регистрации!
Предложение доступно только один раз, чтобы вы
могли убедиться в эффективности сервиса
могли убедиться в эффективности сервиса
3. Некорректная переадресация
Следующей причиной, почему Гугл не индексирует страницы сайта, является некорректная переадресация. Обычно данная ошибка встречается при переезде сайта с одной CMS на другую. При неправильной настройке 301 редиректов часть контента может быть недоступна как пользователям так и поисковикам. Грубой ошибкой считаются цепочки перенаправлений с одного URL-адреса на другой, а также зацикленная переадресация.
Произвести массовую проверку кода ответа и наличия переадресации на страницах сайта можно через сервис Converseo
Следующей причиной, почему Гугл не индексирует страницы сайта, является некорректная переадресация. Обычно данная ошибка встречается при переезде сайта с одной CMS на другую. При неправильной настройке 301 редиректов часть контента может быть недоступна как пользователям так и поисковикам. Грубой ошибкой считаются цепочки перенаправлений с одного URL-адреса на другой, а также зацикленная переадресация.
Произвести массовую проверку кода ответа и наличия переадресации на страницах сайта можно через сервис Converseo
4. Плавающая ошибка доступа к серверу
Для корректной индексации сайт должен отдавать 200 код ответа сервера. Проверить код ответа можно через сервис be1 или Converseo
Если наблюдаются проблемы с доступностью сайта, — появляются ошибки 5хх. И страницы такого сайта не будут отображается в Гугле. В данном случае необходимо решать вопрос с администраторами сервера, либо искать причины возникновения ошибки на стороне CMS.
Для корректной индексации сайт должен отдавать 200 код ответа сервера. Проверить код ответа можно через сервис be1 или Converseo
Если наблюдаются проблемы с доступностью сайта, — появляются ошибки 5хх. И страницы такого сайта не будут отображается в Гугле. В данном случае необходимо решать вопрос с администраторами сервера, либо искать причины возникновения ошибки на стороне CMS.
5. Не корректно настроены канонические страницы
Каноничность страниц указывается через атрибут rel=”canonical” проверить какая страница указана каноничной можно через исходный код сайта.
Часто проблемы с каноничностью встречаются в тех CSM где дублируются карточки товаров в разных категориях, например в Битриксе. В некоторых случаях указана несуществующая страница или правило конфликтует из-за зацикленной каноничности.
Следовательно, избежать проблем с индексацией в данном случае, поможет корректное использование атрибута canonical.
Каноничность страниц указывается через атрибут rel=”canonical” проверить какая страница указана каноничной можно через исходный код сайта.
Часто проблемы с каноничностью встречаются в тех CSM где дублируются карточки товаров в разных категориях, например в Битриксе. В некоторых случаях указана несуществующая страница или правило конфликтует из-за зацикленной каноничности.
Следовательно, избежать проблем с индексацией в данном случае, поможет корректное использование атрибута canonical.
6. Ошибки индексации в Google Search Console
После проверки и устранения основных критичных ошибок, важно перейти в интерфейс Google Search Console в раздел Индексирование → Страницы и посмотреть на какие ошибки указывает сервис. Обычно сервис показывает какие страницы Гугл не индексирует и почему.
Для анализа страниц с ошибками есть возможность экспорта до 1000 URL
После проверки и устранения основных критичных ошибок, важно перейти в интерфейс Google Search Console в раздел Индексирование → Страницы и посмотреть на какие ошибки указывает сервис. Обычно сервис показывает какие страницы Гугл не индексирует и почему.
Для анализа страниц с ошибками есть возможность экспорта до 1000 URL
По работе со страницами имеющими статус "Обнаружена, не проиндексирована" можете почитать в нашей статье
Выводы
В данной статье мы описали только основные ошибки индексации, с которыми мы чаще всего сталкиваемся в работе с сайтами, но конечно это не исчерпывающий список. В каждом случае необходимо индивидуально подходить к вопросу индексации и проблемам связанным с ним.
Краткий чек-лист, для проверки сайта с плохой индексацией:
Если у вас нет времени на проведение анализа сайта и выявление причин проблем с индексацией в Google, вы можете в любой момент обратиться к нам и мы поможем вам решить эту проблему.
В данной статье мы описали только основные ошибки индексации, с которыми мы чаще всего сталкиваемся в работе с сайтами, но конечно это не исчерпывающий список. В каждом случае необходимо индивидуально подходить к вопросу индексации и проблемам связанным с ним.
Краткий чек-лист, для проверки сайта с плохой индексацией:
- Запрет индексации в файле robots.txt, meta name "robots" или в настройках CMS
- Структура сайта, доступность страниц и файл sitemap.xml
- Коды ответа сервера и корректность переадресации
- Доступность сервера
- Настройки каноничности страниц
- Остальные ошибки на которые указывает Гугл Вебмастер
Если у вас нет времени на проведение анализа сайта и выявление причин проблем с индексацией в Google, вы можете в любой момент обратиться к нам и мы поможем вам решить эту проблему.
Давайте проиндексируем ваш сайт
Оставьте контактные данные
и мы свяжемся с вами в течении 30 минут.
и мы свяжемся с вами в течении 30 минут.
Нажимая на кнопку, вы даете согласие на обработку ваших персональных данных
Похожие статьи в блоге:
