Статус ошибки “Страница просканирована, но пока не проиндексирована” в интерфейсе Google Search Console:
“Это сообщение означает, что мы просканировали страницу, но пока не добавили ее в индекс Google. В дальнейшем она может быть проиндексирована, а может и остаться в текущем состоянии; заново отправлять запрос на сканирование этого URL не нужно.”

В каких случаях Google присваивает страницам такой статус:

1. Страница ранее не была проиндексирована и находится в очереди на индексацию
2. Страница уже была в индексе, но выпала из него

1. Страница ранее не была проиндексирована и находится в очереди на индексацию

В данном случае Google не торопится индексировать страницы сайта, считая контент не очень ценным и качественным. Обычно ставит низкий приоритет таким страницам и они надолго зависают в очереди на индексацию.

Что можно сделать в таком случае?

1. Экспортировать страницы отмеченные статусом “Страница просканирована, но пока не проиндексирована” из Google Search Console.
Сервис не дает скачать более 1000 страниц, но часто этого достаточно чтоб увидеть причины, повторяющиеся ошибки или динамические хвосты в URL

2. Проанализировать полученный список.
На основе перечня URL сгруппировать на категории:

• Ценная страница - на повторную индексацию
• Малоценная - на доработку и добавление контента
• Техническая или динамическая страница - на закрытие в robots.txt
• Несуществующая страница (удалена или осталась после переезда сайта) - на удаление из индекса

3. Провести необходимые действия с полученными группами категорий страниц: доработать контент, откорректировать robots, отправить ценные страницы на индексацию, а удаленные страницы на удаление из индекса.
Можете сделать это самостоятельно, либо через наш сервис https://fast-indexing.ru/ - предоставляем 100 монет на тестирование сервиса при регистрации.

4. Запросить проверку исправлений в Google Search Console

5. В течении 5-10 дней изменения отображаются в сервисе, и вы сможете отследить динамику и при необходимости провести процедуру повторно.
Рекомендуем запастись терпением, т.к. это не всегда быстрый результат.

2. Страница уже была в индексе, но выпала из него

Деиндексация страниц может происходить по нескольким причинам:

1. Ограничение или снижение “краулингово бюджета”, когда в индекс добавляются новые ценные страницы, а старые менее ценные выпадают
2. Появление технических ошибок на сайте. Например проблемы с сервером или временная недоступность сайта или дубли страниц.
3. Апдейт алгоритмов Google, при котором страница перестала соответствовать новым факторам ранжирования

3. Примеры на клиентских проектах

1. Интернет-магазин подшипников
Всего на сайте более 11000 страниц. Периодически происходит массовое выпадение 2-3 тысяч страниц из индекса.

В данном случае просто отправляем все страницы со статусом “Страница просканирована, но пока не проиндексирована” на принудительную повторную индексацию.

2. Сайт по запчастям для промышленного оборудования
Всего на сайте около 900 страниц.

В данном примере были произведены работы по поиску “пустых” малоценных страниц брендов и категорий, не содержащих товаров. Страницы были удалены с сайта и отправлены на удаление из индекса. Ценные страницы отправлены принудительную повторную индексацию.
Было произведено около 10 итераций по отправке и удалению за 2 месяца.

3. Интернет-магазин освещения
Всего на сайте около 7 000 страниц. На этом проекте видно как за один день из индекса выпало более 2000 страниц (около 30% сайта)

На сайте присутствуют технические ошибки, связанные с доступностью страниц, также большое количество малоценных страниц товаров без фото и описания.
Ведутся работы по улучшению качества сайта, после чего планируется повторная отправка на индексацию.

Выводы

Из-за ограниченности ресурсов Google и постоянного роста количества и объема сайтов и информации в интернете, мы конкурируем со всеми за внимание Google к нашему сайту. И нам важно понимать, какие страницы должны, а какие не должны индексироваться Google, чтоб помочь поисковой системе приоритизировать более ценные URL.

Корректная индексация сайта, это важная часть работы над сайтом. И это первое с чего стоит начать новому сайту или тем, кто менял CMS со сменой URL.

Как мы видим, что текущие результаты не гарантированы, и даже ранее проиндексированная страница может выпасть из индекса в любой момент. И это дает понимание, что проводить мониторинг и работать над индексацией нужно постоянно.