После отправки страниц на сканирование и индексацию есть 3 варианта реакции от Google:

1. Страница обнаружена, просканирована и попала в индекс

В этом случае все отлично, цель достигнута!

Рекомендуем периодически заходить в Google Search Console и проверять количество проиндексированных страниц, т.к. страницы могут со временем выпасть из индекса из-за обновления алгоритмов поисковой системы Google.

2. Страница просканирована, но не проиндексирована, либо пришел ответ об ошибке

Такое часто встречается в работе, и вот основные причины:

• Запрет на индексацию сайта или раздела в файле или мета теге Robots
• Коды ответа сервера не 200, а например 301, 404 или 500 (что говорит о наличии технических проблем с доступностью страниц)
• Теги канониклы. В некоторых случаях указана несуществующая страница или правило конфликтует из-за зацикленной каноничности
• Проблемы с контентом. Контент отсутствует, неуникален, либо определен поисковиком как спам
• Большое количество технических ошибок на сайте и в панели Google Search Console

В статье https://fast-indexing.ru/google-pro-skanirovanie-i-indeksaciyu мы собрали основные выдержки из инструкций Google по поводу процесса индексации.

3. Страница не просканирована

На некоторых сайтах, мы встречаемся с ситуацией, когда даже после нескольких отправок, страница остается неизвестной Google и сканирование не происходит.
На наш взгляд, это связано с краулинговым бюджетом сайта, который определяется индивидуально для каждого сайта в каждый момент времени.

Так при одинаковом объеме отправленных страниц для сайта может быть просканировано в один день 4000 страниц, а в другой день только 20.

В данном случае рекомендуем уменьшить суточный объем отправляемых страниц и пробовать отправить страницы повторно.

Со своей стороны мы стараемся помочь клиентам в вопросах индексации и продвижения в Google и открыты к диалогу, если у вас есть вопросы, пишите нам на indexingapi2020@gmail.com