Вероятно вы задумывались о том, как Google так быстро находит информацию по вашему запросу? Вроде бы, только ввели слово и нажали Enter, и за секунду Google успел пробежаться по миллионам сайтов, найти соответствия и выдать результат. Секрет в том, что поисковик не ищет информацию по всем сайтам. У него есть собственный индекс, содержащий готовый ответ на запрос.

Что такое индекс Google?

Индекс поисковой системы это большая база данных, содержащая, на сегодняшний день, около 60 триллионов документов. Кроме сохранения информации о текущих документах индекс отвечает за процесс сбора и добавления новых сведений в общую базу данных. Помимо текстового наполнения индексируются так же метаописания, ключевые слова, статьи, ссылки, документы, также изображения, аудио и т. д.

При вводе запроса в поисковую строку, Google обращается в этой базе данных и формирует поисковую выдачу на основе релевантности существующих страниц ответов на запрос пользователя.
Соответственно, только проиндексированная страница, может отразиться в результатах поиска. Если сайт или страницы сайта не добавлены в индекс, то даже при полном соответствии запросу пользователя, страницы не появятся в результатах.

Как поисковик индексирует сайты?

Процесс индексации не назовешь простым и понятным, но выделяется несколько основных этапов:
1. Обнаружение. Владелец интернет-ресурса формирует файл Sitemap и направляет его поисковому роботу. Данный файл содержит все адреса страниц конкретного сайта. Как только Google встречает незнакомую страницу, он тут же отправляет ее в очередь на сканирование.
2. Сканирование. Новая страница изучается системой. Анализируется контент и определяется, под какие поисковые запросы он будет подходить. После завершения операции, страница направляется на индексацию.
3. Индексация. На этом этапе анализируется содержимое страницы, и система решает какой рейтинг присвоить ресурсу. После этого, страница направляется непосредственно в индекс.

Как проверить, проиндексирована ли страница в Google?

1. Самый быстрый способ – ввести URL страницы сайта в поисковую строку. Проиндексированная страница отразится первой в результатах поиска.

2. Можно воспользоваться командой «site:», которая прописывается прямо перед ссылкой на сайт. В данном случае, имеет место поиск исключительно по вашему ресурсу. Если страница не отражается в результатах, значит она не проиндексировала или находится в очереди на сканирование

3. Перейти в сервис Google Search Console и ввести URL страницы в разделе “Проверка URL”

4. С помощью сервиса Fast Indexing отправить список URL на проверку и получить статус. После чего возможно отправить выбранные URL на индексацию.

Частые ошибки, из-за которых могут отказать в индексации страницы

Google не скрывает, что полное сканирование страницы еще не гарантия того, что она будет проиндексирована. Вот лишь некоторые причины, по которым страницу могут не добавить в индекс:

1. Контент сайта не интересен пользователям и редко обновляется.

2. Страницы с ошибкой 404. Это значит, что она была удалена или вообще не существует. В этом случае, в индексации нет необходимости.

3. Дублирование страниц. Если на сайте имеются одинаковые страницы, то нужно использовать атрибут canonical или 301 редирект.

4. Технические проблемы с самим сайтом. Тогда у системы не получится провести сканирование. Можно отметить проблему с robots.txt. Если Googlebot отыскал файл, но не может получить к нему доступ, то сайт будет полностью проигнорирован.

5. Краулинговый бюджет. Googlebot сканирует на каждом сайте лишь определенное количество страниц, при этом доподлинно неизвестно сколько. Поэтому если страниц много, то бот может не добраться до тех, что с важным контентом, и просто покинет сайт.