Читая мануалы политики Google в отношении Поиска впервые (около 10 лет назад), было очень сложно в них разобраться. Так как, по сути, это множество документов, не связанных между собой.

Сейчас имея большой опыт и знания в поисковой оптимизации, я хочу привести фрагменты из разных документов Google касающиеся вопроса сканирования и индексации сайтов, для того, чтоб у пользователей, которые только начинают в этом разбираться, сложилось общее представление о том, что ожидает поисковик от сайта.

Начнем сначала. Первое, о чем говорит Google - мы вам ничего не гарантируем, даже если вы выполните все наши рекомендации. Как в том анекдоте: "ну не нравишься ты мне...". В данном случае так часто бывает, что даже хорошие с точки зрения контента и технической части сайта ни в какую, не сканируются и не индексируются, и любые действия которые работают на других проектах, тут не приводят к результату.

В принципе, тут можно было бы поставить точку, так как основной смысл описан в этих двух абзацах, но для тех, кто не готов сдаваться, попробуем разобраться детальнее.

Процесс индексации страниц сайтов в Google состоит из трех основных этапов: обнаружение, сканирование и индексация. По каждому этапу мы можем посмотреть комментарии Google:

1. Обнаружение сайта

Исходя из данных рекомендаций у пользователей есть несколько вариантов: Sitemap, отправка запроса на сканирование в Google Search Console, внешняя ссылка на страницу или просто ждать.

Мы предлагаем альтернативный вариант. Если страницы вашего сайта не были ранее проиндексированы, можете воспользоваться нашим сервисом, для ускоренной отправки страниц в Google. Для новых пользователей 100 тестовых монет в подарок при регистрации.

К данному этапу можно отнести проверку технических требований Google Поиска:

Выполнить технический анализ и проверку доступности страниц можно с помощью программы Screaming Frog SEO Spider, используя User-Agent "Googlebot"

3. Индексирование страниц

Третий этап, наиболее важный и сложный. Именно тут, Google дает много рекомендаций и ограничений, противоречащих друг другу.

К контенту низкого качества Google относит:

• автоматически созданный спам
• скопированный контент.

Рекомендации Google по оптимизации контента

1. Сделайте сайт интересным и полезным
Создание привлекательного и полезного контента, пожалуй, важнее для популярности сайта, чем любой из перечисленных здесь факторов. Пользователи всегда ценят интересный контент и охотно делятся им с другими в блогах, социальных сетях, по электронной почте, на форумах или другим способом. Рекомендации пользователей очень важны для репутации сайта, а качественный контент – залог хорошей репутации.

2. Изучайте потребности посетителей (и давайте им тот контент, который им нужен)
Подумайте, по каким ключевым словам потенциальные посетители могли бы находить ваш контент. Пользователи, которые хорошо разбираются в тематике вашего сайта, могут использовать другие ключевые слова по сравнению с теми, кто знает о ней меньше.
Попробуйте предложить своим посетителям нечто такое, чего они не найдут на других сайтах. Также можно опубликовать оригинальное исследование, сенсационную новость или апеллировать к своим постоянным пользователям. Возможно, у других сайтов нет таких компетенций и ресурсов.

3. Пишите простые тексты
Старайтесь создавать понятный для пользователей текст, который легко читать.
Не рекомендуем

• Писать тексты на скорую руку – с большим количеством грамматических и орфографических ошибок.
• Публиковать плохо написанные, некачественные тексты.
• Встраивать текстовый контент в изображения и видео: пользователи не смогут скопировать такой текст, а поисковые системы – прочитать его.

4. Распределяйте контент по темам
Сайт должен быть организован так, чтобы посетителям было понятно, где заканчивается одна тема и начинается другая. Разбиение контента на логические части и разделы помогает пользователям быстро находить нужную информацию.
Не рекомендуем

• Объединять большое количество текста на разные темы без выделения абзацами, подзаголовками или средствами оформления.

5. Создавайте оригинальный контент
Постоянно обновляйте контент: это позволит не только поддерживать заинтересованность тех, кто уже знаком с вашим сайтом, но и привлечь новых посетителей.
Не рекомендуем

• Повторно публиковать старый контент с незначительными изменениями: это не даст пользователям ничего нового и полезного.
• Размещать похожие версии одного и того же контента в разных частях сайта.

6. Оптимизируйте контент для пользователей, а не для поисковых систем
Разрабатывая сайт, думайте о пользователях, но не забывайте и о его доступности для поисковых систем.
Не рекомендуем

• Вставлять в текст ненужные ключевые слова, предназначенные для поисковых систем, но бессмысленные для пользователей и раздражающие их.
• Добавлять фрагменты текста, не представляющие ценности для посетителей, например "частые опечатки, ведущие на эту страницу".
• Скрывать от пользователей текст в основной части страницы, который доступен поисковым системам.

7. Заслужите доверие пользователей
Если ваш сайт вызывает доверие, пользователи будут посещать его охотнее.
Доверие вызывают сайты с хорошей репутацией. Старайтесь заслужить репутацию в своей области.
Предоставьте информацию о владельце сайта, об авторах контента и о целях его публикации. Если на сайте продаются товары или совершаются денежные транзакции, у посетителей должен быть доступ к службе поддержки для решения возникших проблем. На новостных сайтах следует явно указывать источник информации.
Также не забывайте об использовании подходящих технологий. Если на странице оплаты не используется защищенное соединение, посетители не будут доверять сайту.

8. Привлекайте авторитетных специалистов
Мнение авторитетных специалистов повышает качество сайта. Контент должен быть подготовлен (или отредактирован) специалистами в тематике сайта. Например, посетители оценят, если вы укажете имя специалиста или авторитетные источники. Если вы касаетесь научной проблемы, не забудьте упомянуть, каково общепринятое мнение по этому вопросу.

9. Предоставляйте достаточное количество материалов по теме
Для создания качественного контента нужно немало времени, усилий, знаний, таланта и умений. Контент должен отражать реальные факты, быть исчерпывающим и хорошо сформулированным. Например, если на странице приведен кулинарный рецепт, это должны быть четкие инструкции по приготовлению, а не просто набор ингредиентов или общее описание блюда.
Не рекомендуем

• Публиковать на своих страницах контент, который не содержит всей необходимой информации.

https://developers.google.com/search/docs/fundamentals/get-on-google?hl=ru

Выводы

В данной статье мы собрали основные рекомендации по сканированию и индексации из мануалов помощи Google. На основании этого материала, вы можете оценить сложность и неоднозначность процессов индексации страниц сайтов. И то, на сколько, важно понимать текущий статус страниц и разбираться, на каком этапе "зависают" страницы не попадающие в индекс и проводить работы направленные на устранение ошибок индексации.