08.02.2023
Проверка индексации сайта в Google
Особенностью индексации сайтов является несоответствие номинального количества страниц, количеству проиндексированных страниц. Поисковые системы, по ряду причин, индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого в индекса 100% корректных статических страниц.
Для интернет-магазинов, сайтов услуг и других коммерческих сайтов отсутствие страниц в поиске — это потеря дохода.
Поэтому важно знать сколько страниц проиндексировано, постоянно анализировать индексацию страниц сайта в Google, выявлять отсутствующие страницы, ошибки и мусорные страницы и проводить с ними работу.
Этапы индексации сайтов и страниц в Google
Способы проверки индексации в Google
Проверка фактического количества страниц на сайте
Отправка страниц на индексацию
Для интернет-магазинов, сайтов услуг и других коммерческих сайтов отсутствие страниц в поиске — это потеря дохода.
Поэтому важно знать сколько страниц проиндексировано, постоянно анализировать индексацию страниц сайта в Google, выявлять отсутствующие страницы, ошибки и мусорные страницы и проводить с ними работу.
Этапы индексации сайтов и страниц в Google
Способы проверки индексации в Google
Проверка фактического количества страниц на сайте
Отправка страниц на индексацию
Этапы индексации сайтов и страниц в Google
1. Сканирование. Поисковые роботы Google в режиме нон стоп скачивают страницы всех сайтов и размещают их в своей базе.
Каждому сайту определяется максимальный лимит страниц в индексе, так называемый “краулинговый бюджет”, который зависит от технического состояния сайта:
2. Загрузка. Отдельный робот Google загружает страницы и определяет элементы и зоны документа: мета-теги, изображения, текст, видео, разметка и прочие данные.
3. Проверка. Каждая страница проверяется на соответствие требованиям:
4. Индексация. При успешном прохождении проверки, страница добавляется в индекс Гугла.
Когда возникает необходимость проверки индексации?
1. Сканирование. Поисковые роботы Google в режиме нон стоп скачивают страницы всех сайтов и размещают их в своей базе.
Каждому сайту определяется максимальный лимит страниц в индексе, так называемый “краулинговый бюджет”, который зависит от технического состояния сайта:
- скорости загрузки сайта;
- соотношения ценных и мусорных страниц;
- наличия дублей контента;
- корректности реализации навигации и перелинковки на сайте;
- и т.д.
2. Загрузка. Отдельный робот Google загружает страницы и определяет элементы и зоны документа: мета-теги, изображения, текст, видео, разметка и прочие данные.
3. Проверка. Каждая страница проверяется на соответствие требованиям:
- доступность и отсутствие запретов для индексации;
- качество и структура контента;
- отсутствие запрещенных способов продвижения на странице;
- адаптивность для мобильных устройств;
- и т.д. по списку.
4. Индексация. При успешном прохождении проверки, страница добавляется в индекс Гугла.
Когда возникает необходимость проверки индексации?
- После создания нового проекта
- После переноса на новую CMS или новый домен
- После изменения структуры сайта
- После добавления новых страниц и разделов
- В любом случае когда меняются или добавляются новые URL на сайте
Способы проверки индексации в Google
1. С помощью поискового оператора «SITE:»
Если у вас нет доступа к сайту или вебмастеру, самый простой способ использовать оператор «site». В поисковой строке нужно ввести «site:https://адрес сайта/».
Так вы увидете наличие сайта в индексе и количество проиндексированных страниц в Google. Необходимо учитывать, что если страниц много, информация может быть не совсем некорректной.
1. С помощью поискового оператора «SITE:»
Если у вас нет доступа к сайту или вебмастеру, самый простой способ использовать оператор «site». В поисковой строке нужно ввести «site:https://адрес сайта/».
Так вы увидете наличие сайта в индексе и количество проиндексированных страниц в Google. Необходимо учитывать, что если страниц много, информация может быть не совсем некорректной.
Для проверки индексации определенной страницы можно использовать оператор «site:https://адрес страницы сайта/», а для проверки индексации категории или раздела «site:https://адрес сайта/раздел/*»
2. С помощью Google Search Console
Google Search Console — это инструмент для вебмастеров от Google. Для доступа к ресурсу необходимо зарегистрироваться в системе с аккаунта gmail.com и подтвердить права на сайт.
Количество проиндексированных страницы можно увидеть в разделе «Индексирование» - «Страницы». Список страниц можно увидеть, если перейти по ссылке «Посмотреть данные от индексированных страницах».
2. С помощью Google Search Console
Google Search Console — это инструмент для вебмастеров от Google. Для доступа к ресурсу необходимо зарегистрироваться в системе с аккаунта gmail.com и подтвердить права на сайт.
Количество проиндексированных страницы можно увидеть в разделе «Индексирование» - «Страницы». Список страниц можно увидеть, если перейти по ссылке «Посмотреть данные от индексированных страницах».
Если необходимо узнать, проиндексирована ли конкретная страница в Google, необходимо кликнуть на пункт меню «Проверка URL» и ввести URL страницы.
После обработки отобразится вся информация по данной странице, и кнопка «Запросить индексирование» для отправки на индексацию.
После обработки отобразится вся информация по данной странице, и кнопка «Запросить индексирование» для отправки на индексацию.
Проверка фактического количества страниц на сайте
Для проведения качественного анализа индексации сайта важно понимать, какое количество страниц фактически присутствует на сайте. Конечно, самый простой способ зайти в административную панель сайта и посмотреть количество статических страниц, карточек товаров, категорий и страниц услуг. Но иногда такой вариант не подходит, и тогда можно воспользоваться программами парсинга данных:
Можно использовать бесплатные программы XENU , Site Analyzer или платные Screaming Frog SEO Spider или Netpeak Spider Программы работают по общему принципу, необходимо ввести URL сайта и дождаться окончания сканирования. В результате программа покажет количество и список всех доступных URL сайта.
Проверка индексации в ScreamingFrog через подключенный Search Console
Преимущества данного способа состоит в том, что за одно сканирование возможно увидеть и фактический перечень страниц сайта и наличие страницы в индексе Google. После выгрузки результатов в одно действие можно получить список непроиндексированных страниц.
Для сайтов до 500 URL можно использовать бесплатную версию программы, для сайтов с большим количеством страниц, нужна лицензия.
Для работы нужно настроить интеграцию ScreamingFrog (версия 18 и выше) с аккаунтом Google Search Console который имеет права доступа для выбранного сайта.
В меню Configuration -> API Access -> Google Search Console необходимо настроить:
1. Account Information - добавить аккаунт Google
2. Search Analytics - чекбокс Crawl New URLs Discovered In Google Search Console
3. URL Inspection - чекбокс Enable URL Inspection.
После запуска парсинга отчет про наличие в индексе Гугл будет на вкладке Search Console в колонке Summary.
Для проведения качественного анализа индексации сайта важно понимать, какое количество страниц фактически присутствует на сайте. Конечно, самый простой способ зайти в административную панель сайта и посмотреть количество статических страниц, карточек товаров, категорий и страниц услуг. Но иногда такой вариант не подходит, и тогда можно воспользоваться программами парсинга данных:
Можно использовать бесплатные программы XENU , Site Analyzer или платные Screaming Frog SEO Spider или Netpeak Spider Программы работают по общему принципу, необходимо ввести URL сайта и дождаться окончания сканирования. В результате программа покажет количество и список всех доступных URL сайта.
Проверка индексации в ScreamingFrog через подключенный Search Console
Преимущества данного способа состоит в том, что за одно сканирование возможно увидеть и фактический перечень страниц сайта и наличие страницы в индексе Google. После выгрузки результатов в одно действие можно получить список непроиндексированных страниц.
Для сайтов до 500 URL можно использовать бесплатную версию программы, для сайтов с большим количеством страниц, нужна лицензия.
Для работы нужно настроить интеграцию ScreamingFrog (версия 18 и выше) с аккаунтом Google Search Console который имеет права доступа для выбранного сайта.
В меню Configuration -> API Access -> Google Search Console необходимо настроить:
1. Account Information - добавить аккаунт Google
2. Search Analytics - чекбокс Crawl New URLs Discovered In Google Search Console
3. URL Inspection - чекбокс Enable URL Inspection.
После запуска парсинга отчет про наличие в индексе Гугл будет на вкладке Search Console в колонке Summary.
URL is on Google - страница присутствует в индексе Google
URL is not on Google - страница отсутствует в индексе Google, именно эти страницы требуют индексации, их можно экспортировать и взять в работу.
URL is not on Google - страница отсутствует в индексе Google, именно эти страницы требуют индексации, их можно экспортировать и взять в работу.
Отправка страниц на индексацию
Анализируем количество страниц сайта со статусом “URL is not on Google”, если страниц не много, можно их отправить на индексацию вручную, через Google Search Console.
Если страниц более 100, тогда эффективнее воспользоваться сервисом ускоренной индексации Fast Indexing.
Анализируем количество страниц сайта со статусом “URL is not on Google”, если страниц не много, можно их отправить на индексацию вручную, через Google Search Console.
Если страниц более 100, тогда эффективнее воспользоваться сервисом ускоренной индексации Fast Indexing.
Оцените возможности сервиса - 100 монет в подарок при регистрации!
Предложение доступно только один раз, чтобы вы
могли убедиться в эффективности сервиса
могли убедиться в эффективности сервиса
Выводы
«У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».
Google посещает только часть всех страниц в Интернете из них только часть берет в индекс. Важно помнить об этом, и анализировать индексацию страниц сайта в Google на постоянной основе даже если на данный момент сайт идеален.
«У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».
Google посещает только часть всех страниц в Интернете из них только часть берет в индекс. Важно помнить об этом, и анализировать индексацию страниц сайта в Google на постоянной основе даже если на данный момент сайт идеален.
Давайте проиндексируем ваш сайт
Оставьте контактные данные
и мы свяжемся с вами в течении 30 минут.
и мы свяжемся с вами в течении 30 минут.
Нажимая на кнопку, вы даете согласие на обработку ваших персональных данных
Похожие статьи в блоге:
