Общие правила создания и типичные ошибки Sitemap подробно описаны в мануалах поддержки. В данной статье мы рассмотрим ситуацию которая не типична, и сейчас стала появляется все чаще.

При добавлении Sitemap в интерфейсе Google Search Console появляется ошибка "Не получено"

При переходе в требуемый раздел Sitemap стоит ошибка "Не удалось обработать файл Sitemap", хотя сам файл открывается и доступен.

На просторах интернета мы нашли разные предположения о причинах проблемы и вариантах почему Google не видит Sitemap. Мы попробовали все эти варианты и свели их в общий список, чтоб сэкономить ваше время)

Причины и варианты решения:

1. Расположение файла. Google пишет: “Файл Sitemap может быть размещен в любой части сайта, но влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне”. — в данном проекте файлы изначально лежали в корневой директории, по этому данный вариант не рассматриваем.

2. Нижнее подчеркивание. На форуме есть ветка где обсуждается использование нижнего подчеркивания “_” в названии файла — тестировали гипотезу и пробовали разные варианты с подчеркиванием и без, на индексирование это не повлияло.

3. Запросить индексирование. Кто-то предлагает добавить URL страницы Sitemap в поле проверки URL и “Запросить индексирование” — пробовали многократно, вариант не работает.

4. Уменьшение файла. В рекомендациях Google пишет “Разбивайте большие файлы Sitemap на файлы поменьше. Файл Sitemap может содержать до 50 000 URL и не должен занимать больше 50 МБ в несжатом виде. Вместо отдельных файлов Sitemap отправляйте в Google их индекс.” На практике мы работали с файлом sitemap на 9237 URL, соответственно, тут причина не в размере файла.

5. Дополнительные слеши. Добавление двух слешей "//" в начале адреса или одного "/" в конце адреса sitemap-1.xml/ — не помогло

6. Удаление дополнительных тегов. Удалялись lastmod, changefreq, priority — не помогло.

7. Доменная зона. Судя по ответам на форумах, игнорирование части карты сайта происходит и с некоторых доменных зон (.рф, .top, .club) — отдельно эту гипотезу не проверяли, т.к. работали с проектами в зоне .ru у которых и возникла данная проблема.

8. Запрос на сканирование файла Sitemap. Отправить запрос на изменение файла Sitemap можно по ссылке:
https://www.google.com/ping?sitemap=https://fast-indexing.ru/sitemap.xml
Вместо https://fast-indexing.ru/sitemap.xml нужно указать путь к вашему файлу Sitemap. — в некоторых случаях после данного запроса в Google Search Console актуализируется дата обхода файла, но данный способ помогает не всегда(

Решения которые сработали:

1. Ждать. Иногда помогает подождать несколько дней. У Google есть свой темп чтения файлов для каждого сайта. Sitemap некоторых сайтов сканируется за 1 раз. Хотя есть и обратные примеры, когда с момента загрузки файла Sitemap прошло 2,5 месяца, а он так и не получил статус “Успешно обработан”.
2. Формат .txt вместо .xml. Может сработать на сайте небольшого объема. И есть удачные примеры, но на большом сайте — не решает проблему.

Отправить страницы напрямую. Как мы видим, на сегодня, инструмент Fast Indexing — это более эффективный метод быстро просканировать страницы сайта. И процент проиндексированных страниц значительно выше, чем при отправке через Sitemap.

В текущем проекте за 5 дней было проиндексировано 8600 URL с помощью Fast Indexing, а Sitemap в Google вебмастере, по прежнему в статусе "Не получено". Из чего мы сделали вывод, что, в текущих условиях, нет смысла тратить время на Sitemap и эффективнее отправлять страницы напрямую в индекс.

*В статье рассматривается интернет-магазин 9237 URL, созданный на движке Advantshop.