Не удалось обработать файл sitemap общая ошибка http

Cправка — Search Console

Войти

Справка Google

• Справочный центр
• Сообщество
• Search Console
• Политика конфиденциальности
• Условия предоставления услуг
• Отправить отзыв

Тема отзыва

Информация в текущем разделе Справочного центра

Общие впечатления о Справочном центре Google

• Справочный центр
• Сообщество

Search Console

В последнее время все чаще встречается ошибка при обработке файла Sitemap в Google. В интерфейсе Google Search Console отображается статус “Не получено” и комментарий — «Не удалось обработать файл Sitemap»

Варианты решения

Реальный пример

Для примера мы взяли сайт, интернет-магазин запчастей, на движке AdvantShop. На сайте около 5000 страниц товаров, из них в индексе Google было всего 35 страниц, в Sitemap ошибка “Не получено”.

28 мая страницы сайта были отправлены на индексацию через сервис Fast Indexing, и уже через 2 дня, в индекс зашло 2869 страниц, на 22 июня в индексе уже 4140 страниц.

Вывод

В текущих условиях, эффективнее сразу отправлять страницы напрямую в индекс, для того, чтоб сайт сразу начал получать трафик из Google. И уже после этого, по возможности, искать причину и устранять ошибки Sitemap.

В последнее время участились случаи когда Google отказывается принимать сайтмап длительное время.

В данном случае попробую расписать основные причины. Их можно разделить на 2 категории: ошибки на сайте и глюки новой гугл-консоли.

Чаще всего сопровождаются сообщениями:

Не получено – не удалось получить файл Sitemap

Первые действия

• Убедитесь что сайтмап открывается в браузере и время открытия менее 10сек.
• Необходимо подождать определенное время. Если краулинговый бюджет сайта израсходован, сразу индексация сайтмапа не пройдет, ожидайте от 1 до 10 дней.
• Воспользуйтесь инструментом «Проверка URL» для анализа индексации сайтмапа и запроса на приоритетное сканирование (скрин ниже).
• Отслеживайте по логам, обращался ли GoogleBot к сайтмапу.

Проверка сайтмапа

К сожалению гугл убрал инструмент проверки сайтмапа в новой Search Console. На данный момент такую возможность дает только Яндекс.

В Google можно проверить статус URL и ускорить индексацию единственным способом:

Ошибки на сайте

Ошибки загрузки

• Сайтмап недоступен или генерируется с ошибками — Проверьте в браузере и используя сервис от Яндекс
• Проблема с зеркалами сайта WWW/HTTPS — Сам сайтмап и содержимое должны принадлежать главному зеркалу
• Сайтмап запрещен к индексации в robots.txt — Разрешите используя оператор «Allow:» в конце списка
• Сайтмап отдается слишком долго (больше 15с)

Ошибки содержимого

• Адресация в сайтмапе и на сайте отличается либо большое кол-во адресов с редиректами
• В адресах используются спецсимволы — используйте только латинские буквы (a-z), цифры и тире (-)
• Несоответствие стандарту XHTML, как правило не заменено & на &аmр;
• Имеются пробелы в начале, либо кодировка отличная от UTF-8 (без BOM)

Глюки новой Google Search Console

Иногда возникают проблемы при следующих ситуациях

• Кириллический домен (именно доменная зона) или новая доменная зона (.top, .moscow, …) (под вопросом) как выяснилось не работает только .рф, а например .бел и .укр работают
• Использование знаков подчеркивания «_» в адресе сайтмапа — есть сообщения что замена на тире решила проблему
• Заголовок «content-type: application/xml» — есть сообщение что замена на «text/xml«, «text/xml; charset=UTF-8«, «application/rss+xml; charset=UTF-8«, либо полностью убранный заголовок решили проблему
• Используется gzip-сжатие — уберите сжатие для xml, это никак не повлияет на оценки Google Page Speed, т.к. на страницах сайта xml в 99.99% не грузится
• Сложная структура адреса сайтмапа — я провел эксперименты и выявил влияние, результаты ниже ↓

Прочие сайтмапы

Если ранее были отправлены иные сайтмапы, они могут задерживать обработку, отъедая краулинговый бюджет сайта. Недостаточно просто удалить сайтмап из консоли.

Цитата google:

Если вы удалите файл Sitemap, он будет удален из соответствующего отчета, но останется в Google, как и все URL, которые были в нем указаны.
Чтобы удалить файл Sitemap, выполните следующие действия:

Выберите Sitemap который нужно удалить, нажав на него.

Нажмите на значок «три точки».

Выберите Удалить файл Sitemap.

Чтобы роботы Google больше не обращались к файлу, удалите его с сайта или запретите доступ к нему с помощью файла robots.txt.

support.google.com/webmasters/answer/7451001

Личный опыт

• В 90% случаев если с самим сайтмапом всё в порядке, нужно просто подождать
• В случаях когда ожидание не помогает, нужно делать адрес максимально простым. Для 0pencart FX Sitemap есть специальный патч в разделе поддержки

Эксперименты

Разные адреса и отметки принял (✅) или не принял (✖) Google

ddd/s/rr_r	✖
ddd/s/rr	✖
ddd/s__1	✅
?s=ddd	✅
?route=ggg/e/uub	✖
fx_sitemap/index.php	✅
ru/index.php?route=extension/feed/google_sitemap	✖
ru/index.php?route=extension/feed/fx_sitemap	✖
ru/index.php?route=extension/feed/fx—sitemap	✖
ru/index.php?route=extension/feed	✅
ru/index.php?route=feed/fx_sitemap	✅

Обратите внимание, у вас в sitemap размещена полная ссылка с доменом.
Я часто замечал, что Google это не переваривает.

Попробуйте удалить текущий сайтмап и добавить еще раз только вручную ввести в поле sitemap.xml, чтобы в итоге было вот так как на скриншотах: https://yadi.sk/i/w54mra16F4YMlw, https://yadi.sk/i/whc9m4MyZOEVFw, https://yadi.sk/i/_8K9r1JFyqz3Lg
Видите, там только sitemap.xml в графе, без доменов.
У меня на всех проектах именно так и отображается, и всё хорошо индексируется и работает.

Обработка нового добавленного сайтмапа (чтобы показал статус успешно или нет), занимает несколько минут максимум. Не нужно ждать полгода. То есть просто перезагрузите страницу через минут 10 и увидите, обработал он его или нет.

p.s. есть подозрение на кириллистический домен, но т.к. у меня в консоли нет ни одного такого домена (изначально клиентам не рекомендую их, только латиницу), то и проверить сложно. Но факт что Google раньше плевался и не обрабатывал сайтмапы с параметрами в url, сейчас исправился и обрабатывает, мало ли, возможно, глючит еще и со стороны русскоязычного домена, но сначала проверьте как выше написал, чтобы только sitemap.xml был в этой графе.