Как проверить файл sitemap xml на ошибки

URL недоступны

Google не удалось просканировать адреса из файла Sitemap. Проверьте, доступны ли URL в нем нашему роботу, с помощью этого инструмента.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

• При переходе по URL слишком много раз выполняется переадресация, и поисковые роботы Google останавливаются, не достигая цели. Рекомендуем заменить все URL переадресации на адреса непосредственно тех страниц, которые нужно просканировать.
  • Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянную переадресацию.
  • Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
• Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, для перехода на другую страницу своего сайта указывайте URL https://www.example.com/mypage.html, а не просто mypage.html.

Нельзя использовать URL

Некоторые из перечисленных вами URL находятся в другом домене или на более высоком уровне по сравнению с файлом Sitemap.

Более высокий уровень. Если файл расположен по адресу http://www.example.com/mysite/sitemap.xml, то недействительны следующие URL:

• http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
• http://www.example.com/yoursite/ – находится в соседнем каталоге (необходимо перейти на более высокий уровень, а затем на более низкий).

Другой домен. Убедитесь, что все URL начинаются с того же домена, в котором хранится ваш файл Sitemap. Например, если файл расположен по адресу http://www.example.com/sitemap.xml, то недействительны следующие URL:

• http://example.com/ – отсутствует www в начале.
• www.example.com/ – нет префикса протокола (http).
• https://www.example.com/ – указан префикс протокола https вместо http.

Ошибка сжатия

Произошла ошибка при попытке восстановить сжатый файл Sitemap. Выполните повторное сжатие файла (например, с помощью gzip), после чего загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Исправьте это.

Превышен максимальный размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе Sitemap, а затем отправьте нам этот индекс.

Неверное значение атрибута

У атрибута в теге XML недопустимое значение. Проверьте файлы Sitemap и убедитесь, что в них есть все необходимые атрибуты с действительными значениями (согласно техническим требованиям к таким файлам), а также что отсутствуют опечатки.

Неправильно введена дата

Как минимум одна дата в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Введите все даты в одном из допустимых форматов W3C:

2005-02-21 
2005-02-21T18:00:15+00:00

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или ошибки, например имеет префикс htp:// вместо http://.

Убедитесь, что URL в файле Sitemap указаны в правильной кодировке и должным образом экранированы. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, будет ли загружена страница.

Неполные URL в файле индекса Sitemap

Для некоторых файлов Sitemap, перечисленных в файле индекса Sitemap, не указаны полные URL. Google выполняет поиск файлов Sitemap в том же каталоге, в котором находится индекс. Например, если индекс расположен по адресу http://www.example.com/folder1/sitemap_index.xml и указывает на файл sitemap.xml (без символа / впереди), то Google ищет этот файл Sitemap по адресу http://www.example.com/folder1/sitemap.xml. Если найти его не удается, показывается сообщение об ошибке.

Добавьте в индекс Sitemap полные URL всех нужных файлов Sitemap и отправьте его ещё раз.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

<url>
  <loc>http://www.example.com/</loc>
  <loc>http://www.example.com/page1.html</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
</url>

В сообщении об ошибке указываются тег и номер строки, в которой он находится. Удалите повторяющийся тег и отправьте файл Sitemap ещё раз.

Отсутствует атрибут XML

В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.

Отсутствует тег XML

В одной или нескольких записях в файле Sitemap отсутствует обязательный тег. В сообщении об ошибке указывается номер строки, с которой связана проблема. Сведения об обязательных тегах можно найти в этой статье.

Отсутствует URL значка видео

В некоторых записях о видео нет ссылки на значок. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех значков видео.

Отсутствует название видео

В некоторых записях о видео отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео.

Вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Зачастую это происходит из-за неэкранированных символов в URL. Во всех файлах XML в любых значениях данных (включая URL) необходимо экранировать символы &, ‘, «, <, > и некоторые другие. Проверьте, правильно ли выполнено экранирование в URL.

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться даже через несколько часов, отправьте файл Sitemap ещё раз.

Слишком много файлов Sitemap

В файле индекса упомянуто более 50 000 файлов Sitemap. Разделите его на несколько, в каждом из которых должно быть указано не более 50 000 файлов Sitemap.

Слишком много URL

В файле Sitemap упомянуто более 50 000 URL. Разделите его на несколько, в каждом из которых должно быть указано до 50 000 адресов. Для удобства можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:

• В файлах Sitemap должны быть правильные заголовки. Например, если файл содержит информацию о видео, заголовок должен быть следующим:

  <?xml version="1.0" encoding="UTF-8"?>
  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
          xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">

• Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
• Все атрибуты XML нужно заключать в одинарные (‘) или двойные («) кавычки, которые должны быть только прямыми. Обратите внимание, что текстовые редакторы, например Microsoft Word, могут автоматически менять кавычки на фигурные.

Несоответствующий путь: отсутствует префикс www

Путь к файлу Sitemap не содержит префикс www (пример: http://example.com/sitemap.xml), однако этот префикс есть в URL, которые перечислены в файле (пример: http://www.example.com/myfile.html).

Удалите префикс www из всех URL внутри файла.

Несоответствующий путь: имеется префикс www

Путь к файлу Sitemap содержит префикс www (пример: http://www.example.com/sitemap.xml), однако этого префикса нет в URL, которые перечислены в файле (пример: http://example.com/myfile.xml).

Добавьте префикс www во все URL внутри файла.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Ниже приведены примеры.

• Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
• Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
• Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
• Другие типы файлов Sitemap

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с объявления пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Указанная проблема не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандарту XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP [код ошибки]

При попытке скачать файл Sitemap произошла ошибка HTTP уровня 400. В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Общая ошибка HTTP

Произошла ошибка HTTP, которую невозможно отнести ни к одной из приведенных в этом списке. Вы можете воспользоваться инструментом проверки URL, чтобы воспроизвести ошибку, однако она может быть временной. Подождите немного и посмотрите, будет ли она повторяться при дополнительных попытках сканирования.

Слишком большой значок видео

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком маленький значок видео

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Адреса видео и страницы воспроизведения совпадают

URL видео и страницы проигрывателя, указанные в файле Sitemap для видео, не должны совпадать. Если используются одновременно тег <video:player_loc> и тег <video:content_loc>, то URL в них должны различаться. Подробнее о том, как добавить в файл Sitemap информацию о видео…

URL видео указывает на страницу воспроизведения

URL в теге <video:content_loc> в файле Sitemap для видео указывает на страницу, где размещен проигрыватель. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt. Воспользуйтесь инструментом проверки URL, чтобы выяснить, на какой именно файл влияет блокировка доступа, и внесите в директивы robots.txt необходимые изменения.

XML Sitemap помогает роботам поисковых систем ориентироваться в структуре и страницах сайта. Некорректно составленная карта может привести к проблемам с индексированием. Наш инструмент анализирует Sitemap: проверяет валидность, находит ошибки.

Для чего используют валидатор Sitemap

Карта сайта содержит важную для поисковиков информацию:

список всех URL;

общая структура, иерархия, приоритетность;

информация о проиндексированных картинках и видеодокументах.

Сервис «Анализ XML-карты сайта» анализирует корректность составления Sitemap, находит ошибки, проверяет количество ссылок, проиндексированных страниц и изображений, размер файла. Отдельная опция — проверка кода ответа каждого документа.

Вариативность онлайн-проверки

Для удобства можно менять настройки, для этого нужно отметить нужные опции:

Как пользоваться инструментом

Если карта уже загружена на сайт, укажите ссылку. Если нет, передвиньте переключатель и загрузите файл в сервис.

Отметьте нужные опции: анализ кодов ответа сервера, скачивание результатов.

Нажмите на кнопку «Анализировать».

Анализ выполняется в фоне, проверка может продолжаться несколько минут.

Если карта сайта содержит ошибки, сервис указывает на них. А также показывает, какие URL отдают некорректный ответ. Эта информация помогает настроить Sitemap так, чтобы она ускоряла индексацию, способствовала SEO-продвижению сайта, росту поискового трафика.

Результаты проверок сохраняются в сервисе.

Инструмент работает на PRO-тарифах. Можно запускать до 5 параллельных проверок. За проверку списываются лимиты: 25 лимитов за каждую анализируемую XML карту. Опция «Анализировать коды ответа указанных URL» — 1 лимит за каждый URL из XML Sitemap.

Преимущества сервиса

Быстро и точно проверяет корректность Sitemap.

Проводит более подробный анализ, чем Яндекс.Вебмастер: проверяет наличие ошибок, размер файла, количество ссылок, считает документы в Яндексе и Google.

Анализирует коды ответа сервера, находит коды, отличные от 200.

Сохраняет предыдущие результаты проверки карты.

Инструмент полезен вебмастерам и SEO-специалистам при настройке нового или действующего сайта. Проверить карту необходимо при проблемах с индексацией сайта. Это обязательная часть технического аудита.

Введите адрес XML Sitemap здесь:

167280

167280

Нравится этот инструмент? Оцените его!

4.7
(Проголосовало 1556 пользователей)

Вы уже проголосовали! Отменить

Воспользуйтесь этим инструментом, чтобы оценить его

Сервисы для проверки файла sitemap.xml онлайн

1. Анализатор файлов Sitemap от Яндекс.Вебмастер.
2. Проверка файла XML Sitemap от Websiteplanet.
3. Сервис Mysitemapgenerator.
4. Проверка от Pixelplus.
5. Сервис Sitemap-checkers.

Перечисленные SEO-инструменты работают онлайн и помогают проверить карту сайта совершенно бесплатно. Прежде чем приступать к проверке, убедитесь, что файл sitemap.xml доступен и возвращает ответ с кодом 200 ОК.

№1. Анализатор файлов Sitemap от Яндекс.Вебмастер

В панели Вебмастер от Яндекса есть встроенный инструмент для проверки содержимого sitemap. Чтобы воспользоваться им, необходимо войти в свой Яндекс ID или зарегистрироваться. В сервисе можно сделать анализ тремя способами: вставить содержимое файла текстом, загрузить саму карту в формате XML или ввести адрес ее расположения.

№2. Проверка файла XML Sitemap от Websiteplanet

В этом валидаторе XML-карты проверить файл можно только через указание ссылки. Проходить регистрацию здесь не требуется. Просто вводите адрес и нажимаете «Проверить!». Онлайн-сервис ищет ошибки сжатия, проблемы с ответами сервера, некорректно работающие урлы и др.

№3. Сервис Mysitemapgenerator

Здесь можно проанализировать XML-файл бесплатно и без регистрации: введите веб-адрес карты или добавьте ее, нажав кнопку «Загрузить файл». После этого кликните «Старт» и дождитесь окончания проверки. Сервис изучит соответствие протоколу и проведет диагностику ошибок в структуре XML.

№4. Проверка от Pixelplus

Инструмент Пиксель Тулс является условно бесплатным: чтобы сделать проверку sitemap, нужно зарегистрироваться и оплатить 1 рубль. Таким образом вы получите доступ ко всем внутренним сервисам на 30 дней, включая XML-валидатор. Анализ можно провести по ссылке или с помощью загрузки файла. Результаты можно будет скачать в формате CSV.

№5. Сервис Sitemap-checkers

Специализированный сервис для анализа содержимого sitemap.xml. Регистрация не нужна — вводите URL карты и нажимаете «Check». Инструмент взвесит файл, проверит код ответа сервера, отыщет невалидные данные.

Заключение

Чаще всего веб-мастера поручают создание sitemap специальным сервисам, которые формируют файл автоматически. Но ошибки могут быть в самих страницах, поэтому проверять валидность XML-карты рекомендуется после каждого обновления.

Сервисы для проверки файла sitemap.xml онлайн
№1. Анализатор файлов Sitemap от Яндекс.Вебмастер
№2. Проверка файла XML Sitemap от Websiteplanet
№3. Сервис Mysitemapgenerator
№4. Проверка от Pixelplus
№5. Сервис Sitemap-checkers
Заключение

Sitemap.xml — это карта сайта для поисковых роботов, которая находится в корне сайта и содержит рекомендации того, какие страницы необходимо обходить в первую очередь и с какой частотой. Это ускоряет и упрощает процесс индексации. Создание sitemap.xml не является обязательным правилом. Такая карта должна быть на сайтах, которые имеют большое количество страниц, и в тех случаях, когда контент на страницах часто обновляется.

Sitemap, как правило, формирует программное обеспечение сайта по всем страницам, которые на нем есть. Однако не все системы администрирования сайтов знают, какие страницы запрещены для индексирования директивами в robots.txt или другим способом, и поэтому в Sitemap попадают закрытые от индексации страницы, а также страницы, созданные, но не добавленные в меню и т. д. Эти ошибки приносят массу проблем с поисковыми системами.

Разные поисковые системы обрабатывают правила в sitemap по-разному. Например, Яндекс скорей всего проиндексирует все страницы, которые есть в sitemap. Google чаще всего индексирует только те страницы, до которых можно дойти краулером переходом по ссылкам на сайте с учетом всех правил. То есть Google использует sitemap только для определения частоты сканирования страниц, а Яндекс берёт из sitemap страницы для индексации. Это является одной из причин, почему число страниц в Яндекс и Google может отличаться.

Анализ sitemap на сервисе Labrika помогает найти следующие виды ошибок:

Есть в sitemap, но не найдены при обходе сайта

Содержание отчета:

1. Адреса страниц.
2. Код ответа страницы. Ошибка 404 — это стандартный код ответа HTTP о том, что страница не может быть найдена.
3. Количество входящих ссылок, ведущих на страницу.
4. Наличие блокировки страницы от индексации при помощи атрибута noindex.
5. Наличие блокировки ссылок на страницу при помощи атрибута nofollow.
6. Наличие блокировки страницы от индексации в Яндексе посредством директивы в robots.txt.
7. Наличие блокировки страницы от индексации в Google посредством директивы в robots.txt.
8. После нажатия кнопки «Скачать исправленный sitemap.xml» Labrika самостоятельно исправит все обнаруженные ошибки и сохранит правильную обновленную версию sitemap.xml на ваш компьютер.

Этот отчёт помогает найти так называемые страницы-сироты. Про этот термин в России знают далеко не все оптимизаторы. На Западе же он широко используется.

Страницы-сироты (бесхозные страницы) — это страницы веб-сайта, на которые нет ссылок с других страниц вашего сайта. Если такая страница даже проиндексируется поисковой системой, то PageRank (ссылочный вес) у этих страниц будет равен нулю, а значит позиции по конкурентным запросам будут сильно занижены. B интернете можно найти исследования, которые указывают на то, что несмотря на отказ от расчёта PageRank на сайт поисковые системы используют PageRank или аналогичные алгоритмы для оценки веса страниц внутри сайта. А это значит, что если посадочная страница попала в этот отчёт, то это требует срочного исправления ошибок.

Причины ошибки могут быть следующие:

1. На страницу ведет ссылка с документа, который сам закрыт для индексации, либо закрыты ведущие на него страницы. В результате паук поисковой системы, передвигаясь от главной страницы, доходит до закрытых страниц и не может пройти дальше, чтобы проиндексировать следующие документы.
2. Заблокированы ссылки на нужную страницу, например, через атрибут rel=nofollow. То есть паук видит ссылку на страницу, но не переходит по ней, так как это запрещено.
3. На страницу нет и, возможно, никогда не было ссылок.
4. Страницу удалили в редакторе сайта и из меню, а html-файл на сайте остался.
5. Закрыта сама страница, которая есть в sitemap. Поэтому она и не была найдена при индексации.

Чтобы исправить ошибку необходимо проверить блокировки страниц и ссылок на более низких уровнях, начиная с главной страницы сайта. Чаще всего ошибка возникает из-за того, что страницу сделали, но не добавили в меню или из-за того, что закрыли от индексации пагинацию в каталоге товаров (или в разделе блога – для информационных страниц).

Есть в sitemap, но закрыты от индексации

Здесь отображаются страницы, которые запрещены для индексации, но есть в sitemap.

То есть страницы по каким-то причинам закрыли от индексации, но не убрали из sitemap.

Это может привести к утечке конфиденциальной информации, появлению закрытых от индексации дублей страниц в индексе поисковых систем (+снижение позиций из-за этого) или потере краулингового бюджета в Яндексе. Google, как правило, не индексирует такие страницы. Их следует удалить из карты сайта. Если же по ошибке оказалась закрыта от индексирования страница, которая должна попасть в результаты поиска, необходимо снять блокировку индексации.

Нет в sitemap, но разрешены для индексации

Содержание отчета:

1. Адреса страниц.
2. Код ответа страницы. Код 200 говорит об успешной обработке запроса (страница доступна).
3. Количество входящих ссылок, ведущих на страницу.
4. После нажатия кнопки «Скачать исправленный sitemap.xml» Labrika самостоятельно исправит все обнаруженные ошибки и сохранит правильную версию карты сайта на ваш компьютер.

Здесь отображаются страницы, которые разрешены для индексации, но отсутствуют в sitemap. Эта ошибка самая безобидная из всех. Тем не менее, наличие страницы в sitemap даёт возможность управлять краулинговым бюджетом. Краулинговый бюджет — это лимит страниц, который поисковый робот может просканировать за определенный период времени. Важно, чтобы он расходовался на приоритетные посадочные страницы. Для этого они должны быть прописаны в sitemap.

В случае появления данной ошибки добавьте нужные страницы в карту сайта, а также проверьте, включено ли её автоматическое обновление и все ли необходимые разделы обрабатываются при формировании sitemap.

Внимание! Отчёты по sitemap будут доступны в том случае, если было выставлено достаточно лимитов, чтобы просканировать весь сайт. Иначе Labrika только определит, какие страницы включены в карту сайта, но не сможет установить весь список существующих на сайте страниц и сравнить его с содержимым sitemap.