Проверить sitemap на ошибки google

URL недоступны

Google не удалось просканировать адреса из файла Sitemap. Проверьте, доступны ли URL в нем нашему роботу, с помощью этого инструмента.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

• При переходе по URL слишком много раз выполняется переадресация, и поисковые роботы Google останавливаются, не достигая цели. Рекомендуем заменить все URL переадресации на адреса непосредственно тех страниц, которые нужно просканировать.
  • Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянную переадресацию.
  • Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
• Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, для перехода на другую страницу своего сайта указывайте URL https://www.example.com/mypage.html, а не просто mypage.html.

Нельзя использовать URL

Некоторые из перечисленных вами URL находятся в другом домене или на более высоком уровне по сравнению с файлом Sitemap.

Более высокий уровень. Если файл расположен по адресу http://www.example.com/mysite/sitemap.xml, то недействительны следующие URL:

• http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
• http://www.example.com/yoursite/ – находится в соседнем каталоге (необходимо перейти на более высокий уровень, а затем на более низкий).

Другой домен. Убедитесь, что все URL начинаются с того же домена, в котором хранится ваш файл Sitemap. Например, если файл расположен по адресу http://www.example.com/sitemap.xml, то недействительны следующие URL:

• http://example.com/ – отсутствует www в начале.
• www.example.com/ – нет префикса протокола (http).
• https://www.example.com/ – указан префикс протокола https вместо http.

Ошибка сжатия

Произошла ошибка при попытке восстановить сжатый файл Sitemap. Выполните повторное сжатие файла (например, с помощью gzip), после чего загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Исправьте это.

Превышен максимальный размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе Sitemap, а затем отправьте нам этот индекс.

Неверное значение атрибута

У атрибута в теге XML недопустимое значение. Проверьте файлы Sitemap и убедитесь, что в них есть все необходимые атрибуты с действительными значениями (согласно техническим требованиям к таким файлам), а также что отсутствуют опечатки.

Неправильно введена дата

Как минимум одна дата в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Введите все даты в одном из допустимых форматов W3C:

2005-02-21 
2005-02-21T18:00:15+00:00

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или ошибки, например имеет префикс htp:// вместо http://.

Убедитесь, что URL в файле Sitemap указаны в правильной кодировке и должным образом экранированы. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, будет ли загружена страница.

Неполные URL в файле индекса Sitemap

Для некоторых файлов Sitemap, перечисленных в файле индекса Sitemap, не указаны полные URL. Google выполняет поиск файлов Sitemap в том же каталоге, в котором находится индекс. Например, если индекс расположен по адресу http://www.example.com/folder1/sitemap_index.xml и указывает на файл sitemap.xml (без символа / впереди), то Google ищет этот файл Sitemap по адресу http://www.example.com/folder1/sitemap.xml. Если найти его не удается, показывается сообщение об ошибке.

Добавьте в индекс Sitemap полные URL всех нужных файлов Sitemap и отправьте его ещё раз.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

<url>
  <loc>http://www.example.com/</loc>
  <loc>http://www.example.com/page1.html</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
</url>

В сообщении об ошибке указываются тег и номер строки, в которой он находится. Удалите повторяющийся тег и отправьте файл Sitemap ещё раз.

Отсутствует атрибут XML

В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.

Отсутствует тег XML

В одной или нескольких записях в файле Sitemap отсутствует обязательный тег. В сообщении об ошибке указывается номер строки, с которой связана проблема. Сведения об обязательных тегах можно найти в этой статье.

Отсутствует URL значка видео

В некоторых записях о видео нет ссылки на значок. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех значков видео.

Отсутствует название видео

В некоторых записях о видео отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео.

Вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Зачастую это происходит из-за неэкранированных символов в URL. Во всех файлах XML в любых значениях данных (включая URL) необходимо экранировать символы &, ‘, «, <, > и некоторые другие. Проверьте, правильно ли выполнено экранирование в URL.

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться даже через несколько часов, отправьте файл Sitemap ещё раз.

Слишком много файлов Sitemap

В файле индекса упомянуто более 50 000 файлов Sitemap. Разделите его на несколько, в каждом из которых должно быть указано не более 50 000 файлов Sitemap.

Слишком много URL

В файле Sitemap упомянуто более 50 000 URL. Разделите его на несколько, в каждом из которых должно быть указано до 50 000 адресов. Для удобства можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:

• В файлах Sitemap должны быть правильные заголовки. Например, если файл содержит информацию о видео, заголовок должен быть следующим:

  <?xml version="1.0" encoding="UTF-8"?>
  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
          xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">

• Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
• Все атрибуты XML нужно заключать в одинарные (‘) или двойные («) кавычки, которые должны быть только прямыми. Обратите внимание, что текстовые редакторы, например Microsoft Word, могут автоматически менять кавычки на фигурные.

Несоответствующий путь: отсутствует префикс www

Путь к файлу Sitemap не содержит префикс www (пример: http://example.com/sitemap.xml), однако этот префикс есть в URL, которые перечислены в файле (пример: http://www.example.com/myfile.html).

Удалите префикс www из всех URL внутри файла.

Несоответствующий путь: имеется префикс www

Путь к файлу Sitemap содержит префикс www (пример: http://www.example.com/sitemap.xml), однако этого префикса нет в URL, которые перечислены в файле (пример: http://example.com/myfile.xml).

Добавьте префикс www во все URL внутри файла.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Ниже приведены примеры.

• Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
• Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
• Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
• Другие типы файлов Sitemap

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с объявления пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Указанная проблема не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандарту XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP [код ошибки]

При попытке скачать файл Sitemap произошла ошибка HTTP уровня 400. В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Общая ошибка HTTP

Произошла ошибка HTTP, которую невозможно отнести ни к одной из приведенных в этом списке. Вы можете воспользоваться инструментом проверки URL, чтобы воспроизвести ошибку, однако она может быть временной. Подождите немного и посмотрите, будет ли она повторяться при дополнительных попытках сканирования.

Слишком большой значок видео

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком маленький значок видео

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Адреса видео и страницы воспроизведения совпадают

URL видео и страницы проигрывателя, указанные в файле Sitemap для видео, не должны совпадать. Если используются одновременно тег <video:player_loc> и тег <video:content_loc>, то URL в них должны различаться. Подробнее о том, как добавить в файл Sitemap информацию о видео…

URL видео указывает на страницу воспроизведения

URL в теге <video:content_loc> в файле Sitemap для видео указывает на страницу, где размещен проигрыватель. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt. Воспользуйтесь инструментом проверки URL, чтобы выяснить, на какой именно файл влияет блокировка доступа, и внесите в директивы robots.txt необходимые изменения.

URL недоступны

Google не удалось просканировать адреса из файла Sitemap. Проверьте, доступны ли URL в нем нашему роботу, с помощью этого инструмента.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

• При переходе по URL слишком много раз выполняется переадресация, и поисковые роботы Google останавливаются, не достигая цели. Рекомендуем заменить все URL переадресации на адреса непосредственно тех страниц, которые нужно просканировать.
  • Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянную переадресацию.
  • Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
• Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, для перехода на другую страницу своего сайта указывайте URL https://www.example.com/mypage.html, а не просто mypage.html.

Нельзя использовать URL

Некоторые из перечисленных вами URL находятся в другом домене или на более высоком уровне по сравнению с файлом Sitemap.

Более высокий уровень. Если файл расположен по адресу http://www.example.com/mysite/sitemap.xml, то недействительны следующие URL:

• http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
• http://www.example.com/yoursite/ – находится в соседнем каталоге (необходимо перейти на более высокий уровень, а затем на более низкий).

Другой домен. Убедитесь, что все URL начинаются с того же домена, в котором хранится ваш файл Sitemap. Например, если файл расположен по адресу http://www.example.com/sitemap.xml, то недействительны следующие URL:

• http://example.com/ – отсутствует www в начале.
• www.example.com/ – нет префикса протокола (http).
• https://www.example.com/ – указан префикс протокола https вместо http.

Ошибка сжатия

Произошла ошибка при попытке восстановить сжатый файл Sitemap. Выполните повторное сжатие файла (например, с помощью gzip), после чего загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Исправьте это.

Превышен максимальный размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе Sitemap, а затем отправьте нам этот индекс.

Неверное значение атрибута

У атрибута в теге XML недопустимое значение. Проверьте файлы Sitemap и убедитесь, что в них есть все необходимые атрибуты с действительными значениями (согласно техническим требованиям к таким файлам), а также что отсутствуют опечатки.

Неправильно введена дата

Как минимум одна дата в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Введите все даты в одном из допустимых форматов W3C:

2005-02-21 
2005-02-21T18:00:15+00:00

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или ошибки, например имеет префикс htp:// вместо http://.

Убедитесь, что URL в файле Sitemap указаны в правильной кодировке и должным образом экранированы. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, будет ли загружена страница.

Неполные URL в файле индекса Sitemap

Для некоторых файлов Sitemap, перечисленных в файле индекса Sitemap, не указаны полные URL. Google выполняет поиск файлов Sitemap в том же каталоге, в котором находится индекс. Например, если индекс расположен по адресу http://www.example.com/folder1/sitemap_index.xml и указывает на файл sitemap.xml (без символа / впереди), то Google ищет этот файл Sitemap по адресу http://www.example.com/folder1/sitemap.xml. Если найти его не удается, показывается сообщение об ошибке.

Добавьте в индекс Sitemap полные URL всех нужных файлов Sitemap и отправьте его ещё раз.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

<url>
  <loc>http://www.example.com/</loc>
  <loc>http://www.example.com/page1.html</loc>
  <lastmod>2005-01-01</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
</url>

В сообщении об ошибке указываются тег и номер строки, в которой он находится. Удалите повторяющийся тег и отправьте файл Sitemap ещё раз.

Отсутствует атрибут XML

В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.

Отсутствует тег XML

В одной или нескольких записях в файле Sitemap отсутствует обязательный тег. В сообщении об ошибке указывается номер строки, с которой связана проблема. Сведения об обязательных тегах можно найти в этой статье.

Отсутствует URL значка видео

В некоторых записях о видео нет ссылки на значок. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех значков видео.

Отсутствует название видео

В некоторых записях о видео отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео.

Вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Зачастую это происходит из-за неэкранированных символов в URL. Во всех файлах XML в любых значениях данных (включая URL) необходимо экранировать символы &, ‘, «, <, > и некоторые другие. Проверьте, правильно ли выполнено экранирование в URL.

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться даже через несколько часов, отправьте файл Sitemap ещё раз.

Слишком много файлов Sitemap

В файле индекса упомянуто более 50 000 файлов Sitemap. Разделите его на несколько, в каждом из которых должно быть указано не более 50 000 файлов Sitemap.

Слишком много URL

В файле Sitemap упомянуто более 50 000 URL. Разделите его на несколько, в каждом из которых должно быть указано до 50 000 адресов. Для удобства можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:

• В файлах Sitemap должны быть правильные заголовки. Например, если файл содержит информацию о видео, заголовок должен быть следующим:

  <?xml version="1.0" encoding="UTF-8"?>
  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
          xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">

• Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
• Все атрибуты XML нужно заключать в одинарные (‘) или двойные («) кавычки, которые должны быть только прямыми. Обратите внимание, что текстовые редакторы, например Microsoft Word, могут автоматически менять кавычки на фигурные.

Несоответствующий путь: отсутствует префикс www

Путь к файлу Sitemap не содержит префикс www (пример: http://example.com/sitemap.xml), однако этот префикс есть в URL, которые перечислены в файле (пример: http://www.example.com/myfile.html).

Удалите префикс www из всех URL внутри файла.

Несоответствующий путь: имеется префикс www

Путь к файлу Sitemap содержит префикс www (пример: http://www.example.com/sitemap.xml), однако этого префикса нет в URL, которые перечислены в файле (пример: http://example.com/myfile.xml).

Добавьте префикс www во все URL внутри файла.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Ниже приведены примеры.

• Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
• Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
• Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
• Другие типы файлов Sitemap

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с объявления пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Указанная проблема не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандарту XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP [код ошибки]

При попытке скачать файл Sitemap произошла ошибка HTTP уровня 400. В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Общая ошибка HTTP

Произошла ошибка HTTP, которую невозможно отнести ни к одной из приведенных в этом списке. Вы можете воспользоваться инструментом проверки URL, чтобы воспроизвести ошибку, однако она может быть временной. Подождите немного и посмотрите, будет ли она повторяться при дополнительных попытках сканирования.

Слишком большой значок видео

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Слишком маленький значок видео

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Адреса видео и страницы воспроизведения совпадают

URL видео и страницы проигрывателя, указанные в файле Sitemap для видео, не должны совпадать. Если используются одновременно тег <video:player_loc> и тег <video:content_loc>, то URL в них должны различаться. Подробнее о том, как добавить в файл Sitemap информацию о видео…

URL видео указывает на страницу воспроизведения

URL в теге <video:content_loc> в файле Sitemap для видео указывает на страницу, где размещен проигрыватель. Подробнее о том, как добавить в файл Sitemap информацию о видео…

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt. Воспользуйтесь инструментом проверки URL, чтобы выяснить, на какой именно файл влияет блокировка доступа, и внесите в директивы robots.txt необходимые изменения.

Введите адрес XML Sitemap здесь:

167280

167280

Нравится этот инструмент? Оцените его!

4.7
(Проголосовало 1547 пользователей)

Вы уже проголосовали! Отменить

Воспользуйтесь этим инструментом, чтобы оценить его

Вы создали карту сайта, загрузили ее в Google Search Console, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковикиигнорирует ваш файл Sitemap и не собирается индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.

Если у вас еще нет карты сайта и вы хотите узнать, зачем она нужна, ознакомьтесь с нашим вводным интенсивом по созданию файла Sitemap. Здесь мы расскажем о преимуществах использования карты сайта и действенных рекомендациях по работе с ней. Если вы пока не знаете, для чего используют теги <loc> и <lastmod>, что такое карта сайта для видео или файл индекса Sitemap, вводное руководство вам точно пригодится.

В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.

Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковик проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.

После загрузки карты сайта в Google в столбце «Статус» можно увидеть, удалось ли поисковику обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно». В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы».

Проблемы со сканированием вашего файла Sitemap

Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено». 

В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.

Если Google не удалось получить вашу карту сайта, убедитесь, что ничто не блокирует доступ к файлу Sitemap — будь то директивы robots.txt или плагины CMS (да, иногда виноваты они!). Также проверьте, правильно ли введен URL-адрес карты сайта — обратите внимание на протокол и префикс www.

Ошибка «Не получено» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.

Ошибки в файле индекса Sitemap

Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.

Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.

Кроме того, в вашем файле индекса Sitemap не должны быть указаны другие файлы индекса Sitemap, а только карты сайта. Если вы сделаете так, то получите сообщение «Вложенные файлы индекса Sitemap» в Google Search Console.

И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.

Недопустимый размер файла Sitemap и ошибки сжатия

Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap. 

Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в консоли.

Я говорила, что допустимый размер карты сайта в несжатом виде должен быть меньше 50 МБ, но часто файлы Sitemap сжимают для экономии пропускной способности канала. Обычно для этой цели используют инструмент gzip, который добавляет расширение gz к файлу. Сообщение об ошибке сжатия или разархивирования в отчете означает, что что-то пошло не так во время процесса сжатия, и вам нужно сделать это еще раз.

Проблемы со сканированием URL-адресов в карте сайта

По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.

«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.

Еще одна довольно очевидная проблема, которая не позволяет Google сканировать страницу, — это код ответа, отличный от 200 ОК. В отчете поисковиков это называется ошибкой HTTP, и точный код указывается для каждой отдельной страницы. Кроме консолей вебмастеров, проверить коды ответа URL-адресов из вашей карты сайта можно с помощью инструмента «Аудит сайта» от SE Ranking.

Всю необходимую информацию ищите в разделе «Код ответа сервера».

Google также выделяет другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.

Ошибка «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.

Ошибка «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.

Google Search Console не указывает, что именно может быть причиной проблемы. Поэтому вам нужно использовать другие инструменты, чтобы понять, какие ошибки необходимо исправить. Например, в инструменте «Аудит сайта» SE Ranking есть специальный раздел «Редиректы», где можно проверить, есть ли на вашем сайте какие-либо проблемы с перенаправлениями.

Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.

Ошибка «Нельзя использовать URL» означает, что ваша карта сайта содержит URL-адреса, которые находятся на более высоком уровне или в другом домене по сравнению с файлом Sitemap. Например, если ваша карта сайта находится по адресу: vashsajt.com/category1/sitemap.xml и вы добавили в нее страницу, адрес которой: vashsajt.com/stranitsa1, поисковики не смогут получить к ней доступ.

Что касается разных доменов, помните, что для Google версии сайта на HTTP и HTTPS, а также с www и без www считаются разными. Поэтому, если ваша карта сайта находится по адресу http://www.vashsajt.com/sitemap.xml, URL вида https://vashsajt.com/stranitsa1 будет считаться некорректным. 

Если вы недавно перешли на HTTPS, обязательно создайте новую карту сайта с HTTPS URL-адресами. Инструмент «Аудит сайта» SE Ranking напомнит вам об этом.

Google считает, что вы указали неправильные URL

Также стоит обратить внимание на еще одну ошибку, которую выделяет Google. Если вы добавите URL без префикса www в свою карту сайта, адрес которой содержит www, вы получите ошибку «Несоответствующий путь». То же самое касается файла Sitemap с www и URL-адресом без соответствующего префикса. Даже если ваш сайт доступен как с префиксом www, так и без него, не нужно путать эти вещи в карте сайта. Если ваш файл Sitemap находится по адресу: https://example.com/sitemap.xml, ни один из URL-ов, которые она содержит, не должен включать www. Если ваша карта сайта находится по адресу: https://www.example.com/sitemap.xml, все перечисленные в ней URL-ы должны включать www.

Синтаксические ошибки в карте сайта

В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок. 

• «Недопустимое значение тега». Значение тега — это то, что вы указываете между начальным и конечным тегами — URL-адрес между тегами <loc>, или дата, которую вы определяете с помощью тега <lastmod>. Ошибка возникает, когда вы указываете недопустимое значение в карте сайта, например, устанавливаете приоритет вне диапазона от 0,0 до 1,0.
• «Неверное значение атрибута». Значение атрибута указывается после знака равенства (=) в кавычках. В следующей строке кода перечислены различные языковые версии страницы в файле Sitemap.

<url><loc>https://example.com</loc><xhtml:link rel=”alternate” hreflang=”gb” href=”https://example.com”/><xhtml:link rel=”alternate” hreflang=”fr” href=”https://example.com/fr”/></url>

Здесь “alternate”, “gb” и “fr” являются значениями атрибутов, но “gb” используется неправильно. Вы не можете указать в hreflangs только код страны — он должен сочетаться с кодом языка, например, “en-gb”.

• «Неправильно введена дата». Все довольно просто — вы использовали неправильный формат даты для тега <lastmod>. Единственный допустимый формат:

2005-02-21 
2005-02-21T18:00:15+00:00

• «Недопустимый URL». Как вы могли догадаться, эта ошибка означает, что нужно искать опечатки в добавленных URL-адресах. Напомню, что все URL-ы в вашей карте сайта должны быть абсолютными.
• Ошибки «Отсутствует атрибут XML» и «Отсутствует тег XML» тоже довольно очевидны. Отсутствие обязательных тегов и атрибутов (urlset, url, loc, xmlns) недопустимо — их нужно добавить, чтобы ваша карта сайта работала должным образом.
• «Недопустимый XML: слишком много тегов». Эта ошибка может возникнуть, если вы используете один из тегов несколько раз. Например, вы указали два разных адреса или две даты изменения для одного URL. В этом случае вам необходимо удалить повторяющийся тег.

<url>
<loc>http://www.example.com/</loc>
<lastmod>2021-01-01</lastmod>
<lastmod>2021-02-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>

• «Неправильно указано пространство имен». Пространство имен, указанное в вашем теге <urlset>, должно быть одним из принятых протоколов. В настоящее время используется следующий протокол:

Обычные файлы Sitemap — xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9”

Файлы Sitemap для новостей — xmlns:news=”http://www.google.com/schemas/sitemap-news/0.9″

Файлы Sitemap для видео — xmlns:video=”http://www.google.com/schemas/sitemap-video/1.1″

Файлы Sitemap для изображений — xmlns:image:=”http://www.google.com/schemas/sitemap-image/1.1″

Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.

Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8.

Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.

Чтобы избежать синтаксических ошибок, перед отправкой файла Sitemap используйте один из сервисов проверки карты сайта, подобных этому. Инструменты будут выделять проблемы, которые необходимо исправить.

После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.

Такие действия заставят Google повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.

Загруженные vs проиндексированные URL-адреса

Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.

Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.

Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.

Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта. 

Все подобные ошибки можно найти в разных вкладках «Отчета об индексировании» в Google Search Console. Но их удобнее проверять с помощью инструмента «Аудит сайта» SE Ranking — если на вашем сайте есть подобные проблемы, вы легко найдете их все в разделе «Сканирование» в «Отчете об ошибках».

Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.

Оптимизируйте карту сайта с подсказками от Google

Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.

• На вкладке «Без ошибок, есть предупреждения» обратите внимание на страницы, которые были проиндексированы, несмотря на директиву noindex. Скорее всего, Google был прав, и вам нужно удалить тег noindex из этих страниц или из вашего X-Robots-Tag.
• На вкладке «Страница без ошибок» посмотрите внимательно на проиндексированные, но не отправленные в файл Sitemap страницы — вы можете добавить их в карту сайта, так как Google считает их качественными. В то же время, если Google проиндексировал ваше «Пользовательское соглашение», которое вы не включили в карту сайта, можно ничего не делать. Также следите за дублями страниц, которые были проиндексированы, но отсутствовали в вашей карте сайта — такие случаи часто возникают из-за проблем с пагинацией и обработкой параметров URL-адресов.
• Наконец, перейдите на вкладку «Исключено». Большинство страниц здесь исключены из индексации в соответствии с вашими собственными директивами, например старые страницы 404, страницы, заблокированные robots.txt, неиндексируемые и неканонические страницы. Обратите внимание на канонические страницы, которые Google решил не индексировать, — поисковая система считает, что на вашем сайте есть альтернативы получше. Тщательно изучите каждый случай и решите, действительно ли страница более ценна, чем ее дубли — исправьте свои теги canonical, если Google был прав. Если вы по-прежнему считаете, что страницу нужно проиндексировать, вам придется поработать над ее содержанием, профилем бэклинков и внутренней линковкой, чтобы убедить Google в обратном.

На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.

Заключение

Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.

Я надеюсь, что это руководство помогло вам исправить каждую ошибку в отчете о файле Sitemap. А воспользовавшись советами из второй части этого руководства, вы сможете оставить в карте сайта только качественные страницы и убрать все те, которые поисковики все равно не захотят индексировать. Если у вас остались вопросы, не стесняйтесь оставлять их в комментариях ниже.

Даша — контент-маркетолог и редактор в SE Ranking. Пишет статьи о SEO и диджитал-маркетинге. Любит разбираться в сложных вещах и описывать их просто и доступно. В свободное от блога время Даша путешествует, изучает искусство фотографии и посещает картинные галереи.

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google.
Подробнее о файлах Sitemap…

1. Выберите подходящий формат файла Sitemap.
2. Создайте файл Sitemap автоматически или вручную.
3. Убедитесь, что у Google есть доступ к файлу Sitemap.

Форматы файлов Sitemap

В Google поддерживается несколько форматов файлов Sitemap:

• XML
• RSS, mRSS и Atom 1.0
• Текстовый

Во всех форматах следует использовать стандартный протокол. В настоящее время Google не учитывает в файлах Sitemap тег <priority>.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать и отправить в Google индекс Sitemap, который содержит данные об отдельных файлах Sitemap.
При необходимости можно отправить несколько файлов и/или индексов Sitemap.

XML

Вот пример простого XML-файла Sitemap с одним URL:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

Также предлагаем изучить примеры файлов Sitemap с указанием версий страниц на разных языках и файлов для новостей, изображений и видео.

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap.
Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды предоставляют информацию только о последних URL.

• Google поддерживает фиды RSS 2.0 и Atom 1.0.
• Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).

Текст

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

https://www.example.com/file1.html
https://www.example.com/file2.html

Правила создания текстовых файлов Sitemap

• Необходимо использовать кодировку UTF-8.
• В файл Sitemap можно добавлять только URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Файлы Sitemap с расширенным синтаксисом

Google поддерживает расширенный синтаксис файлов Sitemap для перечисленных ниже MIME-типов. С помощью дополнительных элементов можно описывать видео, изображения и другой плохо поддающийся анализу контент, чтобы они лучше индексировались.

• Видео
• Изображения
• Google Новости

Общие рекомендации в отношении файлов Sitemap

• Указывайте полные URL, используя один и тот же синтаксис. Google будет сканировать в точности те URL, которые вы перечислите.
  Например, если адрес сайта – https://www.example.com/, не указывайте URL https://example.com/ (без www) или ./mypage.html (относительный).
• Файл Sitemap может быть размещен в любой части сайта, но влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.
• Не указывайте в добавляемых URL идентификаторы сеансов или иные идентификаторы, относящиеся к пользователям. Это может привести к избыточному сканированию страниц.
• Отмечайте иноязычные версии страницы атрибутом hreflang.
• Файлы Sitemap должны создаваться в кодировке UTF-8, а в URL необходимо применять экранирование.
• Разбивайте большие файлы Sitemap на файлы поменьше. Файл Sitemap может содержать до 50 000 URL и не должен занимать больше 50 МБ в несжатом виде. Вместо отдельных файлов Sitemap отправляйте в Google их индекс.
• Включайте в файлы Sitemap только канонические URL. Если у вас несколько версий страницы, укажите только ту, которая должна появляться в результатах поиска. Если у вас несколько версий сайта (например, с префиксом www и без него), выберите основную и разместите файл Sitemap в ней, а на страницы другого сайта добавьте атрибут rel=canonical или реализуйте на них переадресацию.
• Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них. Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.
• Используйте файлы Sitemap с расширенным синтаксисом для указания дополнительных MIME-типов, например изображений, видео и новостей.
• Если существуют версии страницы на других языках или для других регионов, вы можете указать их с помощью атрибута hreflang в файле Sitemap или тегах HTML.
• Символы помимо букв латинского алфавита и цифр требуют особого обращения.
  Файл Sitemap обязательно должен быть в кодировке UTF-8 (обычно ее можно выбрать при сохранении). Как и в любых других XML-файлах, при вводе значений (включая URL) необходимо экранировать символы в соответствии с приведенной ниже таблицей. Файл Sitemap может содержать только символы ASCII. В нем не должно быть расширенных символов ASCII, определенных управляющих кодов и специальных символов, таких как * и {}. Если они есть в URL, то при попытке добавить файл появится сообщение об ошибке.
  

  Название	Символ	Код экранирования
  Амперсанд	&	&
  Одинарные кавычки	'	'
  Двойные кавычки	"	"
  Больше	>	>
  Меньше	<	&lt;

  Кроме того, все URL (включая адрес вашего файла Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

  Пример URL, где есть символ, не относящийся к кодировке ASCII (ü), а также символ, который требует экранирования (&):

  https://www.example.com/ümlat.html&q=name

  Этот же URL в кодировке ISO 8859 и с примененным экранированием:

  https://www.example.com/%FCmlat.html&q=name

  Этот же URL в кодировке UTF-8 и с примененным экранированием:

  https://www.example.com/%C3%BCmlat.html&q=name

• Мы не гарантируем сканирование каждого URL, указанного в файле Sitemap. Такие файлы лишь помогают Google определить, какие страницы вы считаете важными.
• Значения в тегах <priority> и <changefreq> игнорируются.
• В Google используется значение в теге <lastmod>, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).
• Позиция того или иного URL в файле Sitemap не важна. Google сканирует URL, не учитывая их порядок в этом файле.

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

• Файл Sitemap можно сгенерировать с помощью системы управления контентом.
• Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
• Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в Google Поиске запрос «wix sitemap».

В остальных случаях вам потребуется создать файл Sitemap самостоятельно.

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно создать вручную.
Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить данные в новый файл. При этом нужно использовать синтаксис, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.

Вручную можно создавать и крупные файлы Sitemaps, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.

Как создать файл Sitemap автоматически с помощью инструментов

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов,
но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Не забывайте про требования к размерам файлов Sitemap.
Подробнее об управлении крупными файлами Sitemap…

Как сделать файл Sitemap доступным для Google

Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, сообщите нам, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.

Если вы обновляли страницы, включенные в такой файл, отметьте их с помощью поля <lastmod>.
В XML-файлах других типов есть аналогичные поля (например, в Atom XML это поле <updated>).
Подробнее о том, как определить нужную дату…

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

• Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap.
  Благодаря этому вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
• Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
• Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен:

  https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP

  Пример:

  https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

• Вставьте в любом месте файла robots.txt строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:

  Sitemap: https://example.com/my_sitemap.xml

• Если вы используете Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, сделайте это с помощью протокола WebSub.

Файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте.

Устранение неполадок, возникающих при обработке файлов Sitemap

Ознакомьтесь с этим руководством.

Сервисы для проверки файла sitemap.xml онлайн

1. Анализатор файлов Sitemap от Яндекс.Вебмастер.
2. Проверка файла XML Sitemap от Websiteplanet.
3. Сервис Mysitemapgenerator.
4. Проверка от Pixelplus.
5. Сервис Sitemap-checkers.

Перечисленные SEO-инструменты работают онлайн и помогают проверить карту сайта совершенно бесплатно. Прежде чем приступать к проверке, убедитесь, что файл sitemap.xml доступен и возвращает ответ с кодом 200 ОК.

№1. Анализатор файлов Sitemap от Яндекс.Вебмастер

В панели Вебмастер от Яндекса есть встроенный инструмент для проверки содержимого sitemap. Чтобы воспользоваться им, необходимо войти в свой Яндекс ID или зарегистрироваться. В сервисе можно сделать анализ тремя способами: вставить содержимое файла текстом, загрузить саму карту в формате XML или ввести адрес ее расположения.

№2. Проверка файла XML Sitemap от Websiteplanet

В этом валидаторе XML-карты проверить файл можно только через указание ссылки. Проходить регистрацию здесь не требуется. Просто вводите адрес и нажимаете «Проверить!». Онлайн-сервис ищет ошибки сжатия, проблемы с ответами сервера, некорректно работающие урлы и др.

№3. Сервис Mysitemapgenerator

Здесь можно проанализировать XML-файл бесплатно и без регистрации: введите веб-адрес карты или добавьте ее, нажав кнопку «Загрузить файл». После этого кликните «Старт» и дождитесь окончания проверки. Сервис изучит соответствие протоколу и проведет диагностику ошибок в структуре XML.

№4. Проверка от Pixelplus

Инструмент Пиксель Тулс является условно бесплатным: чтобы сделать проверку sitemap, нужно зарегистрироваться и оплатить 1 рубль. Таким образом вы получите доступ ко всем внутренним сервисам на 30 дней, включая XML-валидатор. Анализ можно провести по ссылке или с помощью загрузки файла. Результаты можно будет скачать в формате CSV.

№5. Сервис Sitemap-checkers

Специализированный сервис для анализа содержимого sitemap.xml. Регистрация не нужна — вводите URL карты и нажимаете «Check». Инструмент взвесит файл, проверит код ответа сервера, отыщет невалидные данные.

Заключение

Чаще всего веб-мастера поручают создание sitemap специальным сервисам, которые формируют файл автоматически. Но ошибки могут быть в самих страницах, поэтому проверять валидность XML-карты рекомендуется после каждого обновления.

Сервисы для проверки файла sitemap.xml онлайн
№1. Анализатор файлов Sitemap от Яндекс.Вебмастер
№2. Проверка файла XML Sitemap от Websiteplanet
№3. Сервис Mysitemapgenerator
№4. Проверка от Pixelplus
№5. Сервис Sitemap-checkers
Заключение

XML Sitemap помогает роботам поисковых систем ориентироваться в структуре и страницах сайта. Некорректно составленная карта может привести к проблемам с индексированием. Наш инструмент анализирует Sitemap: проверяет валидность, находит ошибки.

Для чего используют валидатор Sitemap

Карта сайта содержит важную для поисковиков информацию:

список всех URL;

общая структура, иерархия, приоритетность;

информация о проиндексированных картинках и видеодокументах.

Сервис «Анализ XML-карты сайта» анализирует корректность составления Sitemap, находит ошибки, проверяет количество ссылок, проиндексированных страниц и изображений, размер файла. Отдельная опция — проверка кода ответа каждого документа.

Вариативность онлайн-проверки

Для удобства можно менять настройки, для этого нужно отметить нужные опции:

Как пользоваться инструментом

Если карта уже загружена на сайт, укажите ссылку. Если нет, передвиньте переключатель и загрузите файл в сервис.

Отметьте нужные опции: анализ кодов ответа сервера, скачивание результатов.

Нажмите на кнопку «Анализировать».

Анализ выполняется в фоне, проверка может продолжаться несколько минут.

Если карта сайта содержит ошибки, сервис указывает на них. А также показывает, какие URL отдают некорректный ответ. Эта информация помогает настроить Sitemap так, чтобы она ускоряла индексацию, способствовала SEO-продвижению сайта, росту поискового трафика.

Результаты проверок сохраняются в сервисе.

Инструмент работает на PRO-тарифах. Можно запускать до 5 параллельных проверок. За проверку списываются лимиты: 25 лимитов за каждую анализируемую XML карту. Опция «Анализировать коды ответа указанных URL» — 1 лимит за каждый URL из XML Sitemap.

Преимущества сервиса

Быстро и точно проверяет корректность Sitemap.

Проводит более подробный анализ, чем Яндекс.Вебмастер: проверяет наличие ошибок, размер файла, количество ссылок, считает документы в Яндексе и Google.

Анализирует коды ответа сервера, находит коды, отличные от 200.

Сохраняет предыдущие результаты проверки карты.

Инструмент полезен вебмастерам и SEO-специалистам при настройке нового или действующего сайта. Проверить карту необходимо при проблемах с индексацией сайта. Это обязательная часть технического аудита.