Анализ сайта на ошибки 404

У вас может быть очень крутой сайт. Качественный, с интересным контентом, с полезными товарами. Дизайном шикарным и удобным меню. Но если на нем есть битые ссылки (особенно если их много), это автоматически делает его подозрительным в глазах поисковых роботов и создает дурное впечатление о ресурсе со стороны посетителей. Такого допускать нельзя. Ваш прекрасный сайт должен быть прекрасным во всем. И мы этого добьемся.

Что такое битая ссылка?

Битая ссылка — это страница на сайте, которую нельзя открыть. Ее не существует. Когда потенциальный посетитель пытается на нее попасть, то получает в ответ ошибку. Это может быть ошибка 404 Not Found или 400 Bad Request. Или без кода вовсе: Timeout, Empty, Reset. Зависит от настроек конкретного ресурса. Оболочка разная, а смысл один и тот же. Сервер говорит, что искомой страницы здесь нет.

Такие ссылки еще изредка называют «мертвыми». Они возникают по нескольким распространенным причинам:

1. В адресе страницы допущена ошибка. Неправильно написано слово или не хватает какого-то символа. Или не настроены алиасы.
2. Структуру сайта недавно кардинально поменяли, не настроив при этом перенаправление со старых ссылок.
3. Ссылки на сторонний контент на странице удалили или каким-либо образом «сломали».
4. В коде сайта затесались ошибки. В HTML или в JavaScript. Может быть, это сбой в CMS.

Чем опасны битые ссылки?

Есть две неподтвержденные теории и один солидный факт, подтверждающие серьезную угрозу со стороны битых ссылок.

Первая теория такая. Считается, что поисковые роботы Google и Яндекс не любят битые ссылки. Заприметив оные, поисковики решат, что сайт уже давно бросили или сделали так криво, что и стыдно его людям показывать. В связи с этим, позиции ресурса в Google и Яндекс заметно «просядут». Но никто еще не доказал, что это так.

Вторая теория. Якобы битые ссылки расходуют краулинговый бюджет — объем страниц, который поисковики сканируют за определенный период времени. Здесь вмешался представитель Google и сказал, что появление 404 ошибки никак не повлияет на краулинговый бюджет.

А вот что реально важно, так это отношение посетителей к сайту с битыми ссылками. На таких долго не задерживаются. Обычно 404 Not Found говорит о том, что надо бы перейти на главную страницу и воспользоваться поиском. Но всем плевать. Человек просто вернется в Google и будет искать ресурс с рабочими ссылками. Все. Вы потеряли своего посетителя.

Из-за этого вырастет доля отказов. А это не только упущенная аудитория, но и проблемы с ранжированием. Поисковик простит вам битую ссылку, но не простит визитер, который провел на сайте всего секунду и неожиданно убежал.

Как разыскать все битые ссылки на сайте?

Никто не будет сидеть и тыкать во все ссылки на сайте, чтобы найти битые. Тем более, если такие есть на чужих ресурсах. Поиском мертвых страниц занимаются специальные веб-сервисы и приложения. Кому что удобнее.

Я бы советовал не останавливать выбор на чем-то одном. Бывает так, что один сервис отображает неполную информацию. Это как с антивирусами. В тандеме находят больше угроз, чем по одиночке.

Google Search Console

Официальная панель управления Google отлично справляется с поиском битых ссылок. Так что можно отлавливать 404-е с помощью нее. Надо только подтвердить свои права на домен, а потом открыть пункт меню «Покрытие».

Яндекс.Вебмастер

Аналогичная функция есть в Яндексе. В их Вебмастере есть раздел «Ссылки», где можно взглянуть на все поломанные. Только вот здесь есть сложности с экспортом отчета. Раньше не было удобного способа вытащить все данные об ошибках, чтобы потом их устранить. Сейчас можно скачать TSV-файл с 10 000 битых ссылок. Кому-то даже этого будет мало.

Xenu

Это старая программа, но отчеты из нее многие до сих пор считают эталонными. Xenu предоставляет информацию бесплатно, поэтому можно попробовать самостоятельно и без финансовых потерь.

• Поддерживает страницы с шифрованием.
• Работает быстрее большинства аналогов.
• Может обнаружить перенаправления.
• Позволяет делать повторные проверки.

Broken Link Checker

Это даже не отдельная программа, а плагин для WordPress. Дико популярный и полезный. Из плюсов можно выделить то, что он бесплатный и встраивается в WordPress. А из минусов — то, что он не всегда работает корректно и сложно настраивается. Часто приходится запускать модуль по несколько раз, чтобы был какой-то прок. Но другие дополнения к WordPress подобного рода оказываются еще хуже.

Netpeak Spider

Это дорогой и сложный инструмент для скрупулезного SEO-аудита. Он справляется с поиском сломанных страниц, но создавался для решения более широкого круга задач. Скорее всего, его покупка себя полностью не оправдает. Но функциональность хвалят, да.

Dead Link Checker

Платный онлайн-сервис для поиска ошибок 404 на ресурсе. Работает по подписке. То есть платите 10$ в месяц и получаете возможность отсканировать до 50 000 ссылок. Когда есть бесплатные альтернативы, кажется, что это не самый лучший выбор. Но я его не тестировал. Возможно, он творит какие-то чудеса и находит то, что не способны найти конкуренты.

Есть еще с десяток подобных приложений и сайтов, но они так себе. Либо работают чересчур медленно, либо стоят неадекватно дорого.

Нашел все битые ссылки, что дальше?

То, что нашли, уже хорошо. Только теперь надо их исправить. Будем действовать по следующей схеме действий:

• Разберем все ссылки.
• Категоризируем их.
• И исправим все ошибки.

Анализируем ссылки

Сначала надо организовать данные, полученные из сервисов по поиску битых ссылок. Надо понять, почему те или иные ссылки поломаны. Например, если дело в опечатке, то проще всего исправить эту самую опечатку в коде сайта. Если страницы больше не существует, то надо удалить ссылку и добавить заглушку с соответствующим сообщением. Мол, «410 Gone, ребята, странички не будет». А если вы недавно переехали на другой домен, то самым адекватным решением будет — настроить массовый редирект.

Поэтому для начала можно создать такую простенькую табличку:

Мертвая ссылка	Количество посещений	Редирект сюда
kakaya-to-statya.net	17	kakaya-to-statya.blog.net
sayt-s-opechatkay.ru	12	—
sayt-s-opecahtloy-2.ru	1	—

На ней сразу будет видно ссылки, которым нужен редирект, ссылки, для которых стоит заморочиться с исправлением опечаток, и те, о которых можно забыть.

Но это, конечно, исключительно пример. Вы можете организовать полученную информацию, как вздумается.

Исправляем опечатки

Опечатки бывают двух типов. Те, что допустили вы как владелец сайта. И те, что допускают посетители, надумавшие зайти к вам вручную, указав адрес страницы (страшные люди). Какие опечатки стоит исправлять и так понятно. Те, что допустили сами.

Но есть еще один момент. Если по ссылке с опечаткой пытаются пройти регулярно, то имеет смысл настроить перенаправление на правильную страницу. Или сделать вариант с опечаткой рабочей альтернативой для самых настойчивых.

Настраиваем редирект

Теперь займемся ссылками, которые по-вашему мнению нуждаются в перенаправлении.

Тут и пригодится таблица, которую я описал выше. Наглядно показано, что и куда должно переехать.

Расскажу, как можно сделать 301 редирект в CMS WordPress и с помощью файла .htaccess

WordPress

• Открываем вкладку «Инструменты»

• Переходим в подпункт «Плагины».
• Кликаем по поисковому полю.
• Ищем плагин Redirection и устанавливаем его.

В поисковике будут и другие плагины, с помощью которых можно настроить редирект. Можете попробовать их. Это уже дело вкуса.

• Потом снова открываем вкладку «Инструменты».
• Переходим к настройкам плагина «Перенаправления».
• Нажимаем на Add new redirection.

• Указываем Source URL (ссылку, с которой надо перенаправить).
• А потом Target URL (куда надо перенаправить).
• И сохраняем заданные параметры.

Ну и так придется повторять до тех пор, пока все ссылки, нуждающиеся в перенаправлении, не получат его. Эти задачи нередко достаются верстальщикам на аутсорсе или «разнорабочим» с UpWork и других бирж.

Как сделать массовый редирект

При переезде на новый домен вручную делать редирект всех битых ссылок — это нерациональный адский труд. Поэтому проще воспользоваться массовым редиректом. Делаем следующее:

• Открываем сайт для генерации файла .htaccess с настроенным перенаправлением.
• Ставим галочки напротив пунктов Mass Redirect to another Domain и 301 Redirect URLs.

• Напротив первого вписываем название сайта.
• Напротив второго домен, с которого нужно перенаправить пользователей, и домен, на которой надо перенаправить.
• Нажимаем на кнопку Generate .htaccess в нижней части страницы.

• Потом копируем сгенерированный код и вставляем его в файл .htaccess на сервере.

Впрочем, так можно сгенерировать код для любого типа перенаправлений.

Что делать с битыми ссылками на чужих сайтах?

Теперь вы знаете, что делать со страницами, которые убили сами и к которым у нас есть доступ. Проблематичнее дела обстоят с чужими сайтами, где есть ссылки на ваш ресурс. Они тоже подвержены опечаткам и переезду. Тоже будeт ошибка. Но дело поправимое.

Попросим владельца сайта поменять ссылку

Это, наверное, до боли очевидное решение. Просто постучите владельцам сайта, на котором лежит битая ссылка на ваш ресурс. Попросите их исправить опечатку или указать в материале обновленный адрес. Если удастся с ними связаться, то больше ничего делать и не придется. Все поправят за вас. Но шансы, что вас проигнорируют ощутимо выше.

Настроим редирект с битой ссылки на рабочую

Работает так же, как и в случае со своими ссылками. Просто настройте редирект, чтобы пользователь оказался в нужном месте. Для этого не надо ни с кем связываться и ждать ответа. Настраиваем перенаправление удобным способом и радуемся.

Заново создаем пропавшую страницу

Если уже успели удалить страницу, на которую ведет битая ссылка, то можно создать ее заново. Добавьте туда аналогичный контент. Или тот же, что был раньше. Это может пригодиться, если с чужой страницы приходит большое число посетителей.

Настроим редирект на похожую страницу

Может, контент на уже несуществующей странице устарел? Подумайте, возможно, у вас есть страничка с похожей информацией. Будет хорошей идеей настроить редирект на нее. Тогда и вы ничего не теряете, и посетитель получит то, чего ждет.

И бонусом делаем кастомную страничку 404

Тоже хороший вариант. Сделайте страницу с ошибкой 404 более привлекательной. Оригинальной, что ли. Добавьте картинку, анимацию. Не плоскую шутку. А самое главное, ссылку на главную страницу или на встроенный поисковик. Так вы в десятки раз повысите вероятность, что пользователь останется на вашем сайте, а не ретируется, заметив страшные черные буквы — Not Found.

Можно испробовать все описанные способы в том же порядке. Не ответил владелец чужого сайта? Пилите редирект. Не подходит вариант с редиректом? Так хотя бы сделайте нормальную страничку с ошибкой. Это уже что-то.

Выводы

Итак, еще раз:

• Битые ссылки — поломанные страницы, отзывающиеся ошибками 400 и 404.
• Они портят жизнь посетителям вашего сайта. Так что придется принимать какие-то меры.
• Их несложно найти с помощью бесконечного количества сайтов и программ, заточенных под эту задачу.
• И есть ворох путей исправления ситуации, независимо от того, почему появились проклятые битые ссылки.

Думаю, на этом и закончим. Спасибо.

Битая ссылка — неработающая, ведет на несуществующую страницу на сайте. При переходе по такой посетитель увидит сообщение об ошибке. (Говоря техническим языком, сервер отправит код ответа 404 «Not found».)

Битые ссылки могут появиться из-за банальной ошибки при написании, а также страниц, которые раньше существовали, а потом были удалены или перенесены.

Вот что Click.ru сообщает при попытке перехода на несуществующую страницу

А вот что отвечает Amazon

Бывает и такой креативный подход (Convert Monster)

Главная проблема в том, что битые ссылки ухудшают поведенческие факторы сайта, влияющие на успех SEO-продвижения. Потому что не все посетители настойчивые и терпеливые: многие могут просто уйти, если возникают сложности с навигацией. К тому же избыток broken links — риск попасть под один из фильтров Google.

Рассказываем о 11 способах найти нерабочие ссылки на сайтах. Дальше дело будет за малым: останется вручную поправить их через панель управления или настроить 301 редирект.

Вебмастеры Яндекса и Google

В отчетах обоих этих официальных инструментов можно увидеть, сколько на сайте сломанных ссылок и где они находятся.

В Google Search Console: «Индекс» → «Покрытие» → «Ошибка 404». В Яндекс.Вебмастере: «Индексирование» → «Статистика обхода», а также «Ссылки» → «Внутренние ссылки».

Пример отчета Яндекс.Вебмастера по удаленным ссылкам

Естественно, этот способ проверки работает, только если есть права доступа к сайту. Чужой ресурс не получится проанализировать таким образом.

Читайте также: 26 полезных функций «Яндекс.Вебмастера»

Системы веб-аналитики

Самые популярные счетчики веб-аналитики тоже могут помочь обнаружить проблемы с работоспособностью ссылок.

Само по себе количество ошибочных переходов (на страницу 404) можно увидеть в отчетах:

• Яндекс.Метрики: «Содержание» → «Заголовки страниц».
• Google Analytics: «Поведение» → «Контент сайта» → «Все страницы» (выбрать параметр «Название страницы»).

Важно: при условии, что 404-страница имеет отличный от других title. Еще она, скорее, будет выделяться и в отчетах «Страницы выхода». Там как раз можно увидеть, насколько битые ссылки ухудшают юзабилити сайта.

В конструкторе Nethouse, например, заголовок 404 страницы по умолчанию выглядит так. По нему можно увидеть нерабочие URL

Кстати, с помощью Click.ru вы можете спарсить метатеги и заголовки с любого сайта. Первые 500 запросов — бесплатно. Дальше от 0,04 р. за запрос.

Отследить, где именно находится битая ссылка, немного сложнее. В Яндекс.Метрике для этого нужно:

1. Создать цель JavaScript-событие с идентификатором типа «error404», название сделать таким же.

2. Добавить в код страницы (XXXXXX — номер счетчика):

<script>
window.onload = function (){
ym(XXXXXX, 'reachGoal', 'error404');
}
</script>

3. Отслеживать в отчетах достижения этой цели по параметру «Страница входа».

Можно будет выбрать группировку по «Страница входа» и добавить метрику — «Целевые визиты» по указанному ID. Отчет покажет страницы, на которых срабатывала ошибка 404.

В Google Analytics можно сделать похожим образом, с помощью событий, или настроить специальный отчет (для этого проще взять шаблон Якова Осипенкова).

Пример отчета по битым внутренним ссылкам. «Страница» как раз показывает URL, который вызвал ошибку. (Для проверки внешних ссылок есть другой шаблон).

Эти фильтры Google Analytics тоже работают только в том случае, если 404-страница имеет уникальный заголовок (title).

Читайте также: 20+ ресурсов для обучения веб-аналитике: блоги, курсы, каналы, сообщества, рассылки

Сервисы комплексного SEO-анализа

Другой способ проверить сайт на битые ссылки — воспользоваться одним из сервисов для SEO-аудита.

Netpeak Spider предлагает найти не только broken links, но и дубли метатегов; проверить код сервера сервера, структуру сайта, редиректы, индексацию и др. Мощная фича: встроенный парсер для извлечения данных с различных ресурсов. Подписка стоит от 15 $ в месяц, есть бесплатный тариф.

Пример аудита от Netpeak Spider

Serpstat анализирует и битые ссылки, и битые картинки. И много чего еще делает: мониторит ссылочную массу, показывает ошибки в заголовках и метатегах, показывает позиции сайта в поисковиках и т. д. Подписка стоит от 55 $ в месяц, есть демо-доступ.

Так выглядит отчет Serpstat по URL с ошибками 404

Screaming Frog SEO Spider сканирует сайт и находит нерабочие ссылки, дубли, ошибки в метаданных, показывает структуру, анализирует редиректы, директивы и др. Лицензия на программу стоит 149 евро в год, однако поиск битых ссылок есть и в бесплатной версии.

Обзор 10 версии Screaming Frog

SEO Analysis & Website Review by WooRank отображает тайтл, дескрипшн и сниппет в Google, проверяет валидность Sitemap, мобильность, юзабилити, структурированные данные — и, конечно, битые ссылки тоже. Это расширение для Chrome, и оно бесплатное. (Правда, в отличие от других, подойдет только для небольших сайтов, так как надо анализировать постранично, вручную).

Оценка ссылок на странице от SEO Analysis & Website Review

Кстати, анализ битых ссылок может входить в функционал сервисов автоматизации рекламы и сквозной аналитики. Например, такая возможность есть у Alytics, Marilyn.

Специализированные инструменты

Вебмастерские, системы веб-аналитики, сервисы комплексного SEO-аудита не подходят — есть более узкие инструменты, заточенные чисто под поиск битых ссылок.

Xenu’s Link Sleuth — старая-добрая программа, проверяет сайты на наличие «сломанных» ссылок. Впрочем проверяет не только ссылки, но и изображения, фреймы, плагины, скрипты. Инструмент полностью бесплатный.

Так выглядит отчет Xenu’s Link Sleuth

Badlinks — онлайн-сервис, который предлагает как разовую, так и регулярную проверку «плохих» ссылок на сайте. Разовая стоит от 50 рублей, регулярная — от 250 рублей в год. Стоимость сильно варьируется, так как зависит от частоты анализа и размера сайта. Бесплатный поиск ограничен 10 страницами.

Так выглядит бесплатный отчет от badlinks.ru (хорошо видно, как всеми силами уговаривают пройти полную платную проверку)

Check My Links — расширение Chrome для поиска нерабочих ссылок на странице. Есть возможность скопировать весь список в буфер обмена, не учитывать ссылки на определенные домены, включить отслеживание nofollow. Инструмент абсолютно бесплатный.

Так выглядят результаты поиска в Check My Links (кстати, еще плагин подсвечивает их на самой странице)

Если работаете с Google Ads, обратите внимание на скрипт, который сканирует все посадочные страницы и сообщает о битых ссылках на почту. О других скриптах и том, как с ними работать, — в блоге Click.ru.

Читайте также: 35+ ресурсов для обучения SEO и развития в профессии

Поиск битых ссылок на сайте

Для чего предназначен сервис проверки «битых» ссылок?

Битые (неработающие) ссылки – это гиперссылки, которые ведут к несуществующим файлам или страницам сайта. Битые ссылки могут негативно влиять на юзабилити и ранжирование вашего сайта. Инструмент проверки битых URL позволяет искать все «мертвые» ссылки (отдающие ответ сервера «404 error not found») на вашем веб-сайте.

Как найти неработающие ссылки

Регулярная проверка качества битых ссылок необходима для эффективного продвижения сайта. С помощью нашего онлайн-инструмента вы можете бесплатно проверить до 500 страниц сайта и получить подробный отчет о наличии неработающих ссылок.

Неработающие (битые) ссылки – это URL-адреса, которые ведут пользователя на заблокированные или неактивные страницы. При нажатии на такую ссылку отображается сообщение об ошибке 404. В большинстве случаев, обнаружив большое количество неработающих ссылок на сайте, пользователь перестает заходить на этот ресурс, и поисковая система может понизить позицию такого сайта в результатах поиска. Поэтому анализ сайта на наличие битых ссылок является крайне важной процедурой, позволяющей вовремя исправить ошибки и предотвратить снижение позиций сайта.

Основные причины неработающих URL-адресов:

• неправильный адрес;
• изменилась структура сайта или был настроен ЧПУ;
• указанный файл был удален или перемещен;
• срок хранения файла, на который была установлена ссылка, истек;
• адреса связанных страниц были изменены;
• ресурс заблокирован.

Почему битые ссылки это плохо?

Три основных фактора:

• из-за большого числа неработающих ссылок посетители покидают сайт;
• поисковые роботы снижают в выдаче сайты с большим количеством битых ссылок;
• неработающая ссылка может существовать на сайте месяцами и годами, и тем самым снижать конверсию сайта.

Как проверить сайт на наличие неработающих ссылок

С помощью инструмента проверки битых ссылок можно проверить наличие «мертвых» ссылок на любом сайте. Этот способ проверки намного быстрее и эффективнее, чем поиск подобных URL-адресов самостоятельно. Как пользоваться сервисом:

• введите URL-адрес в адресной строке;
• запустите сканирование вашего сайта;
• ждете результата.

Всесторонние возможности отчета и анализа

Благодаря подробному анализу вы получите удобный отчет со списком неработающих ссылок. Этот отчет можно скачать в формате CSV для дальнейшей обработки в Microsoft Excel.

Результаты анализа кодов ответов сервера будут представлены вам в виде ссылок на страницы с донорами и анкорами таких ссылок. Проверяя неработающие ссылки, вы получите подробную информацию о ссылках, соответствующих коду ошибки 404, и рекомендации по их исправлению. Эти ссылки, в зависимости от причины их появления, могут быть удалены или исправлены на рабочие (с кодом ответа 200).

Ограничения сервиса

Сканирование и анализ страниц выполняется максимально быстро, поэтому вы можете выполнить большой объем работы и проверить до 500 страниц, сэкономив свое время.

Чтобы проверить веб-сайты с количеством страниц от 500 и более, используйте наш бесплатный инструмент – программу SiteAnalyzer >>

Как узнать попали страницы в индекс или нет

Инструкция по проверке индексации в Топвизоре

Инструкция по проверке индексации в Key Collector

Как удалить страницы с ошибкой 404 с сайта

Как реагирует ПС на страницы с 404-й ошибкой

Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».

Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.

Как узнать попали страницы в индекс или нет

Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.

Для Яндекса это оператор url:, а для Google site:.

Как это выглядит в Яндексе:

В Google:

Инструкция по проверке индексации в Топвизоре

Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.

Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р. 

Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:

Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.

Запустите проверку:

Страницы можно отсортировать по изменению статуса в индексе. Первыми встанут те, которых раньше не было в индексе или которые выпали из него. 

Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.

Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём. 

Инструкция по проверке индексации в Key Collector

Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.

Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.

Добавляем фразы, нажав на кнопку «Добавить фразы»:

Фразы необходимо добавлять в следующем формате:

Перед получением данных не забудьте скорректировать настройки программы:

Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:

Указываем нужный сайт и начинаем парсинг:

После получения данных видим такую картину:

В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.

Как удалить страницы с ошибкой 404 с сайта

Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.

Для этого выберите проект и нажмите на значок Аудита: 

Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.

После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет: 

Как реагирует ПС на страницы с 404-й ошибкой

ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске. 

Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.

Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.

Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.

Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.

Проверка сайта на битые ссылки входит в список постоянных задач веб-мастера. Это не занимает много времени, но если не выполнять анализ, ссылочные связи могут оставаться нарушенными в течение длительного времени.

Не все владельцы сайтов следят за состоянием внутренней оптимизации, и это не дает проекту получить максимально возможные позиции. Качественное SEO состоит из маленьких задач, которые вместе позволяют обойти конкурентов в борьбе за трафик.

1. Что такое чекер неработающих ссылок на сайте?

Чекер битых ссылок — это инструмент, сканирующий страницы сайта и находящий неработающие ссылки. Он проверяет внутренние ссылки на предмет выдачи 404 и генерирует подробный отчет.

404-ошибки периодически возникают на различных сайтах из-за проблем с CMS или неудачным обновлением структуры адресов. Если их не устранить, может пострадать пользовательский опыт.

Представьте, что заходите на страницу для просмотра рецепта и когда кликаете по ссылке в тексте, видите сообщение о несуществующем адресе. Очевидно, что у вас может возникнуть желание воспользоваться другим сайтом.

Плановые проверки, настройки редиректов, отслеживание ключевых слов и другие задачи являются рутиной для веб-мастеров, поэтому они не всегда уделяют им достаточно внимания. Эта ошибка может привести к отрицательным последствиям в выдаче.

Чекер сайта на битые ссылки обычно хорошо справляется с анализом HTML-кода ответа, но лучше применить несколько инструментов поочередно. Благодаря этому можно увеличить точность анализа.

1.1. Что такое битая ссылка (ошибка 404)?

Неработающая ссылка ведет на страницу, которая отсутствует на сайте. Помимо внутренних ссылок, битыми могут быть и внешние ссылки. В этом случае нужно использовать не чекер 404, а инструмент мониторинга обратных ссылок.

Когда роботы поисковиков пытаются сканировать страницу и получают ошибку 404, они сигнализируют об этом в Search Console. Это не критическая проблема, но лучше не давать поисковику дополнительных поводов для снижения рейтинга.

Успешное продвижение в любой нише состоит из множества маленьких шагов. Если не будет хватать хотя бы 1–2 закрытых задач, то проект может не выйти на оптимальный объем трафика. 

1.2. Вредны ли неработающие ссылки для SEO?

Когда у опытных оптимизаторов спрашивают о важности проверки 404-ошибок, ответы могут сильно отличаться. Одни говорят, что битые ссылки сильно вредят внутренней оптимизации, другие утверждают, что ничего критичного в этом нет.

Чтобы разобраться в теме, нужно определиться с последствиями появления 404-ошибок на сайте. Обычно среди типичных проблем называют размывание ссылочного веса, отрицательный пользовательский опыт и нарушение структуры.

В большинстве гайдов по улучшению внутреннего SEO отмечено обязательное удаление битых ссылок, но новичкам не всегда объясняют, почему это важно. Поэтому неудивительно, что они часто игнорируют эту проблему.

Главный вред — это перекрытие путей передачи ссылочного веса. Например, если владелец сайта хочет усилить внутренние страницы, он может перелинковать их с адресами, уже насыщенными SEO-juice. Если в ссылках будет ошибка, вместо улучшения оптимизации сайт получит 404-ошибки.

Значение бесплатной проверки битых ссылок состоит в том, что массовые 404-ошибки приводят к нарушению структуры сайта. Также они зря тратят краулинговый бюджет поисковика, и поэтому важные страницы могут не попасть в индекс.

Еще важно помнить о важности хороших поведенческих факторов. Когда на сайте 30% ссылок ведут на несуществующие страницы, не следует на них рассчитывать. Если алгоритмы заметят увеличение показателя отказов в течение длительного времени, то могут возникнуть проблемы с ранжированием. 

2. Основные причины возникновения битых ссылок

Битые ссылки не возникают ниоткуда. В большинстве случаев они формируются из-за технических проблем в системах управления контентом. К примеру, если установить плагин для создания SEO-friendly URL, его отключение приведет к нарушению структуры.

В таких случаях важна молниеносная реакция. Если быстрее отреагирует Google, то последствия не понравятся владельцу сайта. Тогда на какое-то время трафик может сильно уменьшиться.

Если на проекте регулярно появляются 404-ошибки, нужно найти источник проблемы и разобраться с ним. Лучше сделать работу один раз, чем постоянно удалять по одной ссылке.

2.1. Удаление страниц сайта

Иногда возникает необходимость удалить страницу из-за ее неактуальности или небольшого объема переходов с органической выдачи. Есть мнение, что каждый неинтересный для пользователей адрес имеет нулевую ценность. Соответственно, от нее лучше избавиться. Но с этим согласны не все веб-мастера.

В случае удаления страницы нужно создать редирект по любому релевантному адресу. В этом случае метрики не пострадают и в поисковой консоли Google не будет сообщений.

2.2. Изменение URL страницы

Во многих кейсах появление 404-ошибок связано с изменением адресов. После этого необходимо настроить перенаправление со старого URL на новый, но эта задача выполняется не во всех случаях. На выходе веб-мастер получает битую ссылку.

Лучше действовать так, чтобы необходимости в изменении адреса не было вообще. Важно не торопиться при разработке структуры сайта и тогда все будет хорошо. Для многих CMS есть SEO-модули, которые возьмут на себя всю рутину по технической оптимизации.

2.3. Технический и структурный перевод сайта

Изменение структуры часто выполняется при добавлении языковых версий. В этой ситуации важно правильно настроить редирект и убедиться, что пользователи смогут самостоятельно выбрать регион.

Также необходимо правильно линковать страницы между собой. Если возникает необходимость совместить две языковые версии в контенте, не должно быть 404-ошибок. Обязательно нужно произвести проверку неработающих ссылок после завершения работ.

2.4. Ошибки в написании ссылок

Ошибки в написании могут быть разного формата. Например, в случае смены домена важно настроить постраничный редирект. Если этого не сделать, трафик может не восстанавливаться месяцами.

Исправить несколько 404-ошибок несложно, а вот когда возникли проблемы с переездом, масштаб работы будет гораздо больше. Нужно хотя бы периодически следить за кодами статусов в Search Console Google и устранять проблемы.

2.5. Трансформация сайта

Иногда бывает так, что при масштабном обновлении на сайте появляются сотни или даже тысячи битых ссылок. На 100% оградиться от этого невозможно, поэтому нужно выбрать правильную тактику работы.

Опытные оптимизаторы рекомендуют тестировать изменения на локальном домене, а потом уже публиковать их на основном сайте. Это поможет сохранить трафик и позиции на одном уровне. 

2.6. Переход к другому провайдеру

Проверка неработающих ссылок на сайте после перехода к другому хостинг-провайдеру или изменению CMS — это стандартная задача. Без его выполнения не следует показывать обновленный проект пользователям.

В случае необходимости экстренно изменить хостинг или домен необходимо выполнить онлайн-анализ сразу после обновления исходного кода страниц. Это можно сделать с помощью качественного чекера, а затем использовать плагины для замены адресов.

Функциональные возможности любого веб-ориентированного сервиса для SEO-задач могут закрывать 100% потребностей. Но лучше использовать несколько инструментов, чтобы исключить ошибки.

3. Как проверить сайт на наличие битых ссылок?

В интернете можно найти десятки сервисов, успешно распознающих 404-ошибки и быстро сканирующих страницы. Они экономят много времени на рутине, потому что веб-мастеру пришлось бы искать битые ссылки вручную.

Также будет полезно следить за состоянием внешних ссылок. Например, если ссылка на страницу вашего проекта внезапно исчезла, это минус для него. Нужно связаться с веб-мастером и попросить устранить проблему.

Любой релевантный чекер 404 может быстро найти битую ссылку, но при условии, что веб-сервер работает без сбоев. Если страница не выдает соответствующий код, адреса могут не попасть в отчет сервиса.

Для базовых задач достаточно консоли для веб-мастеров, но всегда лучше иметь под рукой дополнительные инструменты. Роботы Google тоже иногда допускают ошибки, и это может повлиять на общий результат.

3.1. Инструменты SEO-аудита

У каждого веб-мастера собственный набор сервисов, которым он пользуется на постоянной основе. Потому рекомендовать конкретные платформы очень сложно. Но все же можно выделить лидеров среди SEO-чекеров.

С поиском битых ссылок обычно ассоциируются Netpeak Spider, Semrush, Sitechecker и dead link checker. Для больших сайтов можно использовать Screaming Frog или софт от Netpeak. Оба варианта хорошо справляются с заданием.

Поиск неработающих ссылок с помощью десктопного софта выгоден только при периодическом использовании SEO-софта. Оплачивать лицензию только ради проверки 404-ошибок невыгодно.

3.2. Поисковая консоль Google

В поисковой консоли для веб-мастеров можно быстро найти информацию о том, от каких страниц роботы Google получают 404-код. В некоторых случаях данные не точны, но это не распространенная ситуация.

Отчет о несуществующих страницах можно найти в разделе «Покрытие». Если в графе «Error» есть примеры адресов, можно щелкнуть на вкладке и посмотреть, где именно у роботов возникли проблемы со сканированием контента.

Следует учитывать, что 404-страницы и битые ссылки в контенте несколько отличаются. Поэтому спайдеры Google не всегда предоставляют 100% данных по этой проблеме. Лучше использовать внешний инструмент проверки битых ссылок. 

4. Как пользоваться программой для проверки сайта на битые ссылки?

Воспользоваться сервисом или десктопным софтом для проверки проекта на 404-ошибки может веб-мастер с любым уровнем опыта в SEO. Для этого достаточно просмотреть библиотеку знаний и выполнить рекомендации.

Инструментами для Windows или macOS сложнее пользоваться, так как требуется время на установку, активацию и настройку. А в онлайн-сервисах можно провести анализ даже без регистрации.

Выбор между SaaS-платформой и десктопными решениями нужно делать на основе потребностей. Если периодически приходится выполнять задачи по внешней оптимизации, программы могут быть более удобными.

При проверке сайта на битых ссылках важно убедиться, что сканер анализирует все страницы. Лучше собрать список адресов вручную и запустить массовую проверку. Эта функция есть у большинства чекеров.

4.1. Проверка домена

Чтобы новички лучше поняли, как выполнить поиск 404-ошибок, мы подготовили пошаговую инструкцию. В ней нет ничего сложного, но следует выполнять рекомендации в точной последовательности.

Как проверить домен:

1. Откройте интерфейс чекера.
2. Введите адрес в поисковую строку.
3. Выберите вариант анализа.
4. Дождитесь создания отчета.

Скорость создания таблицы с проверенными URL зависит от качества конкретного инструмента. Мы тестировали dead link checker, и он проанализировал 2000 URL за 2 минуты. Это хороший результат.

Дополнительно можно проверить страницы в другом сервисе, чтобы убедиться, что на сайте действительно нет проблем. Также следует ориентироваться на данные Google Search Console и работать с проблемами, если они будут.

4.2. Проверка веб-страницы

Для проверки неработающих ссылок на одной странице необходимо выполнить аналогичные шаги, но выбрать релевантный вариант анализа. Вместо сканирования структуры проекта роботы посмотрят состояние одного адреса.

Обратите внимание, что в отчетах иногда появляются другие коды. Это означает, что у спайдеров есть проблемы с доступом к адресу, но наличие ошибки 404 все равно нужно проверить отдельно.

Ни один сканер не гарантирует 100% точности, особенно, если проверка происходит в режиме ввода одного адреса. Достичь точного результата можно, только если собрать все страницы и проверить их отдельно.

5. Как устранить проблему неработающих ссылок?

Подходов к удалению 404-ошибок много. Каждый из них актуален в определенных условиях, поэтому нужно сначала разобраться с природой возникновения битых ссылок. К примеру, если дело в модуле, его нужно заменить.

Проверка сайта на битые ссылки — это только первый шаг на пути к исправлению ситуации. В каждом случае следует разобраться, что вызывает 404-код, и использовать один из инструментов для устранения проблемы.

К примеру, если страницу удалили и поставили переадресацию, но она не работает, нужно исправить конфигурацию. А если источник проблемы кроется в некорректно работающем плагине, его необходимо заменить.

Также можно просто избавиться от ссылки, если страницы уже нет, а другой адрес для передачи ссылочного веса не удается найти. В этом случае цепочка замкнется, и 404-ошибки не будет.

Некоторые оптимизаторы рекомендуют не тратить много времени на борьбу с каждой отдельной ссылкой, а использовать чекер неработающих ссылок в глобальном масштабе. Устранение источника проблемы позволит массово победить 404-ошибки.

Помимо активной работы с внутренним SEO, владельцам сайтов следует не забывать о важности внешней оптимизации. Если на сайте нет битых ссылок, но качественные бэклинки также отсутствуют, сложно будет выйти на высокие позиции.

Улучшить ситуацию с ссылочным весом поможет PRPosting. В сервисе более 44 000 доноров под разные ниши, гео, языки. Каждый владелец сайта сможет создать список ресурсов в соответствии со своим бюджетом. 

6. Выводы

Поисковик неработающих ссылок является полезным инструментом для всех веб-мастеров. Можно выбрать любой популярный инструмент, но важно правильно его использовать. Найти 404-ошибки легко, а вот удалить их бывает сложно. Поэтому нужно заранее подготовиться к рутине.

Можно долго спорить о вреде битых ссылок, но точно известно, что пользы они не приносят. Лучше не допускать их появления, а не исправлять ситуацию после оповещения в Search Console.

Часто задаваемые вопросы

Что такое чекер неработающих ссылок на сайте (устранение 404-ошибки)?

Это инструмент, анализирующий страницы сайта на наличие битых ссылок. Если ссылка выдает ошибку 404, чекер фиксирует это и показывает информацию в отчете.

Вредны ли неработающие ссылки для SEO?

Они вредны тем, что создают негативный опыт у пользователей и нарушают цепочку передачи ссылочного веса. Критичного в этом ничего нет, но лучше вовремя устранять такие проблемы.

Что приводит к неработающим ссылкам на сайте?

В основном проблема кроется в технических ошибках CMS, модулей или файла .htaccess. Вне зависимости от природы с битыми ссылками нужно бороться.