При запросе несуществующей страницы сервер должен возвращать ошибку 404

Страница 404 призвана сообщать пользователю, что заданный им url (адрес страницы) не существует.
Такие неправильные урлы еще можно назвать «битыми ссылками».
Многие сайты делают свои страницы 404 для удобства своих пользователей. Часто это красивые и интересные страницы, которые вызывают у пользователя улыбку вместо разочарования от того, что адрес страницы неправильный.
При создании страницы 404 есть важная техническая составляющая, которая сильно влияет на ранжирование сайтов в поисковых системах, если все не настроено правильно.

Если вы озадачились созданием страницы 404, то вам нужно учитывать три момента:
1) Переадресация со всех неправильно введенных url на страницу 404 в .htaccess.
2) Правильный ответ сервера после переадресации (http-код страницы должен быть 404, а не 200).
3) Закрытие страницы 404 от индексации в robots.txt

Сразу отмечу, что все вышеизложенное написано для самописных сайтов, преимущественно на php. Для wordpress существуют плагины по настройке того же самого. Но в этой статье мы рассмотрим, как все выглядит в реальности. %)

ЕСЛИ КРАТКО, то нужно сделать следующее:

I. В файле .htaccess добавить строку:
—————
ErrorDocument 404 http://mysite.com/404.php
—————
Это перенаправит все неправильные (битые) ссылки на страницу — 404.php. Детали ниже в статье.

II. В файле 404.php в самом начале php-кода пишите:
—————

—————
Это даст правильный ответ о статусе страницы. Не 200, не 302, а 404 — потому что страницы, на которую якобы хотел перейти пользователь — не существует. Как это проверить — читайте ниже.

III. В файле rodots.txt делаете следующую запись:
—————
User-agent: *
Disallow:
Disallow: /404.php
—————-
Это закрывает страницу 404.php от индексации поисковыми системами. В этом пункте будьте аккуратны. Детали читайте ниже.

Дальше каждый пункт расписан в деталях! Если вам достаточно короткого описания… то благодарности принимаются в виде комментариев и лайков.

Переадресация (редирект) неправильных url на страницу 404

Первое, что вы делаете – создаете саму страницу 404, чтобы было куда людей посылать %).
Перенаправление url настраивается в файле .htaccess
Просто вписываете строчку:
ErrorDocument 404 http://mysite.com/404.php
Где «mysite.com» – ваш домен, а http://mysite.com/404.php — путь к реальной странице. Если ваш сайт на html, то строка будет выглядеть как:
ErrorDocument 404 http://mysite.com/404.html
Проверка очень проста. После заливки на хостинг файла .htaccess с вышеуказанной строкой, делаете проверку, вводя заведомо не существующий урл (битая ссылка), например: http://mysite.com/$%$%
Если переадресация на созданную вами страницу произошла, значит все работает.
Итак, полностью файл .htaccess, где настроена ТОЛЬКО переадресация на 404 будет выглядеть так:
____________________________
RewriteEngine on
ErrorDocument 404 http://mysite.com/404.html
____________________________

Правильный ответ сервера (http-код страницы)

Очень важно, чтобы при перенаправлении был правильный ответ сервера, а именно – 404 Not Found.

Тут следует объяснить отдельно.
Любому url при запросе назначается статус (http-код страницы).
• Для всех существующих страниц, это: HTTP/1.1 200 OK
• Для страниц перенаправленных: HTTP/1.1 302 Found
• Если страницы не существует, это должен быть HTTP/1.1 404 Not Found

То есть, какой бы урл не был введен, ему присваивается статус, определенный код ответа сервера.
Проверить ответ сервера можно:
1. Консоль браузера, закладка Network. Нажмите F12 для Chrome. Или Ctrl + Shift + I — подходит и для Chrome и для Opera.
2. На такой ресурсе как bertal.ru
3. SEARCH CONCOLE GOOGLE – Сканирование/Посмотреть как GOOGLE бот.

Когда у вас не было перенаправления через .htaccess на страницу 404, то на любой несуществующий url, введенный пользователем, а также на битые ссылки был ответ «HTTP/1.1 404 Not Found»

Итак, после краткой теоретической части, вернемся к нашим

баранам

настройкам.

После того, как вы настроили перенаправление на свою авторскую страницу 404 через .htaccess, как описано выше, то вводя битую ссылку (неверный url, который заведомо не существует), типа http://mysite.com/$%$%, ответ сервера будет:
— сначала HTTP/1.1 302 Found (перенаправление),
— а затем HTTP/1.1 200 OK (страница существует).

Проверьте через bertal.ru.
Чем это грозит? Это будет означать, что гугл в свою базу данных (индекс) может внести все битые ссылки, как существующие страницы с содержанием страницы 404. По сути — дубли страниц. А это невероятно вредно для поисковой оптимизации (SEO).

В этом случае нужно сделать две вещи:
1) Настроить правильный ответ сервера на странице 404.
2) Закрыть от индексирования страницу 404. Это делается через файл robots.txt

Настраиваем ответ сервера HTTP/1.1 404 Not Found для несуществующих страниц

Ответ сервера настраивается благодаря функции php в самом начале страницы 404.php:

Пишите ее вначале файла 404.php.
В результате мы должны получить ответ на битую ссылку:

Пример страницы 404.php. Вот как это выглядит +/-:

Естественно, что у вас скорее всего сайт полностью на php и динамический, то просто вставляете строку с ответом сервера в начало — перед всеми переменными и подключенными шаблонами.

Закрыть страницу 404 от индексирования

Закрыть страницу от индексирования можно в файле rodots.txt. Будьте внимательны с этим инструментом, ведь через этот файл ваш сайт, по сути, общается с поисковыми роботами!
Полный текст файла rodots.txt, где ТОЛЬКО закрыта индексация 404 страницы, выглядит так:
____________________________
User-agent: *
Disallow:
Disallow: /404.php
____________________________
Первая строка User-agent: * сообщает, что правило для всех поисковых систем.
Вторая строка Disallow: сообщает что весь сайт открыт для индексации.
Третья строка Disallow: /404.php закрывает индексацию для страницы /404.php, которая находится в корневой папке.

Замечания по коду: «/404.php» означает путь к странице. Если на вашем сайте страница 404.php (или 404.html соответственно) находится в какой-то папке, то путь будет выглядеть:
/holder/404.php
где «holder» — название папки.

Вот, собственно и все по странице 404. Проверьте работу страницы, перенаправления битых ссылок, и ответы серверов.
Повторюсь: Все вышеизложенное для самописных сайтов. Если вы используете wordpress, то можете поискать приличный плагин для настройки ошибки 404.

Благодарности принимаются в виде комментариев

Читать также:
Быстро создать свой сайт на WordPress
Сколько стоит создать сайт
Как залить сайт на хостинг
Зарегистрировать торговую марку самостоятельно
Самое ценное на сайте
Сайт бесплатно – это миф!
Продвижение сайта
Резервная копия сайта (бэкап)

Регулярная проверка и оперативное устранение ошибок – залог эффективной работы сайта.

Автор: Джо Робисон (Joe Robison) – основатель и главный консультант SEO-агентства Green Flag Digital, эксперт Moz.

В последние годы вебмастера всё больше полагаются на Google Search Console как источник ценных данных. Google также создал множество справочных документов, призванных облегчить пользователям сервиса поиск и устранение ошибок.

Возможно, исправлять ошибки не так интересно, как заниматься другими SEO-задачами. Тем не менее, данный пласт работ чрезвычайно важен.

Регулярно проверяя сайт на наличие ошибок сканирования и оперативно устраняя недочёты, вы сможете взять ситуацию под контроль. В противном случае, ресурсу могут грозить серьёзные проблемы.

Категоризация ошибок сканирования

В Search Console ошибки сканирования разделяются на две основные группы: ошибки сайта и ошибки URL. Такой подход очень удобен, поскольку проблемы на уровне сайта и на уровне страницы – это разные вещи. Ошибки из первой группы обычно более масштабные и влияют на юзабилити ресурса в целом. В свою очередь ошибки URL относятся к конкретным страницам и, соответственно, менее срочные.

Самый быстрый путь к ошибкам сканирования – через панель управления в Search Console. Главная панель даёт общий обзор ситуации по сайту и включает три самых важных инструмента для управления им: «Ошибки сканирования», «Анализ поисковых запросов» и «Файлы Sitemap».

1. Ошибки сайта

Ошибки, которые содержатся в этом разделе, влияют на работу сайта в целом. Google предоставляет данные за последние 90 дней.

При наличии проблем, этот раздел будет выглядеть примерно так:

При отсутствии ошибок – так:

Как часто проверять наличие ошибок сайта?

В идеале ежедневно. Эта задача может показаться монотонной, поскольку в большинстве случаев всё будет в порядке. Однако этим нужно заниматься, чтобы затем не корить себя за критические ошибки в работе сайта.

Как минимум, проверять наличие ошибок сайта следует каждые 90 дней. Но лучше, всё же, делать это чаще.

A) Ошибки DNS

Что это такое?

Ошибки DNS (Domain Name System) могут повлечь за собой огромные проблемы для сайта. Поэтому они очень важны и всегда идут первыми.

Наличие ошибок этого типа означает, что робот Googlebot не может связаться с сервером DNS – либо потому что он не работает, либо из-за проблем с маршрутизацией DNS для вашего домена.

Важны ли они?

Google утверждает, что большая часть ошибок, связанных с DNS, не влияет на возможность сканирования страниц роботом Googlebot. Тем не менее, при выявлении серьёзной ошибки DNS следует действовать незамедлительно.

Появление таких ошибок может означать медленную загрузку, а это ухудшает опыт пользователей.

Ошибки DNS, которые затрудняют Google доступ к сайту, нужно решать сразу.

Как устранить

1. Google рекомендует в первую очередь использовать инструмент «Просмотреть как Googlebot» в Search Console. Если нужно проверить статус соединения с DNS-сервером, можно использовать только функцию «Сканировать». Функция «Получить и отобразить» нужна, чтобы сравнить, как видят сайт Googlebot и пользователь.

1. Свяжитесь с DNS-провайдером. Если Google не может правильно просканировать и отобразить страницу, эту проблему нужно решить. Проверьте, не связана ли она с поставщиком услуг DNS.
2. Убедитесь, что сервер выдаёт код ошибки HTTP 404 («не найдено») или 500 («внутренняя ошибка сервера»). Эти коды ответа сервера более точны, чем ошибка DNS.

Другие инструменты

ISUP.me – позволяет сразу узнать, доступен ли сайт другим пользователям или же проблема только с вашей стороны.

Web-Sniffer.net – показывает текущий HTTP-запрос и заголовок ответа. Полезно использовать для пункта № 3, приведённого выше.

B) Ошибки сервера
Что это значит

Ошибки сервера обычно означают, что Google не может получить доступ к сайту, потому что сервер слишком долго не отвечает. Googlebot, который пытается просканировать сайт, может подождать ответа от сервера в течение определённого промежутка времени, после чего он прекращает свои попытки.

Ошибки сервера могут иметь место при большом наплыве трафика, с которым сервер не может справиться. Чтобы избежать таких проблем, убедитесь, что хостинг-провайдер может обеспечить бесперебойную работу сервера даже при резком увеличении аудитории сайта. Все хотят, чтобы их сайт стал мегапопулярным, но не все к этому готовы!

Важны ли они?

Как и ошибки DNS, ошибки сервера решать нужно устранять же, как только информация о них появилась в Search Console. Это фундаментальные ошибки, которые вредят сайту в целом.

Первый шаг – проверка возможности связи с сервером DNS. При наличии проблем с подключением к серверу, Googlebot не сможет просканировать страницы и покинет сайт спустя какое-то время.

Как устранить

Если сайт работает нормально, а в Search Console отображается ошибка, это означает, что ошибки сервера наблюдались ранее. Хотя на данный момент проблема может быть решена, следует внести некоторые изменения, чтобы предотвратить повторное появление таких ошибок.

При наличии ошибок сервера Google рекомендует следующее:

«Чтобы выяснить, может ли Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит сайт доступен для робота Googlebot».

Перед тем, как приступить к устранению ошибок сервера, следует определить их тип. В Google выделяют такие типы:

• Таймаут
• Усечённые заголовки
• Сброс подключения
• Усечённое тело ответа
• В подключении отказано
• Истекло время ожидания подключения
• Нет отклика

Как устранить все эти ошибки, можно узнать в Справке Search Console.

C) Ошибка доступа к файлу robots.txt

Эта ошибка означает, что Googlebot не удаётся получить файл robots.txt сайта.

Что это значит

Файл robots.txt нужен не всегда, а лишь в том случае, если нужно запретить Googlebot доступ к определённым страницам сайта.

В Справке Search Console говорится следующее:

«Файл robots.txt нужен только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы индексировали все страницы вашего сайта, то вам не нужен файл robots.txt, даже пустой. Если файл robots.txt отсутствует, сервер возвратит код статуса 404 в ответ на запрос робота Googlebot, и процесс сканирования сайта будет продолжен. Это не вызовет никаких проблем».

Важна ли она?

Да, это важная проблема. Для некрупных и относительно статичных сайтов с небольшим количеством новых страниц и изменений она не является очень срочной. Но её нужно решить.

При ежедневном обновлении сайта данная проблема перейдёт в разряд срочных. Если Googlebot не может загрузить файл robots.txt, сканирование будет отложено.Такой подход позволяет Google избежать индексирования URL, которые вы запретили сканировать.

Как устранить

Убедитесь, что файл robots.txt правильно настроен. Проверьте, какие страницы вы запретили сканировать.

Если файл настроен правильно, но ошибки по-прежнему отображаются, используйте инструмент для проверки заголовков ответа сервера. Возможно, файл возвращает ошибку 202 или 404.

В целом, лучше вообще не иметь файла robots.txt, чем иметь неправильно настроенный. Если у вас нет этого файла, Google будет сканировать сайт в обычном режиме. Если файл возвращает ошибку, Google отложит сканирование, пока она не будет устранена.

Несмотря на то, что файл robots.txt содержит лишь несколько строк текста, он может иметь огромное влияние на сайт. Поэтому важно регулярно проверять его.

2. Ошибки URL

В отличие от ошибок из предыдущей группы, ошибки URL затрагивают лишь отдельные страницы сайта.

В Search Console проблемы этого рода разделены на несколько категорий – для десктопов, смартфонов и обычных телефонов. Для большинства сайтов этот раздел охватывает все известные проблемы.

Сходите с ума от количества ошибок? Пометьте все, как исправленные

Многие владельцы сайтов видят большое количество ошибок URL, и это их пугает. Важно помнить: а) в списке сначала идут самые важные ошибки; б) некоторые из этих ошибок уже могут быть устранены.

Если вы внесли какие-то радикальные изменения на сайт, чтобы исправить эти ошибки, или же считаете, что они уже устранены, можно пометить все ошибки как исправленные и повторно проверить раздел через несколько дней.

Если причины ошибок не были устранены, эти URL снова появятся в списке после следующего сканирования сайта. В таком случае, нужно будет с ними разбираться.

A) Soft 404

«Мягкие» или ложные ошибки 404 появляются, если несуществующие страницы отдают код 200 («найдено») вместо 404 («не найдено»).

Что это означает

Появление на странице сообщения «404 Файл не найден» ещё не значит, что это страница 404.

Для пользователя видимым признаком страницы 404 является наличие на ней контента. Из сообщения на странице должно быть понятно,  что запрашиваемый URL отсутствует.

Владельцы сайтов часто добавляют на такие страницы список ссылок на популярные разделы сайта или другую информацию, которая может заинтересовать пользователей.

Сервер в ответ на запрос несуществующей страницы должен возвращать код ответа 404 («не найдено») или 410 («удалено»).

На схеме ниже показано, как выглядят HTTP-запросы и ответы:

Если вы возвращаете страницу 404, и она регистрируется как «мягкая» ошибка 404, это значит, что код ответа сервера был отличен от 404. Согласно рекомендациям Google, сервер всегда должен возвращать код ответа HTTP 404 или 410 при запросе несуществующей страницы.

Ложные ошибки 404 также появляются, если на страницах настроен 301 редирект на нерелевантные URL, такие как главная страница.

Google говорит об ошибках soft 404 следующее:

«При возвращении для несуществующей страницы кода, отличного от 404 и 410, (или при перенаправлении на другую страницу, например на главную, вместо возвращения кода 404), возникают дополнительные проблемы».

Хотя здесь поисковик даёт некие ориентиры, до конца непонятно, в каких случаях переадресация с устаревшей страницы на главную допустима, а в каких – нет.

На практике, если вы переадресовываете большое количество страниц на главную, Google может интерпретировать эти редиректы как ложные ошибки 404, а не перенаправление 301.

При этом при переадресации устаревшей страницы на похожую регистрация «мягкой» ошибки 404 маловероятна.

Важны ли они?

Если URL, помеченные как soft 404, не являются критически важными для сайта и не «съедают» краулинговый бюджет сайта, тогда работу над ними можно отложить.

Если важные страницы сайта регистрируются как soft 404, необходимо исправить эти ошибки. Страницы товаров, категорий или генерации лидов не должны регистрироваться как soft 404,если это актуальные страницы. Уделите особое внимание тем страницам, которые приносят сайту доход.

Если у вас большое количество «мягких» ошибок 404 по отношению к общему объёму страниц на сайте, действовать нужно быстро. Наличие таких ошибок может съедать бюджет сканирования вашего сайта.

Как устранить

Несуществующие страницы:

• Убедитесь, что сервер возвращает код ответа HTTP 404 или 410, а не 200;
• Проверьте, чтобы с помощью 301 редиректа устаревшие страницы переадресовывались на релевантные, похожие страницы сайта;
• Не перенаправляйте большое количество устаревших страниц на главную страницу. Они должны возвращать ошибку 404 или переадресовываться на похожие страницы.

Актуальные страницы:

• Убедитесь, что страница содержит достаточное количество контента. Страницы с неинформативным содержимым могут расцениваться как ложные ошибки 404.
• Убедитесь, что контент на странице не обозначает её как страницу 404, если при этом возвращается код ответа сервера 200.

Soft 404 – это странные ошибки. Они вносят много путаницы, поскольку являются гибридом страниц 404 и нормальных страниц. При этом причины, вызывающие их появление, не всегда понятны. Убедитесь, что самые важные страницы на вашем сайте не возвращают «мягкие» ошибки 404.

B) 404

Ошибка 404 означает, что Googlebot пытался просканировать несуществующую страницу. Поисковый робот находит страницы 404, когда другие сайты ссылаются на отсутствующие страницы.

Что это означает?

Этот вид ошибок сканирования чаще всего воспринимается неверно. Самой частой реакцией на них является страх.

При этом Google утверждает, что бояться таких ошибок не стоит:

«Ошибки 404 не наносят никакого вреда (а во многих случаях даже полезны). Однако предотвратить их появление, контролируя каждую ссылку на свой сайт, практически невозможно. Вместо этого мы рекомендуем вам сосредоточиться на критических ошибках и по мере возможности устранять их».

Тем не менее, это не совсем так. Нельзя игнорировать ошибки 404, если их возвращают важные страницы на сайте.

В каких случаях ошибки 404 нужно исправлять, а в каких – можно игнорировать, не всегда понятно. Глава Moz Рэнд Фишкин в 2009 году предложил следующий полезный совет (и он до сих пор актуален):

«Сталкиваясь с ошибками 404, не стоит предпринимать никаких действий до тех пор, пока эти страницы:

• не получают важных ссылок с внешних источников;
• не получают значимого количества трафика;
• не имеют очевидного URL, который посетители/ссылки намерены достичь».

Здесь уже важно разобраться, что считать важными внешними ссылками и значимым количеством трафика для конкретного URL.

Энни Кушинг из агентства SEER Interactive также предпочитает метод Фишкина и рекомендует следующее:

«Двумя самыми важными метриками, которые помогают понять, не теряете ли вы ценные ссылки, являются входящие ссылки и общее количество посещений целевой страницы».

Кроме того, важно быть в курсе офлайн-кампаний, подкастов и других активностей, в которых используются запоминающиеся URL-адреса. Например, это может быть объявление в журнале со ссылкой на специальную страницу сайта и т.п. Такие URL необходимо отслеживать, чтобы убедиться, что они не возвращают ошибку 404.

Важны ли они?

Ошибки 404 нужно срочно исправлять, если их возвращают важные страницы сайта. В противном случае, их можно игнорировать.

Видеть сотни таких ошибок в Search Console неприятно. Однако пока вы не докопаетесь до причин, которыми они вызваны, они никуда не денутся.

Как устранить

Если важные страницы возвращают ошибку 404, для её устранения выполните следующие шаги:

• Убедитесь, что в CMS страница опубликована, а не сохранена как черновик или удалена.
• Убедитесь, что URL с ошибкой 404 – нужная страница, а не один из её вариантов.
• Проверьте, отображается ли эта ошибка в www и не-www версиях сайта. Также проверьте http и https версии ресурса.
• Если вы хотите настроить переадресацию, убедитесь, что она будет вести на релевантную страницу.

Другими словами, если страница устарела, оживите её. Если вам это не нужно, настройте 301 редирект на подходящую страницу.

Как сделать так, чтобы устаревшие URL с ошибкой 404 не отображались в отчёте

В отчёте об ошибках первыми показываются те страницы 404, на которые есть внутренние или внешние ссылки.

Чтобы найти ссылки на страницы 404, нужно перейти в раздел «Ошибки сканирования» и выбрать «Ошибки URL»:

Затем кликните на URL, который вы хотите исправить.

В коде страницы найдите ссылку:

Чтобы устаревшие страницы с ошибкой 404 не показывались в отчёте, нужно удалить все ссылки на них с каждой страницы, которая на них ссылается – включая другие сайты.

Кроме того, ссылки на устаревшие страницы могут содержаться в старых файлах Sitemap. В таком случае нужно настроить код ответа сервера 404 для этих файлов. Переадресовывать их на актуальную карту сайта не нужно.

C) Доступ запрещён

Наличие этих ошибок говорит о том, что Googlebot не удалось получить доступ к URL.

Что это означает

Ошибки «Доступ запрещен» могут возникнуть по следующим причинам:

• Googlebot не удалось получить доступ к URL, поскольку для просмотра содержимого на сайте нужно выполнить вход.
• Файл robots.txt заблокировал Googlebot доступ ко всему сайту либо к отдельным его страницам или каталогам.
• Для работы с сайтом требуется аутентификация с помощью прокси-сервера, или же хостинг-провайдер заблокировал доступ к сайту для робота Googlebot.

Важны ли они?

Если заблокированные страницы важны, то наличие таких ошибок требует срочных действий.

Если необходимости в сканировании и индексации страницы нет, эти ошибки можно игнорировать.

Как исправить?

Чтобы устранить такие ошибки, нужно убрать причину, по которой Googlebot не может получить доступ к странице:

• уберите со страницы форму авторизации;
• проверьте настройки файла robots.txt и убедитесь, что он не блокирует Googlebot;
• используйте инструмент для проверки файла robots.txt. С его помощью вы сможете увидеть, как робот Googlebot будет интерпретировать содержание файла robots.txt;
• чтобы понять, как Googlebot видит ваш сайт, используйте инструмент «Просмотреть как Googlebot».

Просканируйте свой сайт с помощью Screaming Frog. Он покажет, требуется ли авторизация на страницах.

Хотя ошибки «Доступ запрещён» не так часты, как 404, они могут повредить ранжированию сайта. Это возможно в том случае, если заблокированы важные страницы.

D) Ошибки невыполнения перехода
Что это означает

В этой категории перечислены URL, на которые робот Googlebot не смог перейти. Чаще всего такие ошибки связаны с использованием Flash, Javascript и редиректов на сайте.

Важны ли они?

Если такие ошибки связаны с важными страницами, они требуют срочных действий. Если же проблемы обнаружены на устаревших URL, или же речь идёт о параметрах, которые необязательно индексировать, спешить не стоит. Тем не менее, разобраться с этими проблемами нужно.

Как устранить

Некоторые средства, используемые на сайте, могут затруднять процесс его сканирования роботами поисковых систем. В их числе – JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash.

Для проверки сайта на наличие подобных проблем Google рекомендует использовать текстовый браузер Lynx или инструмент «Просмотреть как Googlebot». Ещё один полезный инструмент – расширение User-Agent Switcher для Chrome.

При возникновении проблем со сканированием параметров проверьте, как Google их обрабатывает. Если вы хотите, чтобы Google по-другому обрабатывал ваши параметры, сообщите Google об изменениях с помощью инструмента «Параметры URL».

Если ошибки невыполнения перехода связаны с редиректами, сделайте следующее:

• Проверьте цепочки редиректов. Если перенаправлений слишком много (больше 5), Googlebot не будет переходить по всей цепочке.
• При возможности обновите архитектуру сайта, чтобы на каждую его страницу вела хотя бы одна статическая текстовая ссылка. Минимизируйте количество редиректов.
• Не включайте URL с переадресацией в файл Sitemap. Включайте целевой URL.

Больше данных об ошибках можно получить с помощью Search Console API.

Другие инструменты

• Screaming Frog SEO Spider – отличный инструмент для сканирования сайта и выявления ошибок переадресации;
• Moz Pro Site Crawl;
• Raven Tools Site Auditor.

E) Ошибки сервера и ошибки DNS

В разделе «Ошибки URL» также могут отображаться ошибки сервера и ошибки DNS. Устранять их нужно теми же способами, которые описаны для раздела «Ошибки сайта».

Ниже – общая таблица по ошибкам URL, которую можно использовать в качестве памятки:

Заключение

Работа над устранением ошибок важна и нужна. Видя сотни недочётов, поначалу трудно разобраться, какие из них требуют срочных действий. Однако со временем вы сможете довольно легко отличать важные проблемы от тех, которые можно спокойно игнорировать.

Автор рекомендует всем вебмастерам ознакомиться со справочной документацией по Google Search Console. При появлении вопросов можно обратиться к следующим ресурсам:

• Webmaster Central Help Forum
• Webmaster Central FAQs: Crawling, indexing, & ranking
• Webmaster Central Blog
• Справочная статья об ошибках сканирования в Search Console

Search Console – это один из самых мощных (и бесплатных) инструментов для диагностики ошибок сайта. Устранение описанных выше проблем поможет не только повысить позиции ресурса в поиске Google, но и улучшить опыт пользователей и быстрее достичь намеченных бизнес-целей.

Ошибка 404 – это вид ответа сервера, который встречается, если браузер не смог найти введенный пользователем URL. В этой статье мы подробнее расскажем об этой ошибке, разберемся, что она значит, как влияет на позиции сайта в выдаче, можно ли ее заставить работать на себя. Также мы рассмотрим несколько примеров креативного оформления соответствующей страницы.

В каких случаях возникает 404

Как реализуется 404 с технической точки зрения

Почему возникает ошибка 404

Инструменты для поиска ошибок на сайте

Способы исправления ошибки 404

Какие последствия для сайта могут быть от ошибки 404

Можно ли извлечь пользу из страницы с ошибкой 404

Примеры оформления страниц 404

В каких случаях возникает 404

Ответ сервера в зависимости от сайта может быть разным. Пользователь может увидеть оповещения:

• Error 404 Not Found;
• «404 Страница не найдена»;
• «HTTP 404 не найден»;
• «Ошибка 404».

Все они являются вариантами одной и той же ситуации: страницы нет на сайте (никогда не было или удалена) или она по какой-то причине перестала функционировать.

404 – стандартный код, который используется в протоколе HTTP. Если расшифровать подробно, он означает, что браузер смог связаться с сервером, но не нашел данных, соответствующих запросу пользователя. Для сравнения, если человек введет в адресную строку браузера набор несвязанных символов и нажмет Enter, то не получит ответа 404, вместо этого появится один из трех вариантов: сообщение о невозможности установить соединение с сервером, отчет о невозможности получить запрошенный URL или просто поисковая выдача.

Как реализуется 404 с технической точки зрения

Опишем подробнее техническую сторону формирования страницы 404.

Когда браузер обращается к серверу по HTTP для запроса прописанного пользователем URL, он ждет конкретного цифрового ответа, кода. Например, когда удается найти интересующую страницу, браузер получает код 200 OK. В этом случае загружается и отображается содержимое введенного URL.

Расшифруем код «404»:

• первая 4 показывает, что в запросе содержалось слишком много символов или в нем имелась ошибка;
• цифра 0 указывает на то, что в запросе есть синтаксическая неточность;
• последняя 4 говорит о том, что запрошенной ссылки не существует.

Почему возникает ошибка 404

Перечислим самые распространенные ситуации, когда пользователь может получить ответ 404 Not Found.

• Адрес введен неправильно. Опечатки не редкость, когда пользователь печатает URL вручную. Также при копировании он может случайно не выделить часть адреса и вставить получившуюся ссылку в строку браузера не полностью. Важно отметить, что ошибка 404 невозможна, если человек неправильно написал имя домена. В этом случае никакая страница не загрузится, не будет даже номера ошибки.
• Страница удалена. Разработчики нередко удаляют страницы с устаревшей или ошибочной информацией. Например, когда компания отказывается от одной из своих услуг или больше не продает тот или иной товар. Пользователь может попробовать зайти на эту страницу по сохраненной ссылке, из истории браузера или со сторонних ресурсов и получить в ответ ошибку 404.
• Битый линк. Изначально нерабочая ссылка, которая никуда не ведет. Часто подобная проблема имеет место при организации внутренней перелинковки. Например, разработчик указал адрес страницы с услугой, которую он в будущем создаст, и разместил ее в одной из статей блога, но в итоге так никогда и не сделал этот URL.
• Неправильный редирект. Такое случается, когда в процессе редизайна изменили адрес страницы, но не поправили связанные ссылки. Например, сначала все URL с товарами были с порядковыми номерами, но в дальнейшем было решено перейти на ЧПУ (человекопонятный УРЛ).
• Проблемы на сервере. Редкий случай, когда происходят те или иные неполадки и страница пропадает.

Получается, когда сервер доступен, а страница – нет, пользователь получает 404.

Инструменты для поиска ошибок на сайте

Вебмастер может легко проверить работоспособность ссылок вручную, если он управляет небольшим сайтом. Но когда страниц больше 100 или 1000, сложно обойтись без сторонних программ и сервисов. Рассмотрим несколько ресурсов, которые помогают обнаруживать несуществующие страницы и битые ссылки.

Яндекс Вебмастер

Яндекс предлагает собственный сервис для вебмастеров, с помощью которого поиск ошибок 404 становится максимально простым.

1. Сначала нужно авторизоваться в Вебмастере с помощью аккаунта Яндекса.
2. Далее нужно перейти в «Индексирование», затем открыть вкладку «Доступные для поиска страницы», найти «Исключенные страницы».
3. Появится список, в котором нужно с помощью фильтра «Ошибка HTTP: 404» отделить все несуществующие страницы.

Обязательное условие для использования Вебмастера – метатег в HTML-коде главной страницы. Это позволяет идентифицировать пользователя как владельца сайта.

Google Search Console

С помощью консоли Google можно быстро обнаруживать несуществующие страницы, для этого понадобится выполнить всего 4 шага:

1. Авторизоваться в Google;
2. Зайти в Search Console;
3. Найти раздел «Ошибки сканирования», из него перейти в пункт  «Диагностика»;
4. Нажать на фильтр Not Found.

Пользователь сможет увидеть список страниц с 404, если предварительно выполнит несколько действий: получит проверочный код через Google Workspace, вставит его в записи DNS для своего домена и дождется, когда регистратор обновит данные. Этот шаг привяжет сайт к его электронной почте и позволит уберечь домен от злоумышленников.

SiteAnalyzer

Полностью бесплатное ПО для ПК и ноутбуков, которое находит различные технические проблемы на сайте. С помощью SiteAnalyzer вебмастер сможет быстро найти все страницы, дающие ошибку 404.

Screaming Frog

Это десктопная программа, у которой нет веб-версии. Ее нужно скачать и установить на ПК. Затем достаточно запустить ПО и вставить URL интересующего веб-ресурса в окошко. Программа платная, но проверка на наличие ошибок 404 входит в бесплатный пакет, так что беспокоиться о денежных тратах не стоит.

Способы исправления ошибки 404

Вебмастер выбирает решения в зависимости от того, почему появилась ошибка.

1. Неверный URL приводит к тому, что при переходе по линку появляется 404. Такое случается, например, когда в адресе есть опечатка и ее не нашли при выкладке контента. Нужно найти все такие ссылки и заменить их на правильные, которые будут давать браузеру ответ 200 OK.
2. Битый линк. Чаще всего подобная ситуация возникает из-за того, что страница ссылается на давно удаленный с сайта URL. Такие проблемы бывают на старых сайтах, которыми в течение их «жизни» занимается один и тот же небольшой подрядчик. Нередко в этом случае специалисты удаляют ненужные страницы и забывают при этом проверять, не вели ли на них линки из других разделов.

Удаление и корректировка ссылок вручную возможна только при управлении сайтом с небольшим количеством страниц. Вебмастеры, которые работают с большими порталами, автоматизируют этот процесс. Они могут использовать специализированные плагины, которые организуют и контролируют внутреннюю перелинковку. Среди них Dagon Design Sitemap Generator, Terms Description. Для автоматического прописывания URL новым страницам можно применять Cyr-To-Lat. Этот плагин транскрибирует названия в ЧПУ.

Существует несколько несложных приемов, которые позволяют сократить количество ошибок 404 на сайте:

• давать основным разделам простые адреса. Благодаря этому удастся избежать частых опечаток в URL. Пользователь может сам заметить, что ошибся и исправить недочет;
• реже менять адреса страниц или удалять. Если переименовывать URL слишком часто, можно запутать поискового робота и затруднить пользование сайтом для людей;
• выбирать надежный сервер. Обращайтесь только к тем хостерам, которые хорошо зарекомендовали себя.

Все перечисленные выше меры касались сайтов, к которым у вебмастера есть доступ. Однако битые линки могут размещаться на сторонних ресурсах. Такое часто бывает при наращивании ссылочной массы: на других сайтах появляются статьи с гиперссылками на определенные разделы или товары рекламируемого сайта и остаются там навсегда. При этом ассортимент может поменяться, неактуальные позиции будут удалены, но ссылки на них останутся. В этом случае при клике на линк появится ошибка 404. Желательно связаться с администрацией сайта и попросить поправить или удалить контент.

Какие последствия для сайта могут быть от ошибки 404

Следует ли опасаться ошибки 404 Not Found с точки зрения последствий для сайта? На первый взгляд, нет ничего страшного в том, что пользователь не сможет найти страницу. Тем не менее регулярное повторение этой ошибки может привести к оттоку аудитории и ухудшению поведенческих факторов. Одни люди решат, что сайт закрылся, другие просто не захотят разбираться с веб-ресурсом, который выдал им ошибку, и переходить на другие существующие страницы. А кто-то после 404 еще и перестанет кликать по ссылкам на сайт в поисковой выдаче, потому что будет помнить, что его уже здесь «обманули».

Яндекс и Google достаточно лояльно относятся к ошибкам 404, они не должны влиять на рейтинг сайта. Однако, когда поисковый робот будет все чаще и чаще находить URL, отдающие Page Not Found, он решит, что веб-ресурс некачественный, и будет понижать позиции в выдаче. Разработчик, который хочет сделать взаимодействие с пользователями более качественным, старается сделать так, чтобы ошибки 404 не возникали.

Можно ли извлечь пользу из страницы с ошибкой 404

Тренд последнего десятилетия – полезные страницы с ошибкой Error 404 Not Found. Что они из себя представляют? Мы выделили несколько общих рекомендаций, как их оформить.

Разместить полезный контент

Хорошо, когда даже на странице с ошибкой пользователь может получить помощь. Поэтому советуем размещать на 404 следующее:

• ссылку на главную страницу;
• меню, ведущее на основные разделы сайта;
• афишу мероприятий, анонсы, объявления (для специализированных ресурсов);
• контактные данные для отчета об ошибке или обратной связи.

Пользоваться подсказками поисковых машин

У Яндекса и Google есть собственные рекомендации по оформлению страницы с ошибкой 404.

• Совет Яндекса. Страница должна отличаться от остальных с точки зрения дизайна: цвета, размера шрифта, графики, наполненности. Пользователь сразу должен понять, что что-то пошло не так, и получить варианты выхода из ситуации.
• Совет Google. Поисковик рекомендует оформлять страницу 404 в таком же стиле, как и остальные разделы сайта. Но посыл о том, что произошла ошибка, должен быть прозрачным и понятным, его можно сопроводить ссылками на полезные материалы.

Обе поисковые машины рекомендуют не использовать стандартное отображение страницы с ошибкой. Важно удержать внимание пользователя даже в негативно окрашенной ситуации.

Примеры оформления страниц 404

Designzillas

Красивый рисунок в анимационном стиле, сообщение об ошибке, кнопка для перехода на главную страницу и верхнее меню – здесь есть все необходимое, чтобы пользователь не ушел с сайта сразу.

Dogstudio

Привлекательный видеоряд и предложение перейти на главную страницу. Анимация не дает сразу уйти и заставляет умиляться, а кнопка позволяет продолжить навигацию по сайту.

Domenart Studio

Веб-студия «ДоменАРТ» создала красочную страницу для ошибки 404.  Важно, что она выполнена в стилистике остальных разделов и предлагает множество вариантов дальнейших действий: отправиться на главную, перейти к услугам, получить полезную информацию в блоге или связаться с представителями компании.

Hakim El Hattab

Анимация с поочередно открывающимися и моргающими глазами помогает дизайнеру из Швеции продемонстрировать свои способности и подсказать пользователю, что что-то пошло не так.

Hot Dot

Страница, где надпись 404 состоит из точек и бесконечно передвигается по экрану. В хедере остается меню для удобной навигации по сайту и заказа услуг по увеличению количества подписчиков, лайков и пр.

E-co

«ЕКО Power» является дистрибьютором источников питания, поэтому анимация на странице ошибки 404 у компании изображает разорванный провод и короткое замыкание. Чтобы оставить пользователя на сайте, ему предлагают перейти на главную.

Magnt

Компания, помогающая бизнесам вырасти за счет применения ИИ, вместе с отчетом об ошибке 404 предлагает шуточную диаграмму и кнопку для перехода на главную.

Госуслуги

Страница 404 на государственном портале предлагает два варианта: попросить помощи у робота или вернуться на главную.

Kualo

Веб-хостинг Kualo предлагает сыграть в аналог Space Invaders. В игре несколько уровней и всего 3 жизни. Прямо под текстом об ошибке расположена ссылка на главную.