Массовая проверка ответов сервера по списку URL’ов: правильно ли настроен ответ, существуют ли страницы, есть ли редиректы, лежит сайт или нет.
Как работать: в поле «Проверяемые url’ы» вставьте урлы (с http(s)://), один на строку. Нажмите кнопку «Проверить». Если 200 — значит все хорошо. Если выделено красным — значит что-то плохо.
Особенность: по умолчанию выдает конечный ответ сервера. То есть, при наличии редиректа на правильную страницу ответ будет «200», но в соответствующей колонке будет указано, на какой урл было перенаправление. Если вам нужен исходный ответ — снимите галочку «следовать редиректам».
Массовая проверка ответа сервера
Для массовой проверки адресов страниц на код ответа сервера скопируйте столбец с URL, которые нужно проверить, вставьте его в поле «Список URL», поставьте галочку в чекбоксе «Я не робот» и нажмите «Проверить».
Лимит на массовую проверку URL на ответ сервера — 100 адресов за один раз. Потом сразу же можно запустить ещё одну проверку.
Полученные результаты можно скопировать и вставить в Excel, либо сразу скачать файл с результатами проверки в формате CSV, нажав кнопку «Скачать в CSV» (Эта кнопка появляется только после окончания проверки).
Наберитесь терпения — 100 URL-адресов скрипт проверяет около 1 минуты. Спасибо за использование нашего сервиса!
Проверка ответа сервера для сайта
Чтобы проверить код ответа сервера для одной страницы сайта, перейдите на вкладку «Проверка кода ответа сервера для одного URL», вставьте проверяемый URL в поле, и нажмите «Проверить».
By
on
September 12, 2015
SEO
404Checkr is a free Bulk 404 Checker. You can add as many URLs as you want for 404 error, and it will check all of them in one go. You can copy the URLs, or add the URLs from a text file. You can also choose number of threads that it should use for checking the URLs. And finally, you can choose to export the results as a csv or txt file.
If you have a lot of URLs from external sites, that you want to check for 404 errors, then there aren’t many good free options out there. The ones that are there have some sort of limitation on number of URLs that can be checked, or number of parallel threads that can be executed. Thankfully, that is not the case with this free Bulk 404 checker. It offers you unlimited of everything, for free. So, go ahead and upload your hundreds your URLs in this, and see it checking all of them quickly.
What I really like in this bulk 404 checker is that it is too simple to use. There aren’t any complicated settings to take care of. Just add the URLs you want to check, and off you go. Here is a brief step by step overview of using this freeware.
Note: Even though the software is free, developer has mentioned on his website that if this software is used for commercial purposes, then he should be informed, or atleast some donation could be sent to him via PayPal.
If you are looking for some free online option, then check out HTTP Status Checker.
How to Bulk Check Links for 404 Errors:
- Download this software from the link given at the end of this post. The download size is just 116 KB, so it should download instantly.
- In the downloaded zip file, there is a exe file. You just need to run it. There is no installation required.
- Once you run, you will see interface of this software, as in screenshot below:
- In this window, just go ahead and copy paste the URLs that you want to check for 404 errors. Paste 1 URL per line. There is no limit on number of URLs that you can paste. If you prefer, you can also upload the URLs from a file.
- After that, there are a couple of settings that you can change:
- Most important setting is the number of Threads. This basically tells how many URLs should this software check in parallel. If you have a PC of good configuration, you can increase this number, otherwise you can go with default value here.
- Second setting you can change is the Milliseconds till Timeout. In this setting, you basically tell this software that how many seconds it should wait for a webpage to load, before it shows that as an error. Default is 10 seconds. I was able to increase it till 60 seconds only.
- DNS Resolver: If you want to use a proxy server to check the URLs, you can do that here. This is useful if you want to check URLs that are blocked in your country, and you would want to test them from some other proxy.
- User-Agent: You can specify User-Agent also to perform the checks.
- Once everything is done, click on Analyze Button. This software will start checking those URLs for 404 errors.
- Once it is done testing, it shows the results. There are a couple of ways you can interact with the results:
- In the results window, you can just click on any URL to open in the browser. Even though this might seem trivial, but this is actually pretty useful, and well thought of. Some other similar software I have tried don’t let you do this, and you have to copy the URL and paste in the browser.
- Export the data in form of CSV and TXT files. The data simply contains the URLs and their corresponding status. The status would be “No Error”, or “404”, or any other error that you encountered. Do note that it does not do advanced error reporting, like tell about redirects, or any other error code. But that is not what this software is meant for.. it does a good job at finding and showing 404 errors.
- For some URLs, it might also show timeout error.
- Ideally, your work is done by now, and you have your results that you can use. But do note that most of these software always have some false errors. So, before going ahead and checking all the error links manually, it is a good idea to take the error links, add them to this software again, and see the results. Chances are that some of them would show as working fine. So, your manual work would be reduced. Also, if you see lot of URLs with timeout error, it would be a good idea to run the analysis again after increase the timeout time.
Performance of this Unlimited Bulk 404 URL Checker software:
I did 3 runs with this software, and here are my findings.
- In the first run, I tried it with around 500 URLs and default settings. It completed checking them in less than 2 minutes!
- In the second run, I tried this with around 7,000 URLs. The URLs were from around 40 different websites. I also increased the timeout to 60 seconds. This test really pushed this software to its limits. It completed this test in around 15-20 minutes. But after that, it basically hanged. Even though I was able to see the results, but I was not able to download them. Clicking on download links would again hang this software. Ultimately, I had to kill this software.
- Then the third run I did was with around 1,000 links. This went pretty nicely, and it completed checking them in less than 3 minutes. Also, I was able to easily download the results.
My Verdict:
I really like this software for its ease of use, and the fast performance. I was definitely disappointed when it hanged for me in the second run with 7,000 URLs, but I am OK using this software with lesser number of URLs (it worked perfectly fine for me for 1,000 URLs; that’s still a huge number of URLs to check).
Also, I like the thoughtfulness that has gone into exporting the results, and presenting them. I would have definitely liked to see some more types of errors, but that is not what this software is for. This software advertises itself as a bulk 404 checker, and it does a pretty good job at that. This is going to be a good tool in my arsenal of free SEO tools.
Go ahead and get this software from here. And if you like this, don’t forget to tip the developer.
|
Editor Ratings: |
|
|
User Ratings: [Total: 12 Average: 2.8] |
|
| Home Page URL: | Click Here |
| Works With: | Windows |
| Free/Paid: | Free |
|
Tags: SEO |
1. ОПРЕДЕЛЕНИЕ ТЕРМИНОВ
1.1. В настоящей Политике конфиденциальности используются следующие термины:
1.1.1. «Администрация сайта» – уполномоченные сотрудники на управления сайтом, действующие от имени ООО
«Третий Путь», которые организуют и (или) осуществляет обработку персональных данных, а также определяет цели
обработки персональных данных, состав персональных данных, подлежащих обработке, действия (операции),
совершаемые с персональными данными.
1.1.2. «Персональные данные» — любая информация, относящаяся прямо или косвенно к определяемому физическому
лицу (субъекту персональных данных).
1.1.3. «Обработка персональных данных» — любое действие (операция) или совокупность действий (операций),
совершаемых с использованием средств автоматизации или без использования таких средств с персональными
данными, включая сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение),
извлечение, использование, передачу (распространение, предоставление, доступ), обезличивание, блокирование,
удаление, уничтожение персональных данных.
1.1.4. «Конфиденциальность персональных данных» — обязательное для соблюдения Организацией или иным
получившим доступ к персональным данным лицом требование не допускать их распространения без согласия субъекта
персональных данных или наличия иного законного основания.
1.1.5. «Пользователь сайта (далее Пользователь)» – лицо, имеющее доступ к Сайту, посредством сети Интернет и
использующее Сайт Организации.
1.1.6. «IP-адрес» — уникальный сетевой адрес узла в компьютерной сети, построенной по протоколу IP.
1.1.7. «Cookies» — небольшой фрагмент данных, отправленный веб-сервером и хранимый на компьютере
пользователя, который веб-клиент или веб-браузер каждый раз пересылает веб-серверу в HTTP-запросе при попытке
открыть страницу соответствующего сайта.
2. ОБЩИЕ ПОЛОЖЕНИЯ
2.1. Порядок ввода в действие и изменения Политики конфиденциальности:
2.1.1. Настоящая Политика конфиденциальности (далее – Политика конфиденциальности) вступает в силу с момента
его утверждения приказом Руководителей Организации и действует бессрочно, до замены его новой Политикой
конфиденциальности.
2.1.2. Изменения в Политику конфиденциальности вносятся на основании Приказов Руководителей Организации.
2.1.3. Политика конфиденциальности персональных данных действует в отношении информации, которую ООО «Третий
Путь» (далее – Организация) являясь владельцем сайтов, находящихся по адресам: 3put.ru, а также их поддоменах
(далее – Сайт и/или Сайты), может получить от Пользователя Сайта при заполнении Пользователем любой формы на
Сайте Организации. Администрация сайта не контролирует и не несет ответственность за сайты третьих лиц, на
которые Пользователь может перейти по ссылкам, доступным на Сайтах.
2.1.4. Администрация сайта не проверяет достоверность персональных данных, предоставляемых Пользователем.
2.2. Порядок получения согласия на обработку персональных данных и их обработки:
2.2.1. Заполнение любой формы Пользователем на Сайте означает дачу Организации согласия на обработку его
персональных данных и с настоящей Политикой конфиденциальности и условиями обработки персональных данных
Пользователя, так как заполнение формы на Сайте Пользователем означает конклюдентное действие Пользователя,
выражающее его волю и согласие на обработку его персональных данных.
2.2.2. В случае несогласия с условиями Политики конфиденциальности и отзывом согласия на обработку
персональных данных Пользователь должен направить на адрес эл. почты и/или на почтовый адрес Организации
заявление об отзыве согласия на обработку персональных данных.
2.2.3. Согласие Пользователя на использование его персональных данных может храниться в Организации в
бумажном и/или электронном виде.
2.2.4. Согласие Пользователя на обработку персональных данных действует в течение 5 лет с даты поступления
персональных данных в Организацию. По истечении указанного срока действие согласия считается продленным на
каждые следующие пять лет при отсутствии сведений о его отзыве.
2.2.5. Обработка персональных данных Пользователя без их согласия осуществляется в следующих случаях:
- Персональные данные являются общедоступными.
- По требованию полномочных государственных органов в случаях, предусмотренных федеральным законом.
- Обработка персональных данных осуществляется для статистических целей при условии обязательного
обезличивания персональных данных. - В иных случаях, предусмотренных законом.
2.2.6. Кроме персональных данных при посещении Сайта собираются данные, не являющиеся персональными, так как
их сбор происходит автоматически веб-сервером, на котором расположен сайт, средствами CMS (системы управления
сайтом), скриптами сторонних организаций, установленными на сайте. К данным, собираемым автоматически,
относятся: IP адрес и страна его регистрации, имя домена, с которого Пользователь осуществил перехода на сайты
организации, переходы посетителей с одной страницы сайта на другую, информация, которую браузер Посетителя
предоставляет добровольно при посещении сайта, cookies (куки), фиксируются посещения, иные данные, собираемые
счетчиками аналитики сторонних организаций, установленными на сайте. Эти данные носят неперсонифицированный
характер и направлены на улучшение обслуживания Пользователя, улучшения удобства использования сайта, анализа
посещаемости. Эти данные собираются автоматически, отправку этих данных Пользователь может запретить, отключив
cookies (куки) в браузере, в котором открывается сайт.
2.2.7. Порядок обработки персональных данных:
К обработке персональных данных Пользователей могут иметь доступ только сотрудники Организации, допущенные к
работе с персональными данными Пользователей и подписавшие соглашение о неразглашении персональных данных
Пользователей.
Перечень сотрудников Организации, имеющих доступ к персональным данным Пользователей, определяется приказом
Руководителей Организации.
Обработка персональных данных Пользователей может осуществляться исключительно в целях установленных настоящей
политикой и при условии соблюдения законов и иных нормативных правовых актов Российской Федерации.
3. ПРЕДМЕТ ПОЛИТИКИ КОНФИДЕНЦИАЛЬНОСТИ
3.1. Настоящая Политика конфиденциальности устанавливает обязательства Администрации сайта по неразглашению и
обеспечению режима защиты конфиденциальности персональных данных, которые Пользователь предоставляет при
заполнении любой формы на Сайте.
3.2. Персональные данные, разрешённые к обработке в рамках настоящей Политики конфиденциальности,
предоставляются Пользователем путём заполнения регистрационной формы на Сайте и включают в себя следующую
информацию:
3.2.1. фамилию, имя, отчество Пользователя.
3.2.2. контактный телефон Пользователя.
3.2.3. адрес электронной почты (e-mail).
3.3. Любая иная персональная информация неоговоренная выше подлежит надежному хранению и нераспространению,
за исключением случаев, предусмотренных п. 2.5. настоящей Политики конфиденциальности.
4. ЦЕЛИ СБОРА ПЕРСОНАЛЬНОЙ ИНФОРМАЦИИ ПОЛЬЗОВАТЕЛЯ
4.1. Персональные данные Пользователя Администрация сайта может использовать в целях:
4.1.1. Установления с Пользователем обратной связи, включая направление уведомлений, запросов, касающихся
использования Сайта, оказания услуг, обработка запросов и заявок от Пользователя.
4.1.2. Осуществления рекламной деятельности с согласия Пользователя.
4.1.3. Регистрации Пользователя на Сайтах Организации для получения индивидуальных сервисов и услуг.
4.1.4. Совершения иных сделок, не запрещенных законодательством, а также комплекс действий с персональными
данными, необходимых для исполнения данных сделок.
5. СПОСОБЫ И СРОКИ ОБРАБОТКИ ПЕРСОНАЛЬНОЙ ИНФОРМАЦИИ
5.1. Обработка персональных данных Пользователя осуществляется без ограничения срока, любым законным
способом, в том числе в информационных системах персональных данных с использованием средств автоматизации или
без использования таких средств.
5.2. При утрате или разглашении персональных данных Администрация сайта информирует Пользователя об утрате
или разглашении персональных данных.
5.3. Администрация сайта принимает необходимые организационные и технические меры для защиты персональной
информации Пользователя от неправомерного или случайного доступа, уничтожения, изменения, блокирования,
копирования, распространения, а также от иных неправомерных действий третьих лиц.
6. ОБЯЗАТЕЛЬСТВА СТОРОН
6.1. Пользователь обязан:
6.1.1. Предоставить информацию о персональных данных, необходимую для пользования Сайтом.
6.1.2. Обновить, дополнить предоставленную информацию о персональных данных в случае изменения данной
информации.
6.2. Администрация сайта обязана:
6.2.1. Использовать полученную информацию исключительно для целей, указанных в п. 4 настоящей Политики
конфиденциальности.
6.2.2. Обеспечить хранение конфиденциальной информации в тайне, не разглашать без предварительного
письменного разрешения Пользователя, а также не осуществлять продажу, обмен, опубликование, либо разглашение
иными возможными способами переданных персональных данных Пользователя, за исключением случаев, указанных в п.
2.5. настоящей Политики Конфиденциальности.
6.2.3. Принимать меры предосторожности для защиты конфиденциальности персональных данных Пользователя
согласно порядку, обычно используемого для защиты такого рода информации в существующем деловом обороте.
6.2.4. Осуществить блокирование и/или удаления персональных данных, относящихся к соответствующему
Пользователю, с момента обращения или запроса Пользователя или его законного представителя либо
уполномоченного органа по защите прав субъектов персональных.
7. ОТВЕТСТВЕННОСТЬ СТОРОН
7.1. Администрация сайта, не исполнившая свои обязательства, несёт ответственность в соответствии с
действующим законодательством Российской Федерации, за исключением случаев, предусмотренных п.2.5. и 7.2.
настоящей Политики
Конфиденциальности.
7.2. В случае утраты или разглашения Конфиденциальной информации Администрация сайта не несёт
ответственность, если данная конфиденциальная информация:
7.2.1. Стала публичным достоянием до её утраты или разглашения.
7.2.2. Была получена от третьей стороны до момента её получения Администрацией сайта.
7.2.3. Была разглашена с согласия Пользователя.
8. РАЗРЕШЕНИЕ СПОРОВ
8.1. До обращения в суд с иском по спорам, возникающим из отношений между Пользователем сайта и
Администрацией сайта, обязательным является предъявление претензии (письменного предложения о добровольном
урегулировании спора).
8.2. Получатель претензии в течение 30 календарных дней со дня получения претензии, письменно уведомляет
заявителя претензии о результатах рассмотрения претензии.
8.3. При не достижении соглашения спор будет передан на рассмотрение в судебный орган в соответствии с
действующим законодательством Российской Федерации.
8.4. К настоящей Политике конфиденциальности и отношениям между Пользователем и Администрацией сайта
применяется действующее законодательство Российской Федерации.
9. ДОПОЛНИТЕЛЬНЫЕ УСЛОВИЯ
9.1. Администрация сайта вправе вносить изменения в настоящую Политику конфиденциальности без согласия
Пользователя.
9.2. Новая Политика конфиденциальности вступает в силу с момента ее размещения на Сайте, если иное не
предусмотрено новой редакцией Политики конфиденциальности.
9.3. Действующая Политика конфиденциальности размещена на страницах сайтов находящихся по адресам: 3put.ru, а
также на их поддоменах.
Массовая проверка кода ответа сервера
Как пользоваться инструментом?
Вебмастерам и SEO-специалистам часто требуется определить код ответа той или иной страницы сайта, а зачастую и целого списка страниц, чтобы решить задачи:
-
Отслеживания работоспособности продвигаемых SEO-специалистами страниц.
В том случае если продвигаемая страница отдаёт неверный код ответа сервера (отличный от 200 ОК), это может приводить к исключению страницы из индекса поисковой системы. -
Отслеживания работоспособности страниц, на которые ведут объявления рекламной кампании.
Возможны ситуации, когда с сайта удаляются товары, на которые ведут объявления рекламной компании. С помощью сервиса можно своевременно обнаружить ошибки, получив коды ответа сервера для целого списка страниц (максимум за одну итерацию — 100 ссылок).
В данном случае страница №2 отдаёт код 404, что говорит о её недоступности к индексации.
-
Выявления редиректов в структуре сайта для исключения излишних перенаправлений.
Если в исходном коде имеются ссылки на указанные URL-адреса, то рекомендуется заменить их на конечные URL-адреса (столбец «URL-переадресации»).
Зачем столбец с размерами документов?
-
Избыточный вес может негативно влиять на ранжирование документа.
Максимальное рекомендованное значение: 120 Кб. В случае превышения данного лимита стоит оптимизировать контент, (выносить в отдельный файлы JS и CSS-фрагменты). -
По весу страницы можно сделать определённые выводы о типе документа, расположенному по введенному URL-адресу, а также находить потенциальные дубли.
Если подобные «взвешивания» производить с определённой регулярностью, в случае удаления карточек товаров со страницы категории, последняя потеряет в весе, что проинформирует об опустошении посадочной страницы, а следовательно о необходимости её дополнительного анализа.
Возможность скачать результат в CSV
Чтобы скачать результат массовой проверки в формате CSV, необходимо перед запуском проверки поставить галочку «Скачать результаты в виде CSV-файла».
Какие коды ответа сервера существуют?
Существует свыше 50 кодов ответа, но повседневно SEO-специалистам, вебмастерам и директологам приходится сталкиваться со следующими:
- 200 OK — страница доступна, в ответе содержатся запрошенные данные. Надо стремиться к тому, чтобы этот код ответа отдавали все продвигаемые документы сайта и документы, на которые ведут объявления рекламных кампаний.
- 301 Moved Permanently — запрашиваемая страница была перенесена на новый URL (был настроен редирект), который указан в инструменте в случае данного кода ответа в столбце «URL-переадресации».
- 302 Found — запрашиваемая страница была временно перенесена на другой URL, который указан в инструменте в случае данного кода ответа в столбце «URL-переадресации».
- 404 или Not Found — страница не была найдена по указанному URL.
- 410 Gone — запрашиваемая страница была удалена с указанного URL и теперь недоступна. Если документ в ближайшее время может быть восстановлен, рекомендуется клиенту отдавать 404.
- 503 Server Unavailable — сервер временно не имеет возможности обрабатывать запросы по техническим причинам. В поле Retry-After заголовка сервер может указать время, через которое клиенту рекомендуется повторить запрос. Данный код ответа используется для того, чтобы сообщить поисковому роботу о проведении технических работ на сайте и необходимости посетить ресурс позже. С точки зрения продвижения рекомендуется следить за страницами с кодом ответа 503, чтобы после проведения технических работ на сайте они снова отдавали код ответа 200 OK.