Способы закрыть сайт от индексации

27.12.2020DEV

Бывает так, что необходимо запретить доступ к сайту поисковым роботам, например, когда вы только разрабатываете свой сайт есть риск того что боты проиндексируют ненужную информацию, которой вы бы не хотели делиться. В этом материале мы расскажем, как закрыть сайт от индексации поисковиками всеми доступными способами.

Веб-сайты скрывают от поисковых роботов по разным причинам, но чаще всего этот процесс проводится по одной из таких причин.

1. В начале жизни интернет-ресурса, вы экспериментируете с наполнением сайта, меняете навигацию, интерфейс и другие параметры сайта. До завершения работы над сайтом мы рекомендуем скрыть свой ресурс от пристального взгляда Google и Яндекс, чтобы не индексировать страницы, которые еще в разработке. Не стоит думать, что сайт начинает индексироваться только после установки аналитических сервисов, поисковики обнаружат его и без этого.
2. Иногда у разработчиков возникает необходимость в копировании сайта, например, вебмастера часто создают дубликаты сайта на субдоменах для тестирования новых доработок. Важно сделать так, чтобы этот дубликат поисковики не увидели. В противном случае пострадает ваш основной сайт, а поисковые системы будут в заблуждении.

Способы закрытия индексации

Для сайтов, созданных на базе WordPress, есть быстрая и несложная схема действий для закрытия сайта от роботов. Если коротко то: Настройки/Чтение/Видимость для поисковых систем, ставим или убираем галочку в зависимости от ваших целей и сохраняем разумеется.

Если сайт построен не на WordPress, и нет возможности закрыть доступ к сайту через CMS, можно задать правила индексации через стандартный файл robots.txt, который лежит в корневой директории вашего сайта. Сделать это достаточно просто, чаще всего он существует по умолчанию, если его нет то можно создать самостоятельно. Файл должен быть доступен по адресу - вашсайт.com/robots.txt, где вашсайт.com – url вашего интернет-ресурса. Если файл пустой или вы его только-что создали, его необходимо заполнить командами. Рассмотрим самые популярные из них:

• Чтобы зарыть доступ поисковым системам ко всему сайту, необходимо добавить всего 2 строки: Usеr-аgеnt: * и Dіsаllоw: /. Таким образом мы запретим индексировать сайт целиком всем известным сегодня ботам.
• Если вы хотите запретить индексировать файлы в определенной папке, достаточно также указать всего 2 команды: Usеr-аgеnt: * и DіsаІІоw: /fоІdеr/, где /fоІdеr/ - имя вашей папки с содержимым. Таким образом мы запретим индексировать папку /fоІdеr/ и другие страницы, которые начинаются с этого адреса.

Важный момент! Usеr-аgеnt: * означает что мы блокируем доступ сразу для всех поисковых систем. Чтобы заблокировать доступ определенным, необходимо заменить звездочку на GооgІеbоt или Yаndех. Также существуют и другие боты: МSNВоt – бот поисковой системы Віng, Slurр – Yаhоо и т.д.

Для запрета индексации файлов с определенным расширением или форматом веб-мастера прописывают такие команды: Usеr-Аgеnt: * и DіsаІІоw: *.jрg. Само собой, jрg вы можете заменить на любой другой формат, например pdf или zip. Конечно же можно прописать несколько директив для разных форматов, каждая директива с новой строки.

Для более продвинутых пользователей, существует еще один эффективный способ с помощью которого, можно закрыть от индексации даже отдельные, конкретные страницы сайта. Во многих CMS данные настройки можно производить в самой "админке" для каждой страницы. Если же таких настроек у вас нет, или ваш сайт статический, вы можете прописать их самостоятельно в пределах непосредственно в шаблоне сайта или конкретной страницы: . С помощью данной директивы, мы запрещаем индексировать страницу и переходить по ссылкам на самой странице.

Как видите, все достаточно просто, а результат таких манипуляций можно проверить через "Консоль Веб-мастера". Есть и другие методы, типа настроек сервера или использования X-Robots-Tag, но тут уже могут понадобится специальные навыки, рассматривать мы их не будем. Надеемся данный материал был вам полезен!