Способи закрити сайт від індексації

27.12.2020DEV

Буває так, що необхідно заборонити доступ до сайту пошуковим роботам, наприклад, коли ви тільки розробляєте свій сайт є ризик того що боти проіндексують непотрібну інформацію, якою ви б не хотіли ділитися. У цьому матеріалі ми розповімо, як закрити сайт від індексації пошуковими системами всіма доступними способами.

Веб-сайти приховують від пошукових роботів з різних причин, але найчастіше цей процес проводиться за однією з таких причин.

1. На початку життя інтернет-ресурсу, ви експериментуєте з наповненням сайту, міняєте навігацію, інтерфейс та інші параметри сайту. До завершення роботи над сайтом ми рекомендуємо приховати свій ресурс від пильного погляду Google і Яндекс, щоб не індексувати сторінки, які ще в розробці. Не варто думати, що сайт починає індексуватися тільки після установки аналітичних сервісів, пошукові системы знаходять його і без цього.
2. Іноді у розробників виникає потреба в копіюванні сайту, наприклад, веб-майстри часто створюють дублікати сайту на доменах для тестування нових доробок. Важливо зробити так, щоб цей дублікат пошукові боти не побачили. В іншому випадку постраждає ваш основний сайт, а пошукові системи будуть в омані.

Способи закриття індексації

Для сайтів, створених на базі WordPress, є швидка і нескладна схема дій для закриття сайту від роботів. Якщо коротко то: Налаштування / Читання / Видимість для пошукових систем, ставимо або прибираємо галочку в залежності від ваших цілей і зберігаємо зрозуміло.

Якщо сайт побудований не на WordPress, і немає можливості закрити доступ до сайту через CMS, можна задати правила індексації через стандартний файл robots.txt, який лежить в кореневій директорії вашого сайту. Зробити це досить просто, найчастіше він існує за замовчуванням, якщо його немає то можна створити самостійно. Файл повинен бути доступний за адресою - вашсайт.com / robots.txt, де вашсайт.com - url вашого інтернет-ресурсу. Якщо файл порожній або ви його тільки-що створили, його необхідно заповнити командами. Розглянемо найпопулярніші з них:

• Щоб зарити доступ пошуковим системам до всього сайту, необхідно додати всього 2 рядки: Usеr-аgеnt: * та Dіsаllоw: /. Таким чином ми заборонимо індексувати сайт повністю всім відомим на сьогодні ботам.
• Якщо ви хочете заборонити індексувати певну директорію, досить також вказати всього 2 команди: Usеr-аgеnt: * і DіsаІІоw: / fоІdеr /, де / fоІdеr / - ім'я вашої папки з вмістом. Таким чином ми заборонимо індексувати папку / fоІdеr / та інші сторінки, які починаються з цієї адреси.

Важливий момент! Usеr-аgеnt: * означає що ми блокуємо доступ відразу для всіх пошукових систем. Щоб заблокувати доступ певним, необхідно замінити зірочку на GооgІеbоt або Yаndех. Також існують і інші боти: МSNВоt - бот пошукової системи Віng, Slurр - Yаhоо і т.д.

Для заборони індексації файлів з певним розширенням або форматом веб-майстри прописують такі команди: Usеr-Аgеnt: * та DіsаІІоw: * .jрg. Само собою, .jрg ви можете замінити на будь-який інший формат, наприклад .pdf або .zip. Звичайно ж можна прописати декілька директив для різних форматів, кожна директива з нового рядка.

Для більш продвинутих користувачів, існує ще один ефективний спосіб за допомогою якого, можна закрити від індексації навіть окремі, конкретні сторінки сайту. У багатьох CMS дані налаштування можна виконувати в самій "адмінки" для кожної сторінки. Якщо ж таких налаштувань у вас немає, або ваш сайт статичний, ви можете прописати їх самостійно в межах безпосередньо в шаблоні сайту або конкретної сторінки: . За допомогою даної директиви, ми забороняємо індексувати сторінку і переходити за посиланнями на самій сторінці.

Як бачите, все досить просто, а результат таких маніпуляцій можна перевірити через "Консоль веб-майстра". Є й інші методи, типу налаштувань сервера або використання X-Robots-Tag, але тут вже можуть знадобиться спеціальні навички, розглядати ми їх не будемо. Сподіваємося даний матеріал був вам корисний!