Как закрыть сайт от индексации

У каждого вебмастера или SEO-оптимизатора рано или поздно возникает необходимость закрыть сайт от индексации поисковыми роботами. Причиной тому является то, что роботу не стоит «видеть» Ваш сайт вообще. По каким причинам роботу не стоит индексировать сайт?

Во-первых, закрыть домен от индексации нужно в случае, когда Вы начинаете только-только создавать сайт, наполняете его контентом или же он просто создается, как демо-версия будущего полноценного. Я, обычно, закрываю сайт от индексации в момент, как купил домен и установил CMS на хостинг. Когда же его не стыдно будет показать людям — нужно снять запрет индексации.

И так, как закрыть сайт от индексации? Все предельно просто. Для этого нужно внести изменения в файл robots.txt. Смотрим пример ниже.

User-agent: *
Disallow: /

Данные строчки определяют, что необходимо закрыть индексацию главной страницы (Disallow: /) всем поисковым роботам (User-agent: *). Остальные разделы сайта указывать нет смысла, так как закрыта уже главная страница. Когда нужно закрыть доступ от индекса конкретному роботу, например Яндексу, пишем следующее:

User-agent: Yandex
Disallow: /

Конечно, такое используется крайне редко, но все же имеет место на практике. Вместо Yandex можно указать любого другого робота ПС.

Если в файле robots.txt указано следующее:

User-agent: *
Disallow: /

User-agent: Google
Disallow: /

В любом случае будет закрыт от индексации сайт для всех поисковых роботов, так как указано *, что нивелирует последующие строки.

В CMS WordPress можно закрыть сайт от индексации через админку: «Настройки—>Чтение—>Рекомендовать поисковым машинам не индексировать сайт«. Конечно же гарантий того, что робот не проиндексирует сайт нету, но ленивые могут воспользоваться.

На этом всё. Надеюсь, инструкция Вам пригодится.

С уважением, Блог свободного человека!