Как запретить индексацию страниц сайта

Ускорение индексации сайта — это одна из немаловажных задач каждого Администратора сайта и веб-мастера, увеличивающая рост продвижения интернет-ресурса в поисковых системах Google, Яндекс и других, выводящая сайт в ТОП в короткий промежуток времени. Но случаются моменты, когда требуется закрыть индексацию некоторых страниц от поисковых роботов. Это может быть скрытый контент, который доступен только посетителям сайта, пришедшим по ссылкам на другие темы и материалы.

Но многие начинающие веб-мастера и рекламисты, да и опытные в этом деле люди задаются вопросом «Как запретить индексацию страницы в поисковых системах». И в какие моменты нужно производить такие манипуляции с кодировкой сайта для многих тоже остается загадкой. Но это не проблема.

Ставится запрет на индексацию на страницы, которые не несут какой-либо значимой информации для пользователей или несут информацию, которая не должна быть доступна обширным массам пользователей Интернета. Такой информацией может быть — информация о пользователях сайта (персональные странички), форма ввода информации, разделы администрации на форуме или секретные разделы, которые должны оставаться значимыми, к примеру, для тех пользователей, которые оплатили к ним доступ.

В случае же индексации информация из секретного раздела может выплыть наружу и быть доступной для многочисленного количества пользователей интернета, которые ввели ключевые слова, значимость которых в тексте предельно высока. Да и дублирующиеся страницы не должны попадать в поисковые системы, это может привести к блокированию сайта одним из поисковых роботов.

Существует несколько видов запрета индексации располагающегося на сайте контента — глобальный и локальный. Так же запрет может относиться только к ссылкам расположенным на сайте, к примеру, если у вас торговая площадка по продаже партнерских товаров со ссылающимися картинками или партнерскими ссылками на сайты производителей или продавцов — в этом случае следует ограничить индексацию ссылок.

Запрет индексации в файле robots.txt

Чаще всего данный метод применяется в случае, если требуется запрещение индексации определенной страницы на сайте. Для запрещения индексирования нескольких папок или/и страниц на сайте, вам необходимо делать все это именно через robots.txt.

Код и его значения:

User-agent: *
Disallow: /roku.html
Disallow: /toro/

* — это определение, что нужный запрет предназначается для всех поисковых страниц или каких именно страниц;
Disallow: /roku.html — ставит запрет на индексирование страницы roku.html;
Disallow: /toro/ — запрет на индексирование всего содержимого папки toro.

Запрещаем индексацию страницы через мета-тег robots

Посредством использования мета-тега Robots происходит запрет на индексацию определенной страницы сайта/форума/портала, распространяющийся на все имеющиеся в интернете поисковые системы и их роботов, которые не смогут осуществить посещение нужной страницы. В Robots.txt наоборот, запрет индексации страницы сайта можно настраивать на определенную поисковую систему. Подчиняется мета-тег всем известным правилам html, его нахождение в коде страницы сайта должно быть между тег-кодами <head><⁄head>. Вид записи для запрета на индексацию определенной страницы сайта:

<meta name=»robots» content=»noindex, nofollow»>

Варианты условий атрибута content:

index — разрешение на индексацию страницы;
noindex – запрет на индексирование определенной страницы сайта;
follow – разрешение индексирования ссылки именно на этой странице;
nofollow – запрещается индексация всех имеющихся на странице ссылок;
all – index и follow (разрешение на индексирование в поисковых системах и ссылок, и страниц);
none – происходит включение noindex и nofollow.

Запись, разрешающая индексацию всех страниц сайта и ссылок:

<meta name=»robots» content=»all»/>

Запрещающая индексацию всех страниц и ссылок сайта:

<meta name=»robots» content=»none»/>

Есть возможность указания, для какой поисковой системы идут ограничения:

<meta name=»Google» content=»all»/>

Запрет индексации ссылки (тег <a>) с помощью атрибута rel=»nofollow»

Закрыть ссылку для индексации можно с помощью атрибута rel=»nofollow» в теге ссылки <a>. Пример записи запрета ссылки:

<a href=»http://roku.ru» rel=»nofollow»>ссылка с запретом на индексацию</a>

Данный атрибут учитывают поисковые системы — как Google, так и Яндекс, при этом запрещается для индексации только одна ссылка, остальные разрешены для индексации. Обычно rel=»nofollow» используют в случаях, когда хотят сохранить ссылочный вес страницы, которая ссылается на другие сайты.

Запрет индексации части страницы тегом <noindex>

Тегом <noindex> обычно закрывают часть контента страницы. Например, можно закрыть скрипты, счетчики статистики и т.п. Форма записи:

<noindex>часть контента, которую закрываем от индексации</noindex>

Расположение тега <noindex> возможно в любом месте страницы, также не имеет значение вложенность. Для повышения валидности используйте запись вида:

<!––noindex––>часть контента, которую закрываем от индексации<!––/noindex––>

Запрет индексации с помощью файла .htaccess

С помощью файла .htaccess можно запретить доступ к части страниц сайта. Также можно делать запрет страницы, например, отдельно для ПС Яндекс. Форма записи в этом случае следующая:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} yandex
RewriteRule ^указываем_адрес_страницы$ — [F]

Основные методы запрета индексации разобрали. Теперь переходим к рассмотрению вопроса Почему сайт не индексируется.

Оглавление