Файл robots.txt для известных CMS

Прошлая наша статья поведала нашим читателям о том, как нужно правильно составлять файл robots.txt: какие директивы входят в него, как производить управление роботами ПС и индексацией. Эта статья расскажет о готовых и проверенных файлах robots.txt для лучших CMS.

Отличный robots.txt для WordPress

Самый известный движок WordPress основывается на многочисленных блогах. Начинаем именно с него.

файл robots.txt для cms wordpress

Он имеет отличие от robots.txt, который рекламируют сами разработчики WordPress. Однако, я считаю его самым оптимальным вариантом в настройках.

Нужный robots.txt для Joomla

Следующей CMS по уровню популярности является Джумла. Совершим немного изменений в главном файле robots.txt: впишем host и sitemap и получаем нужный файл Джумлы.

robots.txt для cms joomla

Robots.txt для uCoz

Платформа uCoz позволяет подгружать при создании сайта файл robots.txt, который настраивается самой системой. Однако случается так, что его придется поменять. К примеру, дописывать директиву закрытия некоторых страничек. Большинство пользователей не могут его найти. Его на самом деле нет на сайте, его подгрузка осуществляется из системы. По этой причине, если пользователя не устроит изначальный файл, то его нужно будет создавать самому. Для этого в блокноте создаем файл под названием robots.txt, впишем в него директивы и грузим в корневую часть сайта. Снизу представлен один из примеров данного файла robots.txt для uCoz

robots.txt для cms ucoz

Robots.txt для  OpenCart

Становится всё более популярной программа OpenCart. Её глупо было бы обходить стороной без рассмотрения. Описываемый в статье файл для нее представлен такой структурой:

robots.txt для cms opencart

Robots.txt для  Drupal

Друпал представлен следующим файлом:

robots.txt для cms drupal

Файл robots.txt для DLE

Частенько запрашивают настройку индексации Datalife Engine. Рекомендую robots.txt для DLE приблизительно такого плана.

robots.txt для cms dle

В следующей статье рассмотрим основные ошибки при оптимизации страниц сайта.

Оглавление