Если вы хотите порадовать свою любимую цветами, то доставка цветов на дом в москве придется вам как нельзя кстати. А самую быструю и лучшую доставку цветов в Москве вы найдете на сайте king-flower.com.

Файл robots.txt — это очень важный файл на каждом сайте, который планируется продвигать в поисковых системах. По сути, файл robots.txt — это обыкновенный текстовый файл, который содержит в себе все необходимые инструкции для поисковиков о индексировании сайта, о зеркале домена, а так же о файле sitemap.xml. Хотелось бы в данной статье остановиться на составлении robots.txt именно для движка wordpress. Важно при составлении файла robots.txt быть внимательным, так как неправильная настройка может привести к тому, что поисковики не будут вас индексировать.
Итак, начнем с того, что разберем основные команды, указывающиеся в файле robots.txt:
User-Agent
Данная команда указывает имя робота, к которому следует применить правила, описанные под командой.
Disallow и Allow
Данные команды предназначены для того, чтобы запретить или разрешить доступ роботам к отдельным разделам сайта или к сайту в целом. Важно, чтобы между директивами не было пустых строк. При этом Allow всегда используется первой и только после нее уже Disallow.
Host
Данная команда указывает для Яндекса главное зеркало сайта.
Sitemap
Данная команда нужна для указания наличия карты сайта, а так же пути к карте.
Спецсимвол *
Обозначает любую последовательность символов.

Далее я предлагаю пройтись по основным этапам создания файла robots.txt для WordPress. Начинать будем с команды User-Agent. Самыми важными ботами конечно же являются Yandex, YandexBlog, а так же Googlebot. Кроме того для многих важны еще и роботы StackRambler и msnbot(Bing). Если вы настраиваете robots.txt, то можно создать единственное правило для всех роботов, в нашем же случае мы имеем дело с настройкой блога, поэтому стоит дописать дополнительное правило, которое разрешит роботу YandexBlog доступ ко всему(так как он ходит только в фиды и админку сайта):
User-agent: YandexBlog
Disallow:

Далее, для работы со всеми остальными ботами нам необходимо пропустить одну строчку и дописать следущее:
User-Agent: *
Теперь давайте задействуем команды Allow и Disallow. Для начала разрешим доступ к директории uploads, в которой расположены изображения, залитые через админку:
Allow: /wp-content/uploads/
Далее мы закроем от индексирования папку wp-content, а так же служебные директории(админку, плагины, авторизацию и резистрацию):
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

Дальше вы можете закрыть к примеру индексирование тегов в том случае, если вы хотите избежать дублирование контента внутри блога:
Disallow: /tag
Так же по желанию можно закрыть и другие разделы сайта:
Disallow: /category
Disallow: /archive

Далее закроем от индексации страницы поиска по сайту, фиды и трекбеки:
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Далее укажем где располагается карта сайта на вашем блоге:
Sitemap: http:// ваш сайт.ru/sitemap.xml

В конечном счете вы должны получить примерно такой файл robots.txt, который будет сообщать поисковым ботам всю необходимую информацию о том каким образом лучше всего индексировать ваш блог на WordPress:

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Sitemap: http://domain.ru/sitemap.xml