Привет, друзья. Сегодня мы вновь поговорим о настройке блога. У каждого из вас есть такой файл robots.txt. Что это за файл, за что он отвечает и как его правильно настроить мы и поговорим в данной статье.

Robots txt для WordPress

  • Итак, первое. Robots txt – это?!

Это файл, который располагается в корне вашего блога.

Корень вашего блога

  • За что отвечает?

Он предназначен для поисковых роботов и отвечает за индексацию вашего блога.

  • Как выглядит правильный robots txt для WordPress
User-agent: *
Disallow: /wp-
Host: bikersky.ru
Sitemap: http://bikersky.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

В значениях Sitemap и Host не забудьте изменить адрес моего блога на свой.

Как видите, мы разрешили индексацию всего блога, за исключением разделов содержащих префикс wp- , т.е. мы запретили индексирование следующих разделов:

  • wp-includes
  • wp-feed
  • wp-content/plugins
  • wp-content/cache
  • wp-content/themes

Все остальное осталось открытым. Если у вас есть своя категория и вам нужно ее закрыть, например категория kursy, тогда дополнительно пропишите в robots.txt следующее:

Disallow: /kursy/

Таким способом вы можете закрыть от индексации любую категорию вашего блога.

Robots txt для WordPress составлен. В следующей статье мы поговорим о не менее важном файле под названием: .htacсess.

Более подробно о файле robots.txt можете прочитать читать здесь.

Новость 1: скоро я начну записывать небольшие аудиоподкасты, чтобы пообщаться с вами. Задать вопросы. Ответы сможете оставить в комментариях.

Новость 2: как получу свою зарплату, часть денег вложу в индекс топ 20.

Новость 3: ставлю себе цель – выйти на посещаемость 500 человек/сутки к Новому Году. Никогда не достигал планки выше 30 чел./сутки, но попробую.

Деньги не купят вам счастья, но они чертовски быстро принесут вам его! Фредди Меркьюри ©.

С уважением,