Мда. Случилось с моими блогами одна интересная весчь.

В индексе гугла около 10 страниц такого вида:
Index of /wp-content/plugins/

Конечно вы понимаете, что это не должно было там оказаться. Это служебные папки, которые должны быть скрыты.

Ну в общем я не знаю, что со мной произошло, но я совсем забыл о файле robots.txt и пытался закрыть эту дыру, ставив в корни служебных папок пустой index.php файл. Ну вот так я решил выйти из ситуации, что поделать.

Потом на одном из форуме встретил упоминания о robots.txt для вордпресс и сразу же вспомнил, что существует таблетка для «моего» индекса блогов.

И так чем полезен правильный robots.txt:

  1. Помогает защититься от индексации дублированного контента;
  2. Помогать избежать от индексации служебных папок и файлов, это информация обязательно должны быть скрыта.

Итак, вот и сами варианты robots.txt

Вариант использования robots.txt от codex.wordpress.org:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.askapache.com/sitemap.xml

Это не означает, что это единственный правильный вариант. Есть много способов такого рода оптимизации, и вот вам ещё несколько. Выбирайте сами какой использовать, значение файлов должно быть понятным.

Вариант использования robots.txt для WordPress для русских поисковиков:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: domen.ru

Да, неплохо бы яндекс индивидуально носом ткнуть в правила индексации. Этот чудила может немало натворить неадекватностей.

Ну и самый матёрый вариант SEO оптимизации файла robots.txt для зарубежных поисковиков:


User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-content/b
Disallow: /wp-content/p
Disallow: /wp-content/themes/askapache/4
Disallow: /wp-content/themes/askapache/c
Disallow: /wp-content/themes/askapache/d
Disallow: /wp-content/themes/askapache/f
Disallow: /wp-content/themes/askapache/h
Disallow: /wp-content/themes/askapache/in
Disallow: /wp-content/themes/askapache/p
Disallow: /wp-content/themes/askapache/s
Disallow: /trackback/
Disallow: /*?*
Disallow: */trackback/

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: */trackback*
Disallow: /*?*
Disallow: /z/
Disallow: /wp-*
Allow: /wp-content/uploads/

# allow google image bot to search all images
User-agent: Googlebot-Image
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow: /*?*
Allow: /z/
Allow: /about/
Allow: /contact/
Allow: /wp-content/
Allow: /tag/
Allow: /manual/*
Allow: /docs/*
Allow: /*.php$
Allow: /*.js$
Allow: /*.inc$
Allow: /*.css$
Allow: /*.gz$
Allow: /*.cgi$
Allow: /*.wmv$
Allow: /*.cgi$
Allow: /*.xhtml$
Allow: /*.php*
Allow: /*.gif$
Allow: /*.jpg$
Allow: /*.png$

# disallow archiving site
User-agent: ia_archiver
Disallow: /

# disable duggmirror
User-agent: duggmirror
Disallow: /

Что делает каждый пример вам должно быть понятно, выберите лучший для себя вариант, можете совместить и в обще можете написать свой вариант сами.

Успехов!