Правильный robots.txt для WordPress

теги: robots.txt wordpress, скачать robots.txt, образец robots.txt, правильный robots.txt

Как правильно создать robots.txt?

Файл robots.txt предназначен для того, чтобы показывать поисковым роботам, что и где нужно индексировать. Индексация — это процесс добавления в поисковую базу различных сведений о нашем сайте: о страницах, ссылках, текстовых материалах, графических объектах.

Оказавшись на нашем сайте, поисковый робот заходит в файл robots.txt, в котором указано, какую информацию показывать, а какую нет.

Ниже мы видим образец файла robots.txt рекомендуемый авторами WordPress, который адаптирован под поисковые системы. В нём можно ничего не менять.

Но, как оказалось этот образец не идеален. Если, мы хотим повысить качество блога, избежать дублирование контента и попадания под фильтры, то нам в первую очередь нужно закрыть архивы( Disallow: /archive) от индексации.

 

1. Скачиваем образец robots.txt (Образец скачали 953 раз)

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /archive

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.ваш_сайт.ru/sitemap.xml  -  карта сайта

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag

2. Меняем путь к карте сайта (если, она у вас есть):

Sitemap: http://www.ваш_сайт/sitemap.xml (меняем на имя нашего блога).

 

3. Размещаем robots.txt в корневой папке нашего блога.

Изначально я использовал образец рекомендованный авторами WordPress, но со временем пришёл к выводу, что его нужно немного доработать и теперь у меня вот такой файл robots.txt:

 

Скачиваем правильный robots.txt (Образец скачали 1045 раз)

User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /archive/
Disallow: /author
Disallow: /trackback
Disallow: /feed
Disallow: /page/
Disallow: /comments
Disallow: /?feed=
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag*/
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.ваш_сайт.ru/sitemap.xml  -  карта сайта

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

Host: ваш_сайт.ru  - главное зеркало сайта, предназначено только для ЯНДЕКС.

Благодаря новому файлу robots.txt, количество дубликатов существенно снизилось, а качество блога с 5% улучшилось до 11 процентов. Меня это очень обрадовало, потому что показало, что файл robots.txt на самом деле имеет значение.)))

 

Анализируем robots.txt на Яндекс.Вебмастер

Директивы robots.txt

Всё. Надеюсь, информация будет для вас полезной.

Google

Сайт: andreykrestovskiy.ru Рубрика: Файл robots.txt Статья: Правильный robots.txt для WordPress