Правильный файл robots.txt для WordPress

Рубрика: Sitemap и robots.txt

теги:  robots.txt wordpress, скачать robots.txt, образец robots.txt, правильный robots.txt

Как настроить robots.txt для правильной индексации поисковиками?

Файл robots.txt предназначен для того, чтобы показывать поисковым роботам, что и где нужно индексировать. Индексация — это процесс добавления в поисковую базу различных сведений о нашем сайте: о страницах, ссылках, текстовых материалах, графических объектах.

Оказавшись на нашем сайте, поисковый робот заходит в файл robots.txt, в котором указано, какую информацию показывать, а какую нет.

Ниже мы видим образец файла robots.txt рекомендуемый авторами WordPress, который адаптирован под поисковые системы. В нём можно ничего не менять.

Но, как оказалось этот образец не идеален. Если, мы хотим повысить качество блога, избежать дублирование контента и попадания под фильтры, то нам в первую очередь нужно закрыть архивы( Disallow: /archive) от индексации.

 

1. Скачиваем образец robots.txt (Образец скачали 547 раз)

User-agent: *

Disallow: /cgi-bin  

Disallow: /wp-admin  

Disallow: /wp-includes  

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /archive

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.site.ru/sitemap.xml — карта сайта

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag


2. Меняем путь к карте сайта (если, она у вас есть):

Sitemap: http://www.site.ru/sitemap.xml (site.ru меняем на имя нашего блога).

 

3. Размещаем robots.txt в корневой папке нашего блога.

 

robotstxt wordpress

Изначально я использовал образец рекомендованный авторами WordPress, но со временем пришёл к выводу, что его нужно немного доработать и теперь у меня вот такой файл robots.txt:

 

Скачиваем правильный robots.txt (Образец скачали 522 раз)

User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /archive/
Disallow: /author
Disallow: /trackback
Disallow: /feed
Disallow: /page/
Disallow: /comments
Disallow: /?feed=
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag*/
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.site.ru/sitemap.xml — карта сайта

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?

Host: site.ru  -  главное зеркало сайта, предназначено только для ЯНДЕКС.

Благодаря новому файлу robots.txt, количество дубликатов существенно снизилось, а качество блога с 5% улучшилось до 11 процентов. Меня это очень обрадовало, потому что показало, что файл robots.txt на самом деле имеет значение.)))

 

Анализируем robots.txt на Яндекс.Вебмастер

Директивы robots.txt

Всё. Надеюсь, информация будет для вас полезной.

 

Сайт: andreykrestovskiy.ru Рубрика: Файл robots.txt Статья: Правильный robots.txt для WordPress




1,142 просмотров
Метки: правильный,

2 комментария к “Правильный файл robots.txt для WordPress”

  • Артём Азаров
    14 декабря, 2010, 5:28
    Цитировать

    Ну если учитывать, что у terehoff.com 7%, bormaley.com 1% и maulnet.ru 2%, то у меня ещё хороший результат :)

  • 14 декабря, 2010, 17:33
    Цитировать

    У меня вообще пока 5%)))

Комментарии и пинг закрыты.
LiveRSS: Каталог русскоязычных RSS-каналов RSSMicro FeedRank Results Аудитория блога Анализ сайта
Поиск в RSS новостях и блогах Сервисы для Веб-Мастера feedbackна платформе