Правильный файл robots.txt для WordPress
теги: robots.txt wordpress, скачать robots.txt, образец robots.txt, правильный robots.txt
Как настроить robots.txt для правильной индексации поисковиками?
Файл robots.txt предназначен для того, чтобы показывать поисковым роботам, что и где нужно индексировать. Индексация — это процесс добавления в поисковую базу различных сведений о нашем сайте: о страницах, ссылках, текстовых материалах, графических объектах.
Оказавшись на нашем сайте, поисковый робот заходит в файл robots.txt, в котором указано, какую информацию показывать, а какую нет.
Ниже мы видим образец файла robots.txt рекомендуемый авторами WordPress, который адаптирован под поисковые системы. В нём можно ничего не менять.
Но, как оказалось этот образец не идеален. Если, мы хотим повысить качество блога, избежать дублирование контента и попадания под фильтры, то нам в первую очередь нужно закрыть архивы( Disallow: /archive) от индексации.
1. Скачиваем образец robots.txt (Образец скачали 547 раз)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.site.ru/sitemap.xml — карта сайта
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
2. Меняем путь к карте сайта (если, она у вас есть):
Sitemap: http://www.site.ru/sitemap.xml (site.ru меняем на имя нашего блога).
3. Размещаем robots.txt в корневой папке нашего блога.
Изначально я использовал образец рекомендованный авторами WordPress, но со временем пришёл к выводу, что его нужно немного доработать и теперь у меня вот такой файл robots.txt:
Скачиваем правильный robots.txt (Образец скачали 522 раз)
User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /archive/
Disallow: /author
Disallow: /trackback
Disallow: /feed
Disallow: /page/
Disallow: /comments
Disallow: /?feed=
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag*/
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.site.ru/sitemap.xml — карта сайта
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: site.ru - главное зеркало сайта, предназначено только для ЯНДЕКС.
Благодаря новому файлу robots.txt, количество дубликатов существенно снизилось, а качество блога с 5% улучшилось до 11 процентов. Меня это очень обрадовало, потому что показало, что файл robots.txt на самом деле имеет значение.)))
Анализируем robots.txt на Яндекс.Вебмастер
Всё. Надеюсь, информация будет для вас полезной.
Сайт: andreykrestovskiy.ru Рубрика: Файл robots.txt Статья: Правильный robots.txt для WordPress
2 комментария к “Правильный файл robots.txt для WordPress”
Ну если учитывать, что у terehoff.com 7%, bormaley.com 1% и maulnet.ru 2%, то у меня ещё хороший результат
У меня вообще пока 5%)))