Правильный robots.txt для WordPress
теги: robots.txt wordpress, скачать robots.txt, образец robots.txt, правильный robots.txt
Как правильно создать robots.txt?
Файл robots.txt предназначен для того, чтобы показывать поисковым роботам, что и где нужно индексировать. Индексация — это процесс добавления в поисковую базу различных сведений о нашем сайте: о страницах, ссылках, текстовых материалах, графических объектах.
Оказавшись на нашем сайте, поисковый робот заходит в файл robots.txt, в котором указано, какую информацию показывать, а какую нет.
Ниже мы видим образец файла robots.txt рекомендуемый авторами WordPress, который адаптирован под поисковые системы. В нём можно ничего не менять.
Но, как оказалось этот образец не идеален. Если, мы хотим повысить качество блога, избежать дублирование контента и попадания под фильтры, то нам в первую очередь нужно закрыть архивы( Disallow: /archive) от индексации.
1. Скачиваем образец robots.txt (Образец скачали 953 раз)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.ваш_сайт.ru/sitemap.xml - карта сайта
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
2. Меняем путь к карте сайта (если, она у вас есть):
Sitemap: http://www.ваш_сайт/sitemap.xml (меняем на имя нашего блога).
3. Размещаем robots.txt в корневой папке нашего блога.
Изначально я использовал образец рекомендованный авторами WordPress, но со временем пришёл к выводу, что его нужно немного доработать и теперь у меня вот такой файл robots.txt:
Скачиваем правильный robots.txt (Образец скачали 1045 раз)
User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /archive/
Disallow: /author
Disallow: /trackback
Disallow: /feed
Disallow: /page/
Disallow: /comments
Disallow: /?feed=
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag*/
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.ваш_сайт.ru/sitemap.xml - карта сайта
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /archive
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: ваш_сайт.ru - главное зеркало сайта, предназначено только для ЯНДЕКС.
Благодаря новому файлу robots.txt, количество дубликатов существенно снизилось, а качество блога с 5% улучшилось до 11 процентов. Меня это очень обрадовало, потому что показало, что файл robots.txt на самом деле имеет значение.)))
Анализируем robots.txt на Яндекс.Вебмастер
Всё. Надеюсь, информация будет для вас полезной.
Сайт: andreykrestovskiy.ru Рубрика: Файл robots.txt Статья: Правильный robots.txt для WordPress