Как настроить robots.txt для правильной индексации поисковиками

Образец robots.txt, рекомендуемый авторами WordPress.

Ниже вы видите образец файла robots.txt, который адаптирован под поисковые системы. В нём можно ничего не менять.

1. Скачиваем образец robots.txt (Образец скачали 5 раз)

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag

2. Меняем путь к карте сайта (если, она у вас есть):

Sitemap: http://www.site.ru/sitemap.xml (site.ru меняем на имя вашего блога).

3. Размещаем robots.txt в корневой папке вашего блога.

Всё. Надеюсь, информация будет для вас полезной.

Анализируем robots.txt

Sitemap для WordPress

robots txt +для wordpress, настройка robots txt, правильный robots txt

Затвитить пост!