Robots.txt для WordPress | Сервисы Онлайн Robots.txt для WordPress Опубликовал admin | Дата 20 августа, 2010 Комментариев нет Рубрика: Robots.txt

Как настроить robots.txt для правильной индексации поисковиками

Образец robots.txt, рекомендуемый авторами WordPress.

Ниже вы видите образец файла robots.txt, который адаптирован под поисковые системы. В нём можно ничего не менять.

1. Скачиваем образец robots.txt (Образец скачали 5 раз)

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag


2. Меняем путь к карте сайта (если, она у вас есть):

Sitemap: http://www.site.ru/sitemap.xml (site.ru меняем на имя вашего блога).

3. Размещаем robots.txt в корневой папке вашего блога.

Всё. Надеюсь, информация будет для вас полезной.

Анализируем robots.txt

Sitemap для WordPress

robots txt +для wordpress, настройка robots txt, правильный robots txt

Затвитить пост!

Просмотров:3 Метки: Ещё по теме Оставить комментарий или два Создаём валидный robots.txt с помощью скрипта » Подпишись на RSS!

Подпишись на RSS и получай обновления блога!

Получать обновления по электронной почте:


© 2008 Сервисы Онлайн

Заметок на блоге: 18
Комментариев: 1




Сервисы Онлайн feedback на платформе
rss