Robots.txt для WordPress | Сервисы онлайн: tools seo, google, yandex photoshop Правильный robots.txt для WordPress Опубликовал admin | Дата 15 сентября, 2010 2 комментария Рубрика: Файл robots.txt

теги:  robots.txt wordpress, скачать robots.txt, образец robots.txt, правильный robots.txt

Robots.txt для WordPress

Как настроить robots.txt для правильной индексации поисковиками

Образец robots.txt, рекомендуемый авторами WordPress. Ниже вы видите образец файла robots.txt, который адаптирован под поисковые системы. В нём можно ничего не менять.

Но, как оказалось этот образец не идеален. Если, мы хотим повысить качество блога, избежать дублирование контента и попадания под фильтры, то нам в первую очередь нужно закрыть архивы( Disallow: /archive) от индексации.

 

1. Скачиваем образец robots.txt (Образец скачали 153 раз)

User-agent: *

Disallow: /cgi-bin   robots txt, правильный robots txt

Disallow: /wp-admin   robots txt для wordpress

Disallow: /wp-includes   

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /archive

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://www.site.ru/sitemap.xml

User-agent: Yandex

Crawl-delay: 5

Disallow: /tag


2. Меняем путь к карте сайта (если, она у вас есть):

Sitemap: http://www.site.ru/sitemap.xml (site.ru меняем на имя вашего блога).

 

3. Размещаем robots.txt в корневой папке вашего блога.

 

 

 

Ещё один вариант файла robots.txt для WordPress, который используется для блога Артёма Азарова http://artamos.ru

 

 

Проверил качество блога Артёма, через сервис  http://supplemental.name/ и вот результат:

 

Качество сайта artamos.ru 18%

В индексе гугла 102 страниц сайта artamos.ru
Из них в основном индексе 18 страниц;
В дополнительном индексе 84 страниц.

Средний по оригинальности материалов сайт.

Это хороший результат(критерии качества Гугла очень высоки).

Вывод: robots.txt для блога Артёма составлен правильно, можно пользоваться.

 

Анализируем robots.txt на Яндекс.Вебмастер

Директивы robots.txt на Яндекс.Вебмастер

Всё. Надеюсь, информация будет для вас полезной.

правильный robots.txt для wordpress

Затвитить пост!

Просмотров:265 Метки: Ещё по теме
2 комментария к “Правильный robots.txt для WordPress” Оставить комментарий или два « Photoshop онлайн Быстрый способ разблокировать яндекс кошелек » Подпишись на RSS!

Подпишись на RSS и получай обновления блога!

Получать обновления по электронной почте:



Если Вы давно мечтаете о создании собственного блога на движке Wordpress, то советую Вам обратить внимание на видеокурс "Wordpress - Профессиональный блог за один день". Это более 100 видеоуроков, по всем аспектам создания и ведения своего блога на самом популярном движке в мире.

Узнать подробнее




© 2008 Сервисы онлайн: tools seo, google, yandex photoshop

Заметок на блоге: 30
Комментариев: 13


Сервисы Онлайн feedbackна платформе
rss