Robots.txt пример | Сервисы Онлайн Создаём валидный robots.txt с помощью скрипта Опубликовал admin | Дата 19 августа, 2010 Комментариев нет Рубрика: Robots.txt

Что такое robots.txt?

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле мы можем указать параметры индексирования своего сайта как для всех роботов, так и для каждой поисковой системы по отдельности.

 

В robots.txt используеться 2 команды: «User-agent» и «Disallow».

Знак «#» — комментарии.

User-agent — определяет робота, а Disallow — задает файл, который будет закрыт для индексации.

Пример с объяснениями:

User-agent: Rambler
User-agent: Yandex
Disallow: /next
#запрещение индексации Рамблеру и Яндексу ссылок, которые начинаються с «/next»
#если запретов несколько, то каждый Disallow писать с новой строки

User-agent: Рамблер
Disallow:
#пустое поле разрешает Апорту индексировать все ссылки

User-agent: *
Disallow: /next
#Запретить всем роботам индексацию ссылок, которые начинаются с «/next»

И последнее:

User-Agent: Yandex
Disallow: /*.jpg$
#Запрещает Яндексу индексацию файлов с расширением .jpg

Robots.txt можно создать ручками (для тех, кто знает как), а мы с вами будем создавать с помощью скрипта. Ну, что приступим?

1. Идём по адресу http://4seo.biz/tools/15/

2.  Я буду создавать robots.txt на примере странички http://browser.b13.su. Пишем в строке адрес своего сайта.

3. Ставим галочку, запретить скачивание сайта

4. Директива Host(на ваше усмотрение) директивы для robots.txt

Если ваш сайт имеет зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его у всех зеркал при помощи robots.txt, используя директиву 'Host', определив в качестве ее параметра имя главного зеркала. Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.

5. Жмём кнопку, генерировать. Всё robots.txt готов! Скачиваем файл на компьютер.

6. Теперь нам нужно разместить robots.txt в корневом каталоге сайта у себя на хостинге. Открываем ftp-клиент и закачиваем файл на сервер.

Всё, инструкция для роботов готова! Надеюсь, информация для вас будет полезной.

Анализируем robots.txt

файл robots.txt, robots.txt пример, создать robots.txt, правильный robots.txt, robots.txt создание, robots.txt host, robots.txt пример

Затвитить пост!

Просмотров:23 Метки: Ещё по теме
Оставить комментарий или два « Роботы поисковики Стандарт исключений для роботов » Подпишись на RSS!

Подпишись на RSS и получай обновления блога!

Получать обновления по электронной почте:







This site is worth$1820Your website value?

© 2008 Сервисы Онлайн

Заметок на блоге: 26
Комментариев: 1


Сервисы Онлайн feedback на платформе
rss