Создаем robots.txt | Директивы для файла robots.txt
теги: файл robots txt, создаем robots txt, robots txt онлайн
Robots.txt — это текстовый файл, расположенный в корневой папке сайта, который предназначен для роботов поисковых систем. В этом файле мы можем прописать правила индексирования нашего ресурса, как для всех роботов, так и для каждой поисковой системы по отдельности.
Создать robots.txt можно двумя способами:
1. Прописать правила индексирования своими ручками
2. Создать с помощью генератора
g
Создаем robots.txt своими ручками
В этой главе я не буду расписывать правила и дерективы для robots.txt, просто приведу пример и дам полезные ссылки на ресурсы в которых подробно описывается создание robots.txt своими ручками. От правильного написания robots.txt зависит дальнейшая индексация нашего ресурса поисковиками. Поэтому, по возможности внимательно изучите директивы для Яндекс и Google.
В простом файле robots.txt используются два правила:
User-Agent: определяет робота для которого применяется следующее правило исключения
Disallow: каталоги и url, которые хотим закрыть от индексации
Пример с объяснениями:
User-agent: Yandex
Disallow: /next
# запрещает индексацию Яндексу ссылок, которые начинаются с «/next»
# если запретов несколько, то каждый Disallow прописываем с новой строки
User-agent: Yandex
Disallow:
# пустое поле Disallow разрешает Яндексу индексировать все ссылки
User-agent: *
Disallow: /next
# запрещает всем роботам индексацию ссылок, которые начинаются с «/next»
и так далее, смотрите директивы для Google и Yandex.
Директивы robots.txt для Google
Директивы robots.txt для Яндекс
Проверить robots.txt на Яндекс.Вебмастер
Стандарт исключений для роботов
Правильный robots.txt для WordPress
Создаём robots.txt с помощью генератора
Генератор — это сервис, который создаёт валидный файл robots.txt для нашего ресурса.
a). Идём по адресу http://4seo.biz/tools/15/
b). Создаем robots.txt, пишем в строке адрес своего ресурса.
c). Выставляем нужные нам настройки (запрещаем или разрешаем индексировать директории и файлы)
d). Директива Host(на ваше усмотрение) директивы для robots.txt на Яндекс.Вебмастер
e). Жмём кнопку, генерировать. Всё, robots.txt готов! Скачиваем файл на компьютер.
Заключительная часть:
Теперь нам нужно разместить файл robots.txt в корневую папку сайта. Открываем ftp-клиент и закачиваем файл на сервер.
Инструкция для роботов готова! Надеюсь, информация для вас будет полезной.
Сайт: Сервисы для Веб-Мастера Рубрика: Файл robots.txt Статья: Создаем robots.txt
