Поисковые системы > Внутренняя оптимизация > Создание файла robot.txt
 
 

Создание файла robot.txt

Файл robots.txt - важная деталь, забывать о которой не стоит. Для чего он нужен?

Во-первых, иногда поисковые боты, заходящие на ваш сайт и не находя этот файлик, могут просто ничего не проиндексировать, а во-вторых, иногда бывает нужно просто скрыть от них кое-какие элементы нашего сайта. Зачем нужно что-то скрывать и как это делать, см. другую статью в этом же разделе - сейчас же будет объясненно, как составить файл robots.txt с таким расчетом, что б все было открыто и не возникло проблем с индексацией каждой страницы.

Для начала отметим, что сам файл robots.txt должен находиться в корневом каталоге сайта на сервере. Расположение его в других каталогах не даст никакого эффекта - бот его не найдет. Само имя файла должно писаться в нижнем регистре, т.е. состоять из строчных букв. Формирование содержания файла представляет из себя перечень команд, каждая из которых умещается в две строки. Первая строка - это имя поискового бота, вторая - каталоги, которые мы хотим закрыть. Поскольку мы закрывать ничего не собираемся, а, наоборот, стремимся привлечь как можно больше ботов и при этом хотим, что б они проиндексировали все что только возможно, то наш файл будет выглядеть очень просто и симпатично, а именно:

User-agent: * Disallow:

user-agent и звездочка после двоеточия говорит, что мы обращаемся ко всем ботам, а disallow c двоеточием, после которого пустота (т.е. отсутствие запретов) означает, что у нас открыты все директории для индексации. Все просто. Полезно сделать такой файлик и вывесить его на сервере.
Сайт создан при SEO-поддержке SEO-форума
Seo форум про методы раскрутки сайтов
Seo форум для тех, кто занимается поисковой оптимизацией, Forum-SEO осуществляет продвижение сайтов, раскрутку сайтов