Все про Robots.txt (понятие, описание, создание часть-1)

Создаем правильный файл Robots.txt

Здравствуйте уважаемые читатели блога Zelgrim.ru

Тема моей сегодняшней статьи связана с понятием и правильным созданием файла Robots.txt
Очень хорошо когда поисковые роботы различных поисковиков частенько наведываются к вам на сайт и индексируют контент, тем самым добавляются странички вашего сайта в поисковики, но бывают случаи, когда индексируется только часть вашего содержания в интернете и не того чего бы вы хотели.

Например, если у вас есть несколько вариантов просмотра страничек, то есть просмотр одной и той же странички выдается по разным запросам ссылок. В этом случае вам необходимо закрыть от индексации поисковых систем ненужные странички, иначе вы рискуете навязать поисковикам дублирующее содержание, что отзовется для сайта не в лучшую сторону. Еще случай, если вы опубликовали на своем сайте какую-нибудь конфиденциальную информацию, не для посторонних глаз, например ваши контактные данные, то также необходимо закрыть индексацию этих страниц от поисковых систем.

Как следует поисковым системам индексировать ваш сайт, какие файлы и папки, содержащие нужную, но в тоже время не для широкой публики информацию, не следует индексировать при посещении данного сайта роботами. Одним из способов является мета-тег. А именно:

Здесь вместо example надо вписать следующие значения: NOINDEX – запрет индексации сайта; NOFOLLOW — запрет прогулки по ссылкам, имеющимся на сайте; INDEX – разрешение на индексацию сайта; FOLLOW — разрешение на прогулку по ссылкам; ALL – тоже самое, что и INDEX, FOLLOW; NONE – также равносильно значениям NOINDEX и NOFOLLOW. Но есть еще один более функциональный способ сообщить поисковым системам о том, что индексировать, а что нет, и заключается он в использовании такого файла как robots.txt, который должен лежать в корневой папке вашего сайта, то есть иметь вид http://ваш_сайт/robots.txt и никак иначе.

Что такое robots.txt?
Robots.txt — это текстовый (не HTML) файл имеет разрешение .txt, который лежит только в корневой папке сайта. В нем указываются правила для поисковых роботов, какие места сайта нужно посещать, а какие нет. Поисковики, первым делом, проверяют наличие данного файла на сайте, и если такой файл существует, то поисковые системы подчиняются тому, что в этом файле прописано будь то ограничить или разрешить индексацию сайта. Но вы можете и не создавать robots.txt, он не обязательный атрибут сайта, но рекомендуется его создавать для запрета индексации того или иного контента сайта. Если вам все равно, что у вас индексируется на сайте, а что нет или вообще безразлична индексация можете дальше статью про robots.txt не читать.

Еще раз упомяну, что расположение файла robots.txt в корневой папке сайта очень важно, иначе поисковые системы не смогут найти этот файл, если например, вы его залили в другое место. Так выглядит мой robots.txt http://zelgrim.ru/robots.txt файл в корневой папке моего сайта. И еще, что необходимо знать, файл robots.txt должен быть написан полностью из маленьких букв, то есть не допускается такое написание как Robots.txt или rObOtS.txt и т.п. Если поисковые системы не найдут этот файл, то они будут индексировать все, что им попадется под руку (все что вам нужно и все, что ненужно). И так, если вы не ставите на свой сайт robots.txt, то не удивляйтесь, что поисковые системы индексируют весь ваш сайт.

Как создать Robots.txt?
Чтобы создать robots.txt нужно воспользоваться одним из нескольких текстовых редакторов (Блокнот, WordPad или Notepad++ и т.д.), далее, в выбранном вами редакторе, пишем специальные правила для поисковых систем, что запрещать, а что нет для индексации. Затем готовый сценарий правил сохраняем в текстовом файле с именем «robots.txt», еще раз обращаю ваше внимание на то, как написан файл, никаких больших букв. После чего необходимо этот файл залить в корневой каталог вашего сайта.

На этом первая часть про файл Robots.txt закончена, вы узнали, что за зверь оно такое, для чего нужно и как создается. В следующей части, я вам подробно расскажу, что же надо и как правильно писать те или иные правила для индексации сайта.

Ваш блоговод, Грим


Нравится

Метки: , , , , , ,

Если Вам понравилась статья, пожалуйста, прокомментируйте ее или подпишитесь на фид и получайте будущие публикации по RSS.

Комментарии

Пока нет комментариев.

Прокомментировать

(обязательно)

(обязательно)