Файл robots.txt является набором инструкций для программ-роботов, сканирующих все WEB ресурсы сети Интернет, в том числе и ваш сайт. Поисковые алгоритмы таких интернет-гигантов поиска, как Google и Bing, используют Web-роботы для индексации всех страниц, которые они находят в Сети. По умолчанию, эти роботы пытаются проанализировать весь ваш сайт. В тоже время, большинство сайтов имеют такую информацию, которая не должна быть проиндексирована, так как является либо техническими данными администратора сайта, либо просто не подлежит публикации. Файл robots.txt позволяет определить, какие ресурсы сайта не должны попасть в индексацию роботами. Стоит учитывать, что разные вредоносные и шпионские роботы могут игнорировать инструкции этого файла, поэтому не используйте его для закрытия доступа к секретным данным.

Инструкция

Что понадобится:

- простой текстовый редактор,
- готовый сайт, опубликованный через услуги хостинговой компании или своими силами.

1. Откройте текстовый редактор, наподобие стандартного приложения NotePad. Откройте пустой текстовый шаблон файла и наберите в его первой строке:

User-agent: *

Этот текст предваряет все последующие инструкции, которые будут выполнены поисковыми роботами.

2. Напротив каждого каталога, который вы не хотите, чтобы индексировался роботом, введите команду «disallow». Например:

Disallow: /administrator

Такого формата записи достаточно для того, чтобы указать роботу, что вы не хотите, чтобы он входил в этот каталог на сайте. Как видите, вам не нужно при этом вводить полный адрес (URL) вашего сайта. Например, вместо такой записи «mysite.com/dontcrawl» вам достаточно набрать «Disallow: /dontcrawl».

3. Далее добавьте новые строки для каждого каталога на вашем сайте, который вы хотите скрыть от индексации. Не ставьте больше одного каталога в строку. Имейте в виду, что вы также можете указать конкретный файл или страницу сайта, введя их полное название.

4. Сохраните новый файл, созданный в текстовом редакторе, с названием robots.txt, на локальном диске своего компьютера. Загрузите этот файл в корневой каталог вашего сайта, используя FTP доступ или любое приложение управления Web-сайтом.