Все документы на вашем сайте можно разделить на два типа: рабочие, с релевантным содержанием, и вспомогательные (графика, архивы, страницы, где текста мало и он неинформативный, служебные каталоги). Индексацию последних лучше запретить, т.к. она снизит общую релевантность сайта. Да и индексация рабочей группы затормозится. Кроме того, на вашем сайте могут оказаться папки с секретными материалами, которые вам захочется спрятать.
Для таких случаев существует файл robots.txt. Точнее, будет существовать, когда вы его создадите :) С его помощью можно запретить индексировать отдельные файлы и каталоги (или все сразу) всем поисковикам, либо некоторым, выборочно.
Содержание файла robots.txt формируется всего из 2 строчек: User-agent – имя робота, и Disallow – перечень закрываемых каталогов. Если в строке User-agent стоит * – значит рекомендация относится ко всем поисковым роботам, если, скажем, Yandex – то только к Яндексу. Слэш (/) в строке Disallow означает, что запрещается индексировать все файлы и каталоги на сайте. Пустая строка Disallow – значит индексировать можно все.
Запрещаем Яндексу индексировать все:
User-agent: Yandex Disallow: /
Запрещаем Яндексу и Апорту индексировать каталог /cgi-bin/:
User-agent: Yandex Aport Disallow: /cgi-bin/
Запрещаем всем индексировать каталоги /cgi-bin/, /img/ и /faq/ и файл faq.htm:
Если вы пишете в строке Disallow слово, не обрамляя его слэшиками, то под запретом на индексацию окажется не только каталог, но и все файлы, в названии которых это слово присутствует.
Можно накладывать ограничения и на отдельные файлы:
User-agent: * Disallow: /zoo/slon.html
Запрещаем всем все, кроме Яндекса:
User-agent: Yandex Disallow:
User-agent: * Disallow: /
Ну, думаю здесь все ясно.
Управлять индексацией можно и с помощью мета-тэга .
Выглядит это дело так:
В content должно стоять что-то из следующего:
Index – эту страницу нужно индексировать Noindex – эту нельзя индексировать Follow – прослеживать ссылки на странице Nofollow – не прослеживать All - = index, follow None - = noindex, nofollow Для примера, если эта строка у вас будет выглядеть так:
… то сама страница индексироваться не будет, но робот будет прослеживать на ней ссылки, чтобы проиндексировать по ним остальную часть сайта.
Мета-тэг имеет приоритет над указаниями, содержащимися в файле robots.txt. Если в robots.txt разрешается индексировать все файлы в каталоге, то мета-тэг может запретить индексирование конкретной страницы в этом каталоге.
