Создаём файл robots.txt (указка для роботов)

Файл robots.txt Открываем блокнот (Пуск - программы - стандартные - WordPad). Сохраняем файл с именем robots, расширение txt.
Я надеюсь, что это не такая уж сложная работа. Думаю справится каждый. Вопросы задавайте на Форуме.


Содержимое файла, если Вы ничего не запрещаете к индексированию:
User-agent: *
Allow: /

Запрещение индексации всего сайта:
User-Agent: *
Disallow:/
Host: Ваш сайт без http://

Засветив наш ресурс в Интернет, перейдем к следующему шагу. Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Поэтому для начала в корне ресурса (сайта, там где Ваш файл index) необходимо создать файл robots.txt и дать на него права доступа на чтение для всех. Затем нужно наполнить файл смысловым содержанием, понятным для поисковых роботов. Содержание файла должно быть следующего характера:

Файл robots.txt.


Назначение команд и переменных в данном файле несут поисковому роботу следующую информацию: User-agent: * – доступ и индексирование на данном ресурсе разрешается всем поисковым роботам; Disallow – запрещается посещать и индексировать поисковым роботам папки. Это нужно для ограничения доступа к какой-то части ресурса. В данной конфигурации ограничивается доступ к папкам ресурса: cgi-bin, admin, files, images, styles и subs.

Главная || || Должностные инструкции и Статьи о работе. Часть 1 || || Должностные инструкции и Статьи о работе. Часть 2 || || Должностные инструкции и Статьи о работе. Часть 3 || ||

Домашний бизнес: Часть 1 || || Часть 2 || || Часть 3 || || Часть 4

 ||


„Vždy odpouštějme svým nepřátelům, nic je nedokáže víc rozzuřit.“ Oscar Wilde