Для чего используется файл robots.txt?

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Некоторые полезные возможности этого файла:
1. Говорим роботу, что бы он загружал страницы сайта с интервалом не менее 20 секунд (полезно на VPS/CloudServer для уменьшения нагрузки):
User-agent: *
Crawl-delay: 20
2. Закрываем директорию /admin от индексации всеми робатами:
User-agent: *
Disallow: /admin/
3. Запретить индексацию всего сайта всем роботам:
User-agent: *
Disallow: /
4. Разрешить индексацию одному роботу и запретить всем остальным:
User-agent: Yandex
Disallow: User-agent: *
Disallow: /
  • 0 Пользователи нашли это полезным
Помог ли вам данный ответ?

Related Articles

Как перенести сайт к вам на хостинг?

Наша компания помогает своим клиентам в переносе сайтов на наши сервера. Для получения этой...

Как работать с почтой через веб-интерфейс?

Доступ через почтовый веб-интерфейс Для доступа к почтовому ящику через веб-интерфейс...

Настройка почтового клиента Microsoft Outlook 2010

Доступ через Microsoft Office Outlook 2010 Чтобы настроить Microsoft Office Outlook 2010:...

Как проверить, заблокирован ли 25-й порт?

Стандартный порт, который используется для соединения к протоколу SMTP — порт 25. Одна из...

Значения кодов состояния HTTP

Код состояния HTTP - это часть строки заголовка, ответа веб сервера на запрос клиента,...