Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Некоторые полезные возможности этого файла:1. Говорим роботу, что бы он загружал страницы сайта с интервалом не менее 20 секунд (полезно на VPS/CloudServer для уменьшения нагрузки):
User-agent: *
Crawl-delay: 20
2. Закрываем директорию /admin от индексации всеми робатами:
User-agent: *
Disallow: /admin/
3. Запретить индексацию всего сайта всем роботам:
User-agent: *
Disallow: /
4. Разрешить индексацию одному роботу и запретить всем остальным:
User-agent: Yandex
Disallow: User-agent: *
Disallow: /
