Для чего используется файл robots.txt?
Автор: Igor Khotsko

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Некоторые полезные возможности этого файла:
1. Говорим роботу, что бы он загружал страницы сайта с интервалом не менее 20 секунд (полезно на VPS/CloudServer для уменьшения нагрузки):
User-agent: *
Crawl-delay: 20
2. Закрываем директорию /admin от индексации всеми робатами:
User-agent: *
Disallow: /admin/
3. Запретить индексацию всего сайта всем роботам:
User-agent: *
Disallow: /
4. Разрешить индексацию одному роботу и запретить всем остальным:
User-agent: Yandex
Disallow: User-agent: *
Disallow: /


Если решение вопроса найти не удалось, Вы можете отправить нам заявку:



(7 голос(а))
Эта статья помогла
Эта статья не помогла

ActiveCloud Служба поддержки клиентов
Здравствуйте! Если вам нужен хостинг или домен — вы можете купить его у нас.
Выбрать тариф