Авторизация на портале поддержки осуществляется в личном кабинете my.active.by (my.activecloud.ru), вкладка Поддержка. Благодарим за понимание.
ПОИСК
База знаний: Прочее
Для чего используется файл robots.txt?

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.

Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Некоторые полезные возможности этого файла:


1. Говорим роботу, что бы он загружал страницы сайта с интервалом не менее 20 секунд (полезно на VPS/CloudServer для уменьшения нагрузки):
User-agent: *
Crawl-delay: 20


2. Закрываем директорию /admin от индексации всеми робатами:
User-agent: *
Disallow: /admin/


3. Запретить индексацию всего сайта всем роботам:
User-agent: *
Disallow: /


4. Разрешить индексацию одному роботу и запретить всем остальным:
User-agent: Yandex
Disallow: User-agent: *
Disallow: /



Если решение вопроса найти не удалось, Вы можете отправить нам заявку:

Отправить заявку


(7 голос(а))
Эта статья помогла
Эта статья не помогла
Комментарии (0)