robots.txt — это файл, который содержит параметры индексирования вашего сайта поисковыми роботами.

Когда поисковый робот собирает данные о сайте он загружает файл robots.txt и индексирует те страницы, которые в нем указаны.

Нажмите на Шестеренку -  "Настройки"

В разделе "Настройки сайта", выбирите вкладку  robots.txt  и нажмите Включить robots.txt.

Примеры директив, можно посмотреть по ссылке «Стандарт исключений для роботов». 

Каждое правило необходимо вводить с новой строки.

Нажмите кнопку "Применить".

Опубликуйте ваш сайт.