Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Обычно используется, чтобы скрывать страницы в поисковой выдаче.

Вкладка Файл robots.txt находится в настройках сайта: Настройки → Файл robots.txt.

Если вы хотите скрыть от индексирования весь сайт (от всех поисковиков), скопируйте в пустое поле текст ниже:

User-agent: *

Disallow: /

Если вы хотите скрыть только отдельную страницу, скопируйте:

User-agent: *

Disallow: /page/

Где /page/ это адрес страницы, которую вам нужно скрыть. Он отображается в настройках страницы. 

Чтобы посмотреть адрес страницы, нажмите на карточке страницы «...» → Настроить.

Скопируйте ссылку из поля Адрес страницы и вставьте. 

Например: Disallow: /account_robots 

Детальную справку по составлению файла robots.txt можно прочитать в статье Яндекса.

Если на вашем сайте есть страница, доступная по нескольким адресам, или похожие страницы, то поисковые роботы могут посчитать их дублями. 

Если такое происходит, робот выбирает только одну страницу для показа в поиске — она называется канонической.