Файл robots.txt
Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Обычно используется, чтобы скрывать страницы в поисковой выдаче.
Вкладка Файл robots.txt находится в настройках сайта: Настройки → Файл robots.txt.
Если вы хотите скрыть от индексирования весь сайт (от всех поисковиков), скопируйте в пустое поле текст ниже:
User-agent: *
Disallow: /
Если вы хотите скрыть только отдельную страницу, скопируйте:
User-agent: *
Disallow: /page/
Где /page/ это адрес страницы, которую вам нужно скрыть. Он отображается в настройках страницы.
Чтобы посмотреть адрес страницы, нажмите на карточке страницы «...» → Настроить.
Скопируйте ссылку из поля Адрес страницы и вставьте.
Например: Disallow: /account_robots
- Детальную справку по составлению файла robots.txt можно прочитать в статье Яндекса.
Канонический адрес страницы
- Если на вашем сайте есть страница, доступная по нескольким адресам, или похожие страницы, то поисковые роботы могут посчитать их дублями.
- Если такое происходит, робот выбирает только одну страницу для показа в поиске — она называется канонической.
- Если вы хотите сделать страницу канонической — нажмите на переключатель.