Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
В robots.txt можно ограничить индексирование роботами страниц сайта, что поможет снизить нагрузку на сайт и ускорить его работу.
|
Что делает |
|
|
Указывает на робота, для которого действуют перечисленные в robots.txt правила. |
|
|
Запрещает обход разделов или отдельных страниц сайта. |
|
|
Указывает путь к файлу Sitemap, который размещен на сайте. |
|
|
Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании. |
|
|
Разрешает индексирование разделов или отдельных страниц сайта. |
|
|
Задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. |
где * Обязательная директива.
Наиболее часто в Яндекс поиске используются директивы Disallow, Sitemap и Clean-param.
Например:
User-agent: * #указывает, для каких роботов установлены директивы
Disallow: /bin/ # запрещает ссылки из "Корзины с товарами".
Disallow: /search/ # запрещает ссылки страниц встроенного на сайте поиска
Disallow: /admin/ # запрещает ссылки из панели администратора
Sitemap: http://example.com/sitemap # указывает роботу на файл Sitemap для сайта
Clean-param: ref /some_dir/get_book.pl
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Для создания собственного Robots.txt необходимо:
Взять за основу имеющийся в блоге robots.txt. для этого открыть ссылку на страницу с ним:
https://[имя Вашего домена].robots.txt,
например: https://adamego.blogspot.com/robots.txt и скопировать содержимое в блокнот.
Внести необходимые правки и скопировать в буфер обмена.
В настройках блока включить "Использовать собственный Robots.txt".
Измененный и сохраненный robot.txt Вы увидите по ранее открываемой ссылке. Не забудьте перед открытием ссылки обновить блог.
