robots.txt — текстовый файл в корне сайта с правилами для поисковых роботов. Его основная задача — управлять сканированием URL, а не гарантированно исключать страницы из поискового индекса.
Это различие критично: если URL закрыт через Disallow, поисковик может знать о его существовании по ссылкам и при определённых условиях показать адрес в результатах без полноценного содержимого страницы.
Основные директивы
User-agent— к какому роботу относится группа правил.Disallow— какие пути не следует сканировать.Allow— уточняющее разрешение для пути.Sitemap— ссылка на файл Sitemap.
У поисковых систем могут быть дополнительные поддерживаемые директивы. Поэтому для критичных правил лучше сверяться с документацией конкретного поисковика.
Что нельзя решать через robots.txt
Если цель — убрать HTML-страницу из поиска, одного запрета crawling недостаточно. Для индексируемого ответа обычно применяют noindex или другие подходящие механизмы. При этом робот должен иметь возможность получить страницу и увидеть соответствующую директиву.
Типичные ошибки
- закрыть в robots.txt CSS/JS, без которых поисковику сложнее корректно отрендерить страницу;
- использовать Disallow как замену noindex;
- случайно закрыть целый коммерческий раздел слишком широким правилом;
- считать robots.txt инструментом безопасности — файл публичен и не защищает конфиденциальные данные;
- не проверять правила после смены CMS или структуры URL.
Отдельный материал на сайте: директива Host в robots.txt и её актуальный статус. Для общей диагностики см. индексацию сайта.
Источники
Google Search Central: robots.txt; Яндекс Вебмастер: robots.txt.