Noindex — правило, которое сообщает поисковой системе: этот документ не должен присутствовать в поисковом индексе.
Для HTML его обычно передают через <meta name="robots" content="noindex">. Для других типов ресурсов и серверного управления можно использовать HTTP-заголовок X-Robots-Tag.
Noindex не равен robots.txt
robots.txt управляет доступом робота к URL. noindex должен быть прочитан на самой странице или в HTTP-заголовке. Если Googlebot полностью заблокирован в robots.txt, он может не увидеть правило noindex.
Когда noindex уместен
- служебные страницы, которые доступны пользователю, но не нужны в поиске;
- внутренние результаты поиска и технические представления, если они не должны индексироваться;
- временные или специальные страницы, для которых сознательно исключается органический поиск.
Когда noindex — плохая замена другому решению
Для дублей с полезной основной версией чаще рассматривают canonical или редирект, а не noindex. Для удалённого URL правильнее вернуть корректный HTTP-статус или перенаправить его на реальную замену. Для конфиденциальной информации нужен контроль доступа, а не поисковая директива.
Проверка
После внедрения важно проверить реальный HTML/HTTP-ответ и убедиться, что робот может получить документ и увидеть правило. Отдельно контролируют canonical, robots.txt и другие директивы, чтобы они не противоречили друг другу.