Краулинг (crawling, сканирование) — процесс, при котором поисковый робот обнаруживает URL и запрашивает доступный ему контент. Это один из этапов работы поиска, но краулинг не равен индексации: скачанная страница может быть обработана, но не попасть в поисковый индекс.
Как поисковик находит URL
Новые адреса могут обнаруживаться по внутренним и внешним ссылкам, через Sitemap и из других доступных поисковой системе сигналов. Для обычного сайта хорошая внутренняя архитектура важнее попыток вручную «скормить» каждый URL.
Что происходит во время сканирования
- робот обнаруживает URL;
- проверяет применимые правила доступа, включая robots.txt;
- отправляет запрос к серверу;
- получает HTML или другой ресурс;
- извлекает доступные ссылки и данные для дальнейшей обработки.
Следующий этап — обработка и индексация. Поэтому проблема «страница не в поиске» может находиться как на уровне обхода, так и после него.
Что мешает краулингу
- запрет URL или раздела в robots.txt;
- ссылки, которые робот не может нормально извлечь;
- циклы и длинные цепочки редиректов;
- серверные ошибки и нестабильная отдача;
- огромное количество дублей, параметров и бесполезных URL;
- страницы, до которых нельзя добраться по обычным ссылкам.
Краулинг и индексация — разные задачи
Disallow в robots.txt управляет доступом робота, но сам по себе не является надёжным способом удалить URL из поисковой выдачи. Для управления индексированием применяются другие механизмы. Подробнее — в материале про индексацию сайта.
Связанные термины
краулинговый бюджет, robots.txt, Sitemap.xml, внутренняя перелинковка.
Источники
Google: How Search Works; Яндекс Вебмастер: обход и индексирование.