Краулинговый бюджет (crawl budget) — практическое обозначение ресурсов и объёма обхода, которые поисковая система готова выделять сайту. В Google тема связывается прежде всего с сочетанием возможностей краулинга и потребности поисковой системы повторно обходить конкретные URL.
Это не фиксированное число «страниц в сутки», которое SEO-специалист должен любой ценой увеличить. Для большинства небольших и средних сайтов отдельная оптимизация crawl budget вообще не является приоритетной задачей.
Когда краулинговый бюджет действительно важен
В актуальной документации Google расширенное руководство адресовано прежде всего очень крупным или быстро меняющимся сайтам: примерно от миллиона уникальных страниц при умеренной частоте обновлений либо от десятков тысяч страниц, которые меняются ежедневно. Ещё один сигнал — большое число URL со статусом «Discovered — currently not indexed».
Что расходует обход впустую
- фасетные и параметрические URL без поисковой ценности;
- бесконечные календарные и фильтровые пространства;
- массовые дубли и альтернативные адреса одного содержания;
- цепочки редиректов, 404/5xx и нестабильная серверная отдача;
- низкоценные URL, на которые ведёт много внутренних ссылок.
Что делать на обычном сайте
Вместо попыток «ускорить Googlebot» обычно полезнее проверить техническую доступность страниц, Sitemap, внутренние ссылки, дубли, canonical, редиректы и серверные ошибки. Если важные URL нормально находятся, обходятся и индексируются, искусственно оптимизировать crawl budget ради самого показателя не нужно.
Связь с индексацией
Большой объём обхода не гарантирует индексацию. Робот может скачать страницу, а поисковая система затем решить не добавлять её в индекс или выбрать другой canonical. Поэтому диагностику нужно разделять на краулинг и индексацию.
Источник
Актуальное руководство Google: Crawl Budget Management.