Индексация сайта — это не один момент «робот зашёл на страницу и добавил её в поиск». Между публикацией URL и появлением документа в результатах есть несколько этапов: обнаружение, обход, обработка/рендеринг, индексирование и затем ранжирование.
Если разделять эти этапы, становится намного проще понимать, почему страница не попала в поиск и что именно нужно исправлять.
Как поисковая система узнаёт о странице
Новый URL может быть обнаружен разными способами:
- по внутренней ссылке;
- по внешней ссылке;
- через XML Sitemap;
- через инструменты вебмастеров;
- через другие сигналы поисковой системы.
Обнаружить URL — ещё не значит проиндексировать его.
Crawling: робот должен получить страницу
На этапе обхода поисковик запрашивает URL и смотрит HTTP-ответ, robots.txt и доступные ресурсы. Для нормальной индексируемой страницы базовый сценарий — стабильный HTTP 200 и отсутствие случайного запрета обхода.
robots.txt управляет обходом. Он не является надёжным способом удалить обычную HTML-страницу из результатов поиска: URL может оставаться известен поисковику из других источников.
Rendering: что поисковик увидит после JavaScript
Современный сайт может отдавать в исходном HTML только часть содержимого, а остальное строить JavaScript-ом. Google умеет рендерить JavaScript, но rendering — отдельный этап и у него есть ограничения.
Поэтому при проблемах с индексированием JS-сайта проверяйте не только «View Source», но и rendered HTML: появился ли основной текст, ссылки, canonical, robots и structured data после выполнения скриптов.
Indexing: попадёт ли документ в индекс
Даже доступная страница с HTTP 200 не обязана автоматически попасть в индекс. Поисковик оценивает содержимое, дубли, canonical-сигналы, качество документа и другие факторы.
Важно разделять основные инструменты:
- robots.txt — разрешает или запрещает crawling;
- noindex — просит не включать страницу в индекс;
- canonical — указывает предпочтительную версию среди похожих/дублирующихся URL;
- 301 — сообщает о постоянном переносе URL;
- 404/410 — сообщает, что документа нет;
- авторизация — защищает действительно приватный контент.
Почему noindex и robots.txt нельзя путать
Чтобы поисковик увидел noindex, он должен получить страницу. Если вы одновременно закрыли URL через robots.txt, робот может не прочитать meta robots или HTTP-заголовок.
Поэтому сценарий «Disallow + noindex на всякий случай» часто логически противоречив.
Canonical — не директива удаления
rel="canonical" нужен для консолидации похожих или дублирующихся URL. Это сильный сигнал, но поисковая система может выбрать другую canonical-страницу, если остальные сигналы ей противоречат.
Не стоит использовать canonical как универсальный заменитель 301 или noindex. Сначала определите роль URL.
Как проверить индексацию в Google
Для конкретной страницы основной инструмент — URL Inspection в Google Search Console. Там можно посмотреть:
- известен ли URL Google;
- разрешено ли индексирование;
- какую canonical выбрал Google;
- последний обход;
- отрендеренный HTML/ресурсы при диагностике.
Отчёт Page Indexing удобен для массовой картины по сайту.
Оператор site: полезен для быстрой ручной проверки, но не является точным счётчиком индекса.
Как проверить индексацию в Яндексе
В Яндекс Вебмастере смотрите разделы, связанные с индексированием и обходом страниц. Там видно, какие URL известны роботу, какие статусы он получает и какие страницы менялись после очередного обхода.
Как ускорить переобход после изменений
Для нескольких важных URL используйте Request Indexing через URL Inspection. Для большого набора страниц основной масштабируемый способ — актуальный Sitemap и нормальная внутренняя перелинковка.
Повторная отправка одного URL много раз не заставит Google обходить его мгновенно.
Яндекс
Для отдельных новых или обновлённых страниц есть инструмент «Переобход страниц». Его лимит ограничен и обновляется ежедневно. Для регулярной передачи большого количества URL Яндекс рекомендует использовать подходящие массовые механизмы — Sitemap, обход по счётчику и IndexNow в тех сценариях, где он применим.
Google Indexing API — не для обычных SEO-страниц
Это особенно важно. Google Indexing API нельзя считать универсальным способом «залить в индекс любые URL».
Официально API предназначен для страниц с JobPosting и страниц прямых трансляций с BroadcastEvent внутри VideoObject. Для обычных статей, услуг и карточек товара используйте Search Console, Sitemap и нормальную архитектуру сайта.
Нужно ли менять дату публикации ради робота
Нет смысла искусственно менять дату только для имитации свежести. Обновляйте дату, когда материал действительно существенно переработан и новая дата соответствует тому, что видит пользователь.
Само по себе изменение даты не заменяет полезное обновление контента и не гарантирует переиндексацию.
Чек-лист страницы, которая не индексируется
- URL отвечает HTTP 200?
- Нет ли запрета в robots.txt?
- Нет ли
noindexв HTML или X-Robots-Tag? - Не указывает ли canonical на другой URL?
- Есть ли внутренняя ссылка на страницу?
- Есть ли URL в актуальном Sitemap, если он должен там быть?
- Виден ли основной контент в rendered HTML?
- Не является ли страница дублем или почти пустым документом?
- Нет ли цепочки редиректов, soft 404 или нестабильных 5xx?
- Какую конкретную причину показывает Search Console / Яндекс Вебмастер?
Что делать с приватными страницами
Если данные действительно приватные — личный кабинет, документы пользователя, внутренний интерфейс — не рассчитывайте на robots.txt как на защиту. Нужна авторизация и контроль доступа на сервере.
Итог
Для диагностики индексации всегда задавайте два разных вопроса: может ли робот получить и отрендерить страницу и почему поисковая система должна включить именно этот URL в индекс. Такой разбор почти всегда полезнее попыток «ускорить индексацию» сторонними отправщиками URL.
Официальные материалы: Google — запрос переобхода, Google Indexing API, Яндекс — новые и изменённые страницы.