Дубли страниц — разные URL с одинаковым или очень похожим основным содержанием. Они возникают из-за параметров, фильтров, сортировок, зеркал, технических вариантов адресов, печатных версий и особенностей CMS.
Сам факт наличия дублей не означает автоматическое наказание. Главная задача поисковой системы — определить, какую версию считать канонической, а владельца сайта — сделать сигналы однозначными и не размножать лишние URL без причины.
Чем мешают дубли
- сигналы и внутренние ссылки могут распределяться между несколькими адресами;
- в аналитике появляется несколько URL одного документа;
- поисковый робот тратит ресурсы на повторяющиеся варианты;
- в выдачу может попасть не тот адрес, который вы считаете основным.
Основные способы консолидации
- 301/308 redirect — когда лишняя версия больше не нужна пользователю и есть постоянная замена;
- rel=canonical — когда несколько URL нужны технически, но предпочтительна одна основная версия;
- внутренние ссылки и sitemap — должны последовательно указывать на канонический URL.
Google рассматривает редиректы и rel=canonical как сильные сигналы, а присутствие в sitemap — как более слабый сигнал. noindex не рекомендуется использовать как обычный способ выбора canonical внутри сайта.
Подробнее: принципы canonical, 301/302/307/308 редиректы, пример для дублей в Битрикс.