Кейс: Вывод сайта каталога из-под фильтра "Малополезный контент" Яндекса

Хронология событий до обращения:

• Сентябрь 2023: наложение фильтра МПК
• До фильтра: позиции в топ-5 по ключевым запросам
• После фильтра: падение на 3-ю страницу выдачи
• При попытках убрать "переспам" – дальнейшее падение ниже 50-го места

Владелец сайта уже предпринял ряд самостоятельных мер:

• Переписали более 400 страниц контента
• Убрали дубли тайтлов и дескрипшенов
• Исправили технические ошибки в коде
• Устранили 404 ошибки
• Оптимизировали тошнотность на главной странице до менее 8%

Однако эти меры не привели к снятию фильтра. Более того, после каждой серии правок владелец нажимал кнопку "Я все исправил" в Яндекс.Вебмастере каждые 6 дней в течение нескольких месяцев, но безрезультатно.

Основной источник трафика на момент обращения – контекстная реклама, поскольку органический трафик был существенно ограничен из-за фильтра.

Особо стоит отметить, что параллельно с действующим сайтом велась разработка редизайна на отдельном тестовом домене, что давало дополнительные возможности для внедрения изменений.

Первичный аудит и анализ (Май 2024)

Работа началась с комплексного анализа ситуации. Согласованная стоимость: технический аудит 25 000 рублей + настройка защиты Cloudflare 5 000 рублей.

Анализ посещений асессоров

При анализе данных Яндекс.Метрики за предыдущий год были выявлены заходы с:

• iframe-toloka.com: 130 визитов
• iframe-yang.yandex: 58 визитов
• iframe-tasks.yandex: 15 визитов

Ключевое открытие: асессоры регулярно посещали одни и те же страницы, в частности:

• Страницу с "взрослым" контентом
• Несколько карточек товаров
• Главную страницу

Технический аудит

Выявлены следующие проблемы:

• Дублирование страниц из-за лишних символов в URL
• Некорректная обработка слешей в конце URL
• Множественные слеши в URL
• Малые по объему Title и Description
• Переспам в Meta Keywords
• Неоптимальная структура Sitemap.xml
• Отсутствие защиты от ботов

Анализ контента

Проведен анализ внутренней уникальности контента на сайте. Обнаружено, что основной контент составлял менее 50% от общего объема текста на страницах из-за:

• Повторяющихся блоков в футере и хедере
• Дублирующихся рекламных блоков
• Множества форм обратной связи на одной странице

Анализ безопасности

Выявлена активная атака на сайт:

• 92 тыс обращений за сутки с определенных IP-адресов
• Массовые попытки парсинга контента
• Спам через формы обратной связи
• Высокая активность ботов (около 22% трафика)

Скоринг семантики

Был проведен детальный анализ семантического ядра с использованием собственных инструментов. В результате:

• Выявлены наиболее перспективные кластеры запросов
• Определены URL-лидеры по каждому кластеру
• Проанализирована релевантность страниц

Этот комплексный анализ позволил сформировать четкий план действий по выводу сайта из-под фильтра. Важным открытием стало то, что проблема была не столько в переспаме ключевыми словами (как предполагал клиент), сколько в комплексе факторов, включая наличие "взрослого" контента и проблемы с уникальностью материалов.

Этапы работы и внедренные изменения (Май-Сентябрь 2024)

Техническая оптимизация

Первый этап (май 2024):

• Внедрение Nginx с модулем Perl для корректной обработки URL
• Исправление проблем с дублями URL из-за регистра и лишних символов
• Оптимизация обработки слешей в URL
• Полное обновление мета-тегов:
  • Исправление коротких Title
  • Оптимизация Description
  • Очистка переспамленных Keywords

Работа с robots.txt и индексацией:

• Закрытие технических скриптов: FilterAction.php, session.php
• Добавление правил для ajax-запросов:

• Настройка корректной обработки служебных URL

Защита от ботов и спама

Внедрение Cloudflare (май 2024):

• Настройка базовой защиты от ботов
• Создание правил для фильтрации вредоносного трафика
• Настройка специальных правил для рекламного трафика с UTM-метками

Спустя время после прекращения атак, 6 июля владелец принял решение снизить защиту в Cloudflare, хотя по моим наблюдения доля ПФ ботов присутсвует сильно:

Оптимизация правил (июнь-июль 2024):

• Добавление исключений для рекламного трафика с yclid-метками
• Настройка специальной обработки для авторизованных пользователей
• Внедрение системы верификации пользователей через куки

Работа с контентом

Первый этап (май-июнь 2024):

• Удаление страниц "взрослой" тематики, которые регулярно посещались асессорами
• Настройка 301-редиректов с удаленных страниц
• Анализ и переработка страниц с низкой уникальностью

Второй этап (июль-август 2024):

• Внедрение системы отметок о времени создания контента
• Добавление указаний на оригинальность материалов
• Работа с внутренней перелинковкой
• Оптимизация блоков с отзывами для повышения релевантности

Борьба с плагиатом (сентябрь 2024):

• Проверка всех новостей на уникальность
• Выявление украденного контента
• Подача более 100 жалоб в Яндекс на плагиат
• Удаление контента, который был скопирован без обратной ссылки

Коммуникация с Яндексом

Была разработана стратегия поэтапной коммуникации:

1. Первичное обращение с детальным описанием проделанной работы
2. Повторное обращение с запросом конкретных рекомендаций
3. Финальное обращение с упоминанием возможности обращения в ФАС

У меня есть статья как чек-лист по выходу из под фильтра.

Результаты (Октябрь 2024)

Ключевые достижения

1. Главный результат - 1 октября 2024 года фильтр МПК был полностью снят спустя 5 дней после последней серии действий:
   • Масштабная проверка уникальности новостного контента
   • Подача более 100 жалоб на плагиат в Яндекс
   • Активная работа с техподдержкой Яндекса
2. Статистика трафика и позиций:
   • До фильтра: 5-7 место по ключевым запросам
   • При фильтре: 3-я страница выдачи
   • После некоторых попыток исправлений: ниже 50 места
   • После снятия фильтра: возвращение на первые страницы выдачи
3. Технические улучшения:
   • Внедрена эффективная защита от ботов
   • Оптимизирована обработка рекламного трафика
   • Улучшена общая производительность сайта

Сроки достижения результата

• Начало работ: 20 апреля 2024
• Первичный аудит и внедрение защиты: май 2024
• Техническая оптимизация: май-июнь 2024
• Работа с контентом: июль-сентябрь 2024
• Снятие фильтра: 1 октября 2024

Общий срок работ составил около 5 месяцев, что существенно меньше, чем годичные попытки самостоятельного выхода из-под фильтра.

Ключевые факторы успеха

1. Системный подход к анализу проблемы:
   • Детальный технический аудит
   • Анализ поведения асессоров
   • Выявление реальных причин наложения фильтра
2. Правильная идентификация проблем:
   • Обнаружение страниц "взрослой" тематики
   • Выявление массового плагиата контента
   • Анализ внутренней уникальности материалов
3. Комплексный подход к решению:
   • Техническая оптимизация
   • Работа с контентом
   • Защита от ботов
   • Грамотная коммуникация с Яндексом
4. Последовательность действий:
   • От критичных проблем к менее значимым
   • Постепенное улучшение качества контента
   • Поэтапная коммуникация с поисковой системой

Выводы и рекомендации

1. Для подобных проектов важно:
   • Регулярно проверять уникальность контента
   • Активно бороться с плагиатом
   • Внимательно следить за тематикой размещаемых материалов
2. Технические аспекты:
   • Необходима надежная защита от ботов
   • Важна правильная обработка рекламного трафика
   • Критична внутренняя уникальность контента
3. Работа с Яндексом:
   • Важна последовательная коммуникация
   • Необходимо предоставление конкретных результатов работы
   • Эффективна демонстрация активной борьбы с плагиатом

Этот кейс показывает, что даже длительное нахождение под фильтром (более года) не является приговором - при правильном подходе и комплексной работе возможно успешное снятие санкций поисковой системы.