Дублирующие страницы: как найти и устранить?

Что принято понимать под дублями страниц? Это страницы  web-сайта, который содержат разный URL, но на них полностью или частично дублируется содержимое страницы сайта.

Чем опасны дубликаты страниц?

чем опасны дубли страниц

Опасность состоит в том, что на сайте нет одной максимально релевантной страницы поисковому запросу, и поисковые боты не могут определить, какая из двух одинаковых страниц максимально точно подходит под запрос пользователя.

Это приводит к следующим последствиям:

  • Снижение релевантности страниц и, как следствие, падение позиций сайта в поиске;
  • Наблюдаются «качели» позиций в поиске — это связано с тем, что идет постоянная смена релевантной поисковому запросу страницы;
  • Общее падение позиций сайта в поиске.

 

Подобные проблемы вынуждают SEO-оптимизаторов быть яростными борцами с клонами страниц.

Виды дублированных страниц

Для того, чтобы успешно бороться с дублированными страницами, нужно понимать, какие дубли бывают:

  • Полные дубли — 100% одинаковый контент размещен на разных URL;
  • Частичные дубли — дублируется только часть контента на разных страницах сайта.

 

Полные дубли страниц

  1. Зеркала сайта, размещенные по адресу с “www” и без “www”. Необходимо провести настройку и выбрать главное зеркало сайта;
  2. Дубли главной страницы. Основная часть дублей связана с особенностями CMS систем по управлению сайтами. 
  3. Дубли реферальных программ. Реферальные ссылки могут дублировать контент сайта и быть доступными для индексации поисковым ботом, как итог — ненужные страницы в индексе Google или Яндекс;
  4. Дубли страниц, связанные с ошибками иерархии страниц. Не правильно составленная логика работы каталога сайта может привести к тому, что одна и та же карточка товара будет доступна по разным URL. 
  5. Некорректная настройка страницы 404. Когда она отдает ответ сервера 200, то получаем бесконечное количество дублированных страниц;
  6. Страницы с utm-метками. Например,  “gclid” пометка рекламных объявлений. Страницы, помеченные utm-метками содержат важные параметры для отслеживания эффективности рекламных кампаний, но при этом, они полностью дублирую страницу сайта.
  7. Страницы, в URL которых содержится множественный слэш // и ///   
  8. Дубли, связанные с некорректным переездом на защищенный протокол передачи данных (переезд на https);

 

Все вышеперечисленные дубли требуют внимания SEO-оптимизатора и быстрого устранения. Потому что в противном случае будут серьезные потери позиций сайта в поиске.

Частичные дубли страниц

Частичные дубли страниц — это в первую очередь страницы, сгенерированные CMS системами сайта.

1. Страницы пагинации и сортировки страниц. Зачастую, они связаны с особенностями CMS систем сайтов и содержат соответствующий get-параметр;

Страницы пагинации и сортировки страниц

2. Страницы результатов поиска по сайту. Этот тип страниц опасен тем, что пользователи могут сгенерировать большое количество подобных страниц за короткий промежуток времени.

3. Страницы фильтрации товаров. Речь идет не об адаптированных для поиска страниц, а именно о дублях товарных категорий.

4. Страницы отзывов, комментариев, характеристик. Речь идет о страницах, которые генерируются в интернет-магазине при выборе того или иного таба в карточке товара;

5. Страницы для печати и для скачивания. Специальные черно-белые или удобные страницы для скачивания или печати.

6. HTML копии страниц, созданных с помощью AJAX.

Как найти дубли страниц

Как найти дубли страниц

 

Способ 1. С помощью специализированных программ, таких как: Screaming Frog SEO Spider, NetPeak Spider, Xenu. Подобные инструменты покажут дубли страниц по совпадению мета-тегов.

Способ 2. С помощью поисковых операторов «site» и «inurl». Подобные операторы помогут определить список интересующих URL в поиске Google.

Способ 3. Панель Вебмастера Яндекс и Search Console Google. Поисковые системы сами покажут дубли страниц, и дадут рекомендации к устранению.

как устранить дубли страниц с помощью Вебмастера Яндекс

как устранить дубли страниц с помощью Search Console Google

Способ 4. Поиск дублей страниц на сайте вручную.

Способ 5. Поиск дублей с помощью сервисов web-аналитики таких, как Serpstat, например.

Для устранения дубликатов страниц существует несколько способов и применяются они в зависимости от ситуации или типа дублей.

  1. Нет страницы — нет проблемы. То есть удаляются статические страницы, которые дублируют контент, и удаляются ссылки из внутренней перелинковки сайта.
  2. Запрет для сканирования и индексации. Самое простое — это запретить поисковикам сканировать и индексировать страницы, частично или полностью дублирующие контент сайта. Сделать это можно с помощью текстового файла robots.txt или с помощью мета-тега. Такой способ подойдет для устранения дублей, связанных с сортировками, фильтрами и поиском внутри сайта.
  3. Настройка 301-редиректов с помощью файла “.htaccess”. Отличный способ, чтобы убрать дубли главной страницы или убрать ссылки реферальных программ.
  4. Настройка атрибута rel=”canonical”. Такой способ подойдет для устранения дублей страниц пагинации, фильтров товаров, сортировок, utm-меток.
  5. Тег <meta name=»robots» content=»noindex, nofollow» />. Размещение этого тега позволит бороться с дублями в виде страниц для печати и  PDF версиями страниц.

 

Большинство дублей страниц устраняются с помощью настройки кода CMS системы или движка сайта. То есть, полное устранение дублей страниц сайта сводится к составлению т.з. разработчику сайта и проверки его реализации.