Дублируемый контент – как вовремя найти и обезвредить дубли

Почему это важно

Дублированный контент – это две и более страницы сайта, содержащие одинаковый контент (наиболее распространенный элемент контента – это текст). При этом порядок текста может быть разным:то есть, даже если на странице выполнена сортировка блоков и абзацев, все равно контент этой страницы  – дублированный. Большое количество дублированных страниц в индексе поисковых систем может быть причиной исключения сайта из поисковых систем или понижения качества дублированных страниц, что повлечет за собой общее ухудшение ранжирования сайта в поисковых системах.

Причины возникновения

Есть несколько разновидностей страниц с дублированным контентом.

Первый – это второстепенные дублированные страницы (если речь идёт об интернет-магазинах), как правило, это страницы сортировки товаров.

Рис. 1 Пример сотрировки товаров на сайте

В результате все страницы сортировки могут попасть в индекс поисковых систем:

Рис. 2 Страницы сортировки попадают в индекс посковых систем

Если речь идёт о контентных сайтах (новостные порталы), то страницы печати на таком сайте также могут быть дублированными.

Этот новостной сайт содержит 47 100 дублированных страниц, что негативно отражается на общем качестве сайта с точки зрения поисковых систем.

Еще одна разновидность страниц с дублированным контентом – технические дублированные страницы. Данный тип страниц возникает при неправильной разработке (или настройке) CMS для сайта. Зачастую такие ошибки допускаются  на этапе создания сайта.

Этот тип дублированных страниц может попасть в поисковую систему, если на такую страницу есть ссылка на сайте (например, если ваша карта сайта генерируется автоматически и в нее включаются абсолютно все страницы).

Обнаружение дублей

Обнаружить наличие дублированного контента на вашем сайте можно, воспользовавшись: инструментами Google для вебмастеров – раздел «Оптимизация» – «Оптимизация HTML». На странице показано количество повторяющихся мета-описаний и заголовков TITLE.

Также можно воспользоваться функцией расширенного поиска. Для этого в строке поиска Google необходимо ввести:

site:http://вашсайт.ру -site:http://вашсайт.ру/&

Где site:http://вашсайт.ру – покажет страницы вашего сайта, находящиеся в общем индексе Google, а site:http://вашсайт.ру/& - страницы, участвующие в поиске.

Также можно воспользоваться сторонними программами, например, Xenu.

Примеры дублей и пути решения

Пример №1: дублирование индексных файлов

Основная страница:

http://intinity.org/

Страницы-дубль:

http://intinity.org/index.php

Решение: настройка 301-го редиректа со страницы дубля на основную.

Пример №2: дублирование при помощи «/» (слеша)

Основная страница:

http://www.limenet.kiev.ua/page3/

Страница-дубль:

http://www.limenet.kiev.ua/page3

Решение: настройка 301-го редиректа со всех страниц пагинации без «/» в конце на страницы с «/» в конце.

Пример №3: дублирование разделов

Основная страница:

http://for-ua.com/world/

Страница дубль:

http://for-ua.com/world/world/

Решение: в зависимости от ситуации может использоваться 301-й редирект или тег «canonical».

Пример №4: дублирование доменов

Основная страница:

http://whiteseo.com.ua/

Страница дубль:

http://www.whiteseo.com.ua/

Решение: настройка 301-го редиректа со всех страниц с «www» на аналогичные без «www».

Пример №5: дубли поиска товаров

В некоторых интернет-магазинах существуют примеры популярных товаров в строке поиска:

Рис.4 Пример популярного товара в строке поиска

Необходимо помнить, что в данном случае «Например» – это ссылка, по которой пройдёт поисковый робот, и он с большой вероятностью включит страницу в индекс поисковой системы. Как мы видим, дублированных страниц в индексе поисковой системы в таком случае может оказаться несколько тысяч:

Рис. 5 Дублированные страницы в индексе поисковой системы

Решение: указание директивы в robots.txt для закрытия страниц, образующихся при поиске пользователем на сайте.

Необходимо помнить, что поиск внутри сайта следует закрывать от поисковых систем с помощью robots.txt. Читайте более подробно о том, что такое robots.txt.

Также все дублированные страницы необходимо закрыть в robots.txt при помощи директивы:

Disallow: *print

Disallow: *sort

Если карты сайтов «XML» и  «HTML» формата генерируются автоматически, необходимо проследить, чтобы карты не содержали дублированных страниц.

Вывод

Учитывая тот факт, что наличие дублированного контента на сайте негативно сказывается на его позициях в результатах поисковой выдачи, стоит проводить тщательную проверку и вовремя устранять дубли теми способами, которые были перечислены выше.