Почему это важно
Дублированный контент – это две и более страницы сайта, содержащие одинаковый контент (наиболее распространенный элемент контента – это текст). При этом порядок текста может быть разным: то есть, даже если на странице выполнена сортировка блоков и абзацев, все равно контент–не уникальный. Большое количество дублирования контента в индексе поисковых систем может быть причиной исключения сайта из поисковых систем или понижения качества дублированных страниц, что повлечет за собой общее ухудшение ранжирования сайта в поисковых системах.
Причины возникновения
Есть несколько разновидностей дублирования контента:
Первый – это второстепенные дублированные страницы (если речь идёт об интернет-магазинах), как правило, это страницы сортировки товаров.
Рис. 1 Пример сотрировки товаров на сайте
В результате все виды сортировки могут попасть в индекс поисковых систем:
Рис. 2 Страницы сортировки попадают в индекс посковых систем
Если речь идёт о контентных сайтах (новостные порталы), то страницы печати на таком сайте также могут быть дублированными.
Этот новостной сайт содержит 47 100 дублированных страниц, что негативно отражается на общем качестве сайта с точки зрения поисковых систем.
Еще одна разновидность страниц с дублированным контентом – техническое дублирование. Данный тип дублей возникает при неправильной разработке (или настройке) CMS для сайта. Зачастую такие ошибки допускаются на этапе создания сайта.
Этот тип дублированных страниц может попасть в поисковую систему, если на такую страницу есть ссылка на сайте (например, если ваша карта сайта генерируется автоматически и в нее включаются абсолютно все страницы).
Обнаружение дублей
Обнаружить наличие дублированного контента на вашем сайте можно, воспользовавшись: инструментами Google для вебмастеров – раздел «Оптимизация» – «Оптимизация HTML», который показывает количество повторяющихся мета-описаний и заголовков TITLE.
Также можно воспользоваться функцией расширенного поиска. Для этого в строке поиска Google необходимо ввести:
site:http://вашсайт.ру -site:http://вашсайт.ру/&
Где site:http://вашсайт.ру – покажет страницы вашего сайта, находящиеся в общем индексе Google, а site:http://вашсайт.ру/& - страницы, участвующие в поиске.
Также можно воспользоваться сторонними программами, например, Xenu.
Примеры дублирования контента и пути решения
Пример №1: дублирование индексных файлов
Основная страница:
Дубль:
Решение: настройка 301-го редиректа со страницы дубля на основную.
Пример №2: дублирование контента при помощи «/» (слеша)
Основная страница:
http://www.limenet.kiev.ua/page3/
Дубль:
http://www.limenet.kiev.ua/page3
Решение: настройка 301-го редиректа со всех страниц пагинации без «/» в конце на страницы с «/» в конце.
Пример №3: дублирование разделов
Основная страница:
Дубль:
http://for-ua.com/world/world/
Решение: в зависимости от ситуации может использоваться 301-й редирект или тег «canonical».
Пример №4: дублирование доменов
Основная страница:
Дубль:
Решение: настройка 301-го редиректа со всех страниц с «www» на аналогичные без «www».
Пример №5: дубли поиска товаров
В некоторых интернет-магазинах существуют примеры популярных товаров в строке поиска:
Рис.4 Пример популярного товара в строке поиска
Необходимо помнить, что в данном случае «Например» – это ссылка, по которой пройдёт поисковый робот, и он с большой вероятностью включит страницу в индекс поисковой системы. Как мы видим, дублированных страниц в индексе поисковой системы в таком случае может оказаться несколько тысяч:
Рис. 5 Дублированные страницы в индексе поисковой системы
Решение: указание директивы в robots.txt для закрытия страниц, образующихся при поиске пользователем на сайте.
Необходимо помнить, что поиск внутри сайта следует закрывать от поисковых систем с помощью robots.txt. Читайте более подробно о том, что такое robots.txt.
Также все дублированные страницы необходимо закрыть в robots.txt при помощи директивы:
Disallow: *print
Disallow: *sort
Если карты сайтов «XML» и «HTML» формата генерируются автоматически, необходимо проследить, чтобы карты не содержали дублированных страниц.
Вывод
Учитывая тот факт, что дублирование контента на сайте негативно сказывается на его позициях в результатах поисковой выдачи, стоит проводить тщательную проверку и вовремя устранять дубли теми способами, которые были перечислены выше.
