Дублируемый контент – как вовремя найти и обезвредить дубли

Почему это важно

Дублированный контент – это две и более страницы сайта, содержащие одинаковый контент (наиболее распространенный элемент контента – это текст). При этом порядок текста может быть разным:то есть, даже если на странице выполнена сортировка блоков и абзацев, все равно контент этой страницы  – дублированный. Большое количество дублированных страниц в индексе поисковых систем может быть причиной исключения сайта из поисковых систем или понижения качества дублированных страниц, что повлечет за собой общее ухудшение ранжирования сайта в поисковых системах.

Причины возникновения

Есть несколько разновидностей страниц с дублированным контентом.

Первый – это второстепенные дублированные страницы (если речь идёт об интернет-магазинах), как правило, это страницы сортировки товаров.

ris.1_sortirovka

Рис. 1 Пример сотрировки товаров на сайте

В результате все страницы сортировки могут попасть в индекс поисковых систем:

ris.2_ryezul'tatyi

Рис. 2 Страницы сортировки попадают в индекс посковых систем

Если речь идёт о контентных сайтах (новостные порталы), то страницы печати на таком сайте также могут быть дублированными.

ris.3_vyidacha

Этот новостной сайт содержит 47 100 дублированных страниц, что негативно отражается на общем качестве сайта с точки зрения поисковых систем.

Еще одна разновидность страниц с дублированным контентом – технические дублированные страницы. Данный тип страниц возникает при неправильной разработке (или настройке) CMS для сайта. Зачастую такие ошибки допускаются  на этапе создания сайта.

Этот тип дублированных страниц может попасть в поисковую систему, если на такую страницу есть ссылка на сайте (например, если ваша карта сайта генерируется автоматически и в нее включаются абсолютно все страницы).

Обнаружение дублей

Обнаружить наличие дублированного контента на вашем сайте можно, воспользовавшись: инструментами Google для вебмастеров – раздел «Оптимизация» – «Оптимизация HTML». На странице показано количество повторяющихся мета-описаний и заголовков TITLE.

Также можно воспользоваться функцией расширенного поиска. Для этого в строке поиска Google необходимо ввести:

site:http://вашсайт.ру -site:http://вашсайт.ру/&

Где site:http://вашсайт.ру – покажет страницы вашего сайта, находящиеся в общем индексе Google, а site:http://вашсайт.ру/& - страницы, участвующие в поиске.

Также можно воспользоваться сторонними программами, например, Xenu.

Примеры дублей и пути решения

Пример №1: дублирование индексных файлов

Основная страница:

http://intinity.org/

Страницы-дубль:

http://intinity.org/index.php

Решение: настройка 301-го редиректа со страницы дубля на основную.

 

Пример №2: дублирование при помощи «/» (слеша)

Основная страница:

http://www.limenet.kiev.ua/page3/

Страница-дубль:

http://www.limenet.kiev.ua/page3

Решение: настройка 301-го редиректа со всех страниц пагинации без «/» в конце на страницы с «/» в конце.

 

Пример №3: дублирование разделов

Основная страница:

http://for-ua.com/world/

Страница дубль:

http://for-ua.com/world/world/

Решение: в зависимости от ситуации может использоваться 301-й редирект или тег «canonical».

 

Пример №4: дублирование доменов

Основная страница:

http://whiteseo.com.ua/

Страница дубль:

http://www.whiteseo.com.ua/

Решение: настройка 301-го редиректа со всех страниц с «www» на аналогичные без «www».

 

Пример №5: дубли поиска товаров

В некоторых интернет-магазинах существуют примеры популярных товаров в строке поиска:

ris.4_vnutrpoisk

Рис.4 Пример популярного товара в строке поиска

Необходимо помнить, что в данном случае «Например» – это ссылка, по которой пройдёт поисковый робот, и он с большой вероятностью включит страницу в индекс поисковой системы. Как мы видим, дублированных страниц в индексе поисковой системы в таком случае может оказаться несколько тысяч:

ris.5

Рис. 5 Дублированные страницы в индексе поисковой системы

Решение: указание директивы в robots.txt для закрытия страниц, образующихся при поиске пользователем на сайте.

Необходимо помнить, что поиск внутри сайта следует закрывать от поисковых систем с помощью robots.txt. Читайте более подробно о том, что такое robots.txt.

Также все дублированные страницы необходимо закрыть в robots.txt при помощи директивы:

Disallow: *print

Disallow: *sort

Если карты сайтов «XML» и  «HTML» формата генерируются автоматически, необходимо проследить, чтобы карты не содержали дублированных страниц.

Вывод

Учитывая тот факт, что наличие дублированного контента на сайте негативно сказывается на его позициях в результатах поисковой выдачи, стоит проводить тщательную проверку и вовремя устранять дубли теми способами, которые были перечислены выше.

Александр Рубан

Специалист по продвижению web-проектов

В интернет-маркетинге с 2008 года. Занимается анализом технической составляющей проектов и улучшением их показателей. Сертифицированный специалист системы веб-аналитики Google Analytics. Неоднократно выступал с докладами на профильных конференциях, автор аналитических исследований и публикаций.

Другие записи

Кэширование страниц: оптимизация загрузки

Кэширование данных – это процесс сохранения часто запрашиваемых данных на компьютере пользователя или локальном прокси-сервере, благодаря чему значительно ускоряется загрузка страниц. Кэширование позволяет уменьшить время приема-передачи запросов и снизить нагрузку на сервер (до 80%).

Методы оптимизации изображений

Использование изображений наряду с другой информацией на страницах сайта – замечательная возможность для привлечения дополнительных посетителей при помощи поисковых систем, когда пользователь производит поиск по картинкам.

Поведенческие факторы ранжирования: влияние на результаты продвижения сайта

Поисковые системы постоянно обновляют свои алгоритмы ранжирования, и сегодня, помимо прочего, они отслеживают поведение пользователей на сайте и учитывают эти данные при формировании результатов выдачи.

Если вы хотите работать с нами,
давайте начнем с обсуждения задачи

Обсудить задачу
 

Киев, Украина
+380 44 201-10-21
пн–пт. 1100–2000
04070, г. Киев,
ул. Игоревская, 1/8,
офис 16

Харьков, Украина
+380 57 752-54-62
пн–пт. 1100–2000
61072, г. Харьков,
ул. 23 Августа,
31Б, офис 305

Москва, Россия
+7 495 979-98-54
пн–пт. 1000–1800
107497, г. Москва,
ул. Иркутская, 11,
БЦ «Белрайс»,
офис 401

Линкольн,
Великобритания
+44 0203 137-66-81
пн–пт. 1200–2000
The Terrace AT5,
Grantham Street,
Lincoln, LN2 1BD

Алматы, Казахстан
+7 727 244-04-79
пн–пт. 1100–2000
050022, г. Алматы,
ул. Шевченко, 118,
БЦ «Алтын-гасыр»,
офис 320