Склейка доменов - работа с дубликатами и зеркалами сайтов

Почему это важно

Прежде чем рассмотреть вопрос «склейки доменов», определимся с таким понятием, как «зеркала сайтов». В справке «Яндекс»: “Зеркалами считаются сайты, являющиеся полными или частичными копиями” (см. подробнее на странице помощи). В тоже время Google по умолчанию рассматривает домены с WWW и без WWW в виде двух отдельных сайтов. Этого следует избегать. Наличие двух доменов-близнецов заставляет их соперничать в поисковой выдаче, что приводит к снижению эффективности выполненных мероприятий по продвижению ресурса.

Под склейкой доменов понимают процесс объединения нескольких сайтов в индексной базе поисковых систем.  Как вариант, это может быть просто определение главного зеркала ресурса. При этом основному домену передается ссылочный вес и значения показателей авторитетности (тИЦ, PR) от ссылающегося домена. После склейки в поиске участвует только один из сайтов.

Задачи, решаемые посредством склейки доменов

Склейка доменов необходима при следующих обстоятельствах:

  • Устранение дубликатов контента. Например, домены www.site.ru и site.ru представляют собой один сайт, но фактически интерпретируются поисковыми системами как разные объекты. В итоге появляется дублированный контент. Известно, что сайты, имеющие неуникальные документы (страницы), плохо ранжируются алгоритмами поисковых систем.
  • ”Переезд” на новый домен. Например, есть два сайта www.site.ru и www.site.com. При этом допустим, что доменное имя www.site.ru выбрано как наиболее актуальное. В таком случае ресурс www.site.com необходимо “подклеить” к основному (выбранному) домену. Это позволит сохранить позиции сайта, трафик, авторитетность ресурса и вес существующего ссылочного профиля. Подробнее – в рекомендациях «Яндекс»,
  • Фокусирование трафика и объединение показателей авторитетности на одном ресурсе. В случае, если есть несколько сайтов-зеркал, их суммарные показатели (трафик, авторитетность) можно сосредоточить на одном домене.

Поиск и устранение дублей URL-адресов на проекте

Каждая страница сайта, независимо от того, статична она или генерируется динамически, должна  быть доступна только по одному уникальному URL-адресу. При этом все остальные его вариации (генерируемые CMS) должны перенаправляться на основной URL-адрес посредством 301-го редиректа. Так, например, можно говорить о присутствии дублей, если главная страница интернет-ресурса доступна по нескольким URL-адресам: site.ru; site.ru/; site.ru/index.html; www.site.ru; www.site.ru/; www.site.ru/index.html и др. Чтобы исправить обнаруженную проблему, следует использовать следующую логику перенаправлений:

страницы вида

  • site.ua/cat/sub-cat (нет "/", отсутствует www)
  • site.ua/cat/sub-cat/index.php (присутствует index.php, отсутствует www )
  • www.site.ua/cat/sub-cat/index.php (присутствует index.php)
  • site.ua/cat/subbbbbbb-cat/index.php (отсутствует www, ошибка в названии раздела)
  • www.site.ua/cat/suuuuub-cat/index.php (ошибка в названии раздела)

 должны автоматически перенаправлять посетителя и роботов поисковых систем на страницу www.site.ua/cat/sub-cat/. Для успешной реализации обозначенных операций, в следующих разделах рассмотрены виды переадресации и механизмы их использования.

Основные виды переадресации и решаемые ими задачи

Переадресация (перенаправление, редирект) представляет собой способ отправки пользователей и поисковых роботов с запрашиваемого URL-адреса на другой. Рассмотрим несколько наиболее часто используемых редиректов:

  • 301-й («перемещено навсегда»). В большинстве случаев, 301-й редирект является лучшим методом для реализации перенаправления на веб-сайте. Он указывает, что страница была перемещена на постоянной основе. При этом данный редирект очень удачно сочетается с поисковой оптимизацией, поскольку позволяет передать вес ссылок со старой страницы на новую.
  • 302-й («перемещено временно»). Не передает веса ссылок на перемещенную страницу. Чаще всего используется, когда необходимо протестировать новую страницу, но при этом охранить все свойства и уровень ранжирования старого документа (страницы).

Полный перечень перенаправлений см. на странице - http://ru.wikipedia.org/wiki/Список_кодов_состояния_HTTP

Механизмы реализации склейки

Склейка доменов осуществляется двумя методами:

  1. Установка серверного 301-го редиректа (redirection)
  2. Использование директивы «Host» в файле robots.txt

Рассмотрим первый метод. Чтобы установить 301-й редирект для сайтов, которые размещены на серверах Apache, требуется внести соответствующие изменения в конфигурационный файл сервера .htaccess.

ris1

Рис. 1 – Код 301-го редиректа (a – на домен без префикса www; b – на домен с www)

Кроме приведенного примера, известны и другие альтернативные варианты реализации данной задачи. Способ установки редиректа зависит от типа сервера, на котором размещен сайт.  

Второй метод заключается в использовании директивы «Host». Чтобы склеить зеркала в поисковой системе Яндекс, достаточно прописать директиву «Host» для каждого из них. При этом устанавливать редирект необязательно. Для файла robots.txt существуют определенные правила синтаксиса, нарушать которые не рекомендуется (Рис. 2).

ris2

Рис. 2 – Синтаксис строк “Host” в robots.txt 

Анализ домена на предмет склейки

Чтобы проверить ресурс на склейку в поисковой системе Google, можно прибегнуть к наиболее простому и доступному методу. Для этого следует воспользоваться оператором “info:” непосредственно в строке поиска (см. Рис.3). Если домены совпадают, то склейка отсутствует и наоборот,  если домены имеют отличия – это свидетельствует о явной склейке.

В поисковой системе Яндекс для выполнения проверки на склейку достаточно воспользоваться функционалом добавления нового сайта в сервисе Яндекс.Вебмастер. Для этого необходимо в строку добавления URL  ввести доменное имя исследуемого сайта. Если после этого появится сообщение: “Указанный вами сайт является неглавным зеркалом сайта…”, значит, фактически присутствует склейка.

ris3a 

Рис. 3 - оператор «info:» в ПС Google;

ris3b

Рис. 3 - добавление URL, Яндекс.Вебмастер

Выводы

Предложенные способы анализа и методы склейки позволяют корректно решать задачи, перечисленные в данном материале. Редирект – быстрый и надежный способ склейки, но его вполне уместно использовать в комплексе с директивой “Host”. Важно при этом отслеживать, чтобы оба метода ссылались на одно и то же зеркало ресурса.

Если вы хотите работать с нами,
давайте начнем с обсуждения задачи

Получить консультацию

Получайте новости интернет-маркетинга

Только полезная информация от экспертов Promodo

Если вы хотите работать с нами,
давайте начнем с обсуждения задачи

Получить консультацию

Есть задача?

Давайте обсудим!

Получайте новости интернет-маркетинга