Что такое дубли страниц и их происхождение

Содержание статьи:

• Что такое дубли страниц
• Негативное влияние дублей на сайт в целом.
• Виды дублей страниц (частично и полное)
• Как найти дубли страниц
• Как избавится от дублей на сайте.

Дубли страниц — это одинаковые страницы сайта, которые имеют разный URL (ссылку). Чаще всего они могут появляться из-за неправильной работы сайта или же человеческой ошибки (создание по ошибке двух страницах с одинаковым наполнением).

Пример проблем с сайтом, которые могут повлиять на появление дублей:

1. Не закрытые от индекса страницы пагинации в интернет-магазинах:

2. Неверная настройка фильтров по каталогу с товарами:

3. Страницы карточек товаров могут быть дублями, если карточки товара отличаются только цветом или размером, но в остальном имеют одинаковые характеристики.
4. Дубль главной страницы (site.ru) за счет настройки неправильных редиректов, а именно:

• a. С htpp на htpps ;
• b. с www на без www и наоборот;
• c. / со слешем в конце или без.

Какое негативное влияние несут дубли страниц для сайта в целом?

Для посетителей вашего сайта дубликаты страниц не несут никакой угрозы, но для поисковых систем это может быть одним из признаков некачественного сайта и может повлиять в конечном счете на низкие позиции страниц сайта в выдаче.

Так почему же поисковая система так не любит дубли? На этот вопрос есть несколько логичных ответов:

1. Проблемы с индексацией сайта. У поисковых систем существует краулинговый бюджет (число страниц, которое они могут обойти за 1 визит на сайт) и в таком случае боты тратят его на дубликаты страниц вместо приоритетных.
2. Канибализация запроса или нерелевантность страницы. При создании однотипных страниц происходит рассеивание веса главного запроса, под который была создана первая оригинальная страница.

В будущем поисковые системы не будут понимать, какой из многочисленных дублей страниц отдать приоритет и вывести в ТОП. Поэтому будут происходить постоянные скачки с одной страницы на другую, что не гарантирует хороших позиций в выдаче.

3. И самое худшее развитие события при большом содержании одинаковых страниц на сайте — это фильтр и понижение в целом сайта в выдаче.

Виды дублей

Существует два самых распространенных вида дублей:

• Полное дублирование страниц оригиналов. Тут всё просто и единственное различие, которое выдает их это — URL в остальном они как близнецы: одинаковое содержание и оформление контента, мета-теги.

• Частичное. Здесь уже посложней — нужно проявлять смекалку, ибо они больше похожи на двойняшек. Мета-теги могут быть заполнены не слово в слово, но обязательно будет присутствовать главный запрос, контент и оформление может полностью различаться.

[unisender_short_top]

Как найти дубли страниц?

Для поиска дублей существует ручные и автоматические методы.

Ручные методы поиска дублей:

1. 1. Проанализировать проиндексированные страницы в Google или Яндекс с помощью оператора site:domen.ru

1. 1. Поиск по фрагменту текста — опять же используем оператор site:domen.ru:

3. Можно воспользоваться расширенным поиском от Google для поиска дубликатов страниц, которые поисковая система уже проиндексировала и добавила в выдачу:

4. Поиск дублей с помощью вебмастеров от Google и Yandex:

Или

И автоматические способы посредством использования программ, которые смогут проанализировать ваш сайт и найти полные дубли. Самые распространенные: Xenu, Screaming Frog.

Как убрать дубли страниц с сайта без потери трафика и позиций?

Для того, чтобы убрать дубли с сайта великих знаний не нужно. После того, как вы определились со списком дублей страниц, у вас есть несколько вариантов:

1. Выключить дубли страниц и удалить руками в вебмастере из индекса поисковых систем или же подождать, когда поисковая система сама увидит, что страниц больше не существует и они отдают 404 ошибку.
2. Настроить 301 редирект со страниц дубликатов на страницу оригинал, но тут не следует перегибать палку, если количество дублей большое.

А вот, как не навредить сайту, не потерять позиции по ВЧ запросам и не потерять трафик, если он идет с дублей страниц — тут уже нужен детальный анализ с помощью съема позиций и аналитики (метрики). Все это необходимо, чтобы принять верное решение о способе устранения дублей.

Если дубли страниц созданы не по ошибке человека, а за счет создания страниц: пагинации, фильтров — в таком случае следует отдать предпочтение запрета индексирования страниц пагинаций или фильтров robots.txt или же использование тега Canonical, который поможет понять поисковой системе, какая страница является оригиналом, а какие дублями. Успехов! =)