Дубли страниц сайта могут создать очень большие проблемы при продвижения. Сайт который имеет дубли, не попадает под санкции поисковых систем. Если вы слышали или читали другое, это не соответствует действительности. На самом деле, страницы которые имеют дубли, теряют свои позиции.

А если мы говорим о движке, который одинаково генерирует все страницы, то все они могут значительно просесть в выдаче. Одним лишь поиском и решением проблем с дублями, можно существенно поднять позиции по всем вашим запросам.

Дубли страниц могут быть явными и неявными. Явные дубли, это точная копия страницы которая доступна по другому адресу, неявные дубли, это страницы имеющие очень много общих блоков или контентную часть, различные категории и фильтры в интернет магазинах.

Чем опасны дубли?

Как я сказал выше, дубли страниц могут создать проблемы при продвижении сайта, но в чем именно заключаются эти проблемы?

Подмена основной страницы на дублированную в выдаче при очередном апдейте. При этом основная страница подменяется дублированной, которая как правило теряет позиции по всем запросам и существенно проседает в выдаче.

Распыления входящего ссылочного веса. Один из факторов, по которым поисковый робот определяет приоритетную страницу, это входящие ссылки. Как правило на продвигаемую страницу ссылаются другие страницы вашего сайта. Но что если кто то поставит внешнюю ссылку на дубль страницы? Происходит такая ситуация, при которой одна копия имеет внутренние входящие ссылки, другая копия имеет внешние или 5 дублей страниц имеют по 1 входящей ссылке. Входящий ссылочный вес растекается по дублям. Думаю идея понятна.

Применения черных методов продвижения со стороны ваших конкурентов, преднамеренное проставления входящих ссылок на дублированный контент. Последствия описаны выше.

Идеальные условия продвижения любой страницы, это когда страница имеет всего одну копию и весь ссылочный вес идет на эту страницу.

Пример дублей

Одна и та же страница, которая может быть доступна по различным url:

  • /page.html
  • /page.php
  • /page.htm
  • https://example.com/page.html?stuff=some&and=more
  • /page.htm/feed
  • /page.htm/print

Это не все возможные варианты дублированного url, их может быть сколько угодно, как и причин возникновения.

Поиск дублей. Как найти дубли страниц

Для поиска дублей страниц, есть несколько хороших способов.

Поиск дублей страниц через поисковую строку

Такой способ поиска можно осуществить как в Яндекс так и в Google. Используя оператор поиска “site:“, можно ограничить поиск по сайту и по фрагменту url или контента из страницы:

Пример: site:yoursite.ru “фраза по которой нужно найти дубли”. Такой способ позволяет проверить все страницы на явные и неявные дубли.

Поиск дублей страниц через поисковую строку

Поиск дублей страниц через Google Webmaster

Второй способ найти дубли страниц, воспользоваться инструментом для вебмастеров от Google. Зайдите во вкладку “Вид в поиске”, далее “Оптимизация html”. В этой вкладке вы увидите повторяющиеся заголовки title и описания description. Нажав на страницу, которая имеет копию  мета тегов, вы увидите какие страницы вашего сайта могут быть копией проверяемой.

Поиск дублей страниц через Google Webmaster

Поиск дублей страниц с помощью Xenu

Эта программа, так же как и Google Webmaster, позволяет найти одинаковые заголовки и описания для страниц. Ее можно использовать для определения и проверки явных дублей страниц.

Поиск дублей страниц с помощью Xenu Скачать Xenu можно тут.

Как избавиться от дублей страниц

Для эффективного избавления от дублей, нужно точно определить причину возникновения и роль той или иной страницы. С четкими дублями проще, от них как правило всегда нужно избавляться, а вот с нечеткими сложнее, возможно такие страницы должны быть на сайте.

Директива Disallow в Robots.txt

Данная директива закрывает от индексации, а не удаляет дубли. Ее очень хорошо применять для закрытия от индексации целых директорий или структуру url, это очень часто применяется при работе с различными движками.

Пример моего блога SEObushido:

О robots.txt от Яндекс.

О robots.txt от Google.

Этот способ позволяет закрыть ненужные страницы и дериктории от индексации в файле robots.txt. Он не гарантирует того, что страница не попадет в индекс поисковой системы. Потому как в этом случае могут учитываться другие факторы: ссылка на страницу в карте сайта, входящие ссылки с других сайтов и т.д.

Тег rel=canonical

В феврале 2009 компании Google, Yahoo! и Microsoft объявили новый тег, который призван для целей выявления дублей на сайте. Яндекс также поддерживает и понимает этот тег.

Реализацию и работу этого тега можете увидеть на моем сайте:


Этот тег указывает адрес основной страницы сайта. Так что любая страница которая будет четким или нечетким дублем, не сможет помешать продвижению канонической страницы. Этот тег должен присутствовать на всех страницах дублях.

Тег rel=canonical похож на 301 редирект, только без перенаправления на каноническую страницу. Он сообщает поисковым системам о том, что множество страниц нужно рассматривать как одну.

Яндекс о rel=canonical.

Google о rel=canonical.

301 Permanent Redirect

301 Permanent Redirect (постоянный редирект) является самым лучшим способом избавления от дублей с точки зрения правильной оптимизации. Но его применения не всегда возможно. Если мы имеем дело с нечеткими дублями или страницами которые должны оставаться в поиске и на сайте, тогда лучше использовать тег rel=”canonical”.

Идея этого редиректа заключается в том, что пользователь, входящие ссылки и вес, передается с одной страницы на другую. Поисковые системы понимают этот редирект и правильно с ним работают.

Настроить можно в файле htaccess с помощью простого правила:

Если у вас остались вопросы, задавайте в комментариях.

Поиск дублей страниц сайта. Как от них избавиться? Владимир Полковниченко Поставка и видимость контента,,,,
Дубли страниц сайта могут создать очень большие проблемы при продвижения. Сайт который имеет дубли, не попадает под санкции поисковых систем. Если вы слышали или читали другое, это не соответствует действительности. На самом деле, страницы которые имеют дубли, теряют свои позиции. А если мы говорим о движке, который одинаково генерирует все...
Дубли страниц сайта могут создать очень большие проблемы при продвижения. Сайт который имеет дубли, не попадает под санкции поисковых систем. Если вы слышали или читали другое, это не соответствует действительности. На самом деле, страницы которые имеют дубли, теряют свои позиции. А если мы говорим о движке, который одинаково генерирует все страницы, то все они могут значительно просесть в выдаче. Одним лишь поиском и решением проблем с дублями, можно существенно поднять позиции по всем вашим запросам. Дубли страниц могут быть явными и неявными. <strong>Явные дубли</strong>, это точная копия страницы которая доступна по другому адресу, <strong>неявные дубли</strong>, это страницы имеющие очень много общих блоков или контентную часть, различные категории и фильтры в интернет магазинах. <h2>Чем опасны дубли?</h2> Как я сказал выше, <strong>дубли страниц</strong> могут создать проблемы при продвижении сайта, но в чем именно заключаются эти проблемы? <strong>Подмена основной страницы на дублированную в выдаче при очередном апдейте</strong>. При этом основная страница подменяется дублированной, которая как правило теряет позиции по всем запросам и существенно проседает в выдаче. <strong>Распыления входящего ссылочного веса</strong>. Один из факторов, по которым поисковый робот определяет приоритетную страницу, это входящие ссылки. Как правило на продвигаемую страницу ссылаются другие страницы вашего сайта. Но что если кто то поставит внешнюю ссылку на дубль страницы? Происходит такая ситуация, при которой одна копия имеет внутренние входящие ссылки, другая копия имеет внешние или 5 дублей страниц имеют по 1 входящей ссылке. Входящий ссылочный вес растекается по дублям. Думаю идея понятна. <strong>Применения черных методов продвижения</strong> со стороны ваших конкурентов, преднамеренное проставления входящих ссылок на дублированный контент. Последствия описаны выше. Идеальные условия продвижения любой страницы, это когда страница имеет всего одну копию и весь ссылочный вес идет на эту страницу. <h2>Пример дублей</h2> Одна и та же страница, которая может быть доступна по различным url: <ul> <li>/page.html</li> <li>/page.php</li> <li>/page.htm</li> <li>https://example.com/page.html?stuff=some&and=more</li> <li>/page.htm/feed</li> <li>/page.htm/print</li> </ul> Это не все возможные варианты дублированного url, их может быть сколько угодно, как и причин возникновения. <h2>Поиск дублей. Как найти дубли страниц</h2> Для поиска дублей страниц, есть несколько хороших способов. <h3>Поиск дублей страниц через поисковую строку</h3> Такой способ поиска можно осуществить как в Яндекс так и в Google. Используя оператор поиска "<strong>site:</strong>", можно ограничить поиск по сайту и по фрагменту url или контента из страницы: Пример: <strong>site:yoursite.ru "фраза по которой нужно найти дубли".</strong> Такой способ позволяет проверить все страницы на явные и неявные дубли. <a href="/wp-content/uploads/2015/04/poisk-dublei-cherez-poisk.jpg"><img class="aligncenter size-full wp-image-509" src="/wp-content/uploads/2015/04/poisk-dublei-cherez-poisk.jpg" alt="Поиск дублей страниц через поисковую строку" width="821" height="640" /></a> <h3>Поиск дублей страниц через Google Webmaster</h3> Второй способ найти дубли страниц, воспользоваться инструментом для вебмастеров от Google. Зайдите во вкладку "Вид в поиске", далее "Оптимизация html". В этой вкладке вы увидите повторяющиеся <a title="заголовки title" href="/seo/optimizaciya/optimizaciya-kontenta/teg-zagolovka-title-luchshie-praktiki-optimizacii.html" target="_blank">заголовки title</a> и <a title="описания description" href="/seo/optimizaciya/optimizaciya-kontenta/metateg-opisaniya-description-seo-optimizaciya.html" target="_blank">описания description</a>. Нажав на страницу, которая имеет копию  мета тегов, вы увидите какие страницы вашего сайта могут быть копией проверяемой. <a href="/wp-content/uploads/2015/04/poisk-dublei-cherez-google-webmaster.jpg"><img class="aligncenter size-full wp-image-510" src="/wp-content/uploads/2015/04/poisk-dublei-cherez-google-webmaster.jpg" alt="Поиск дублей страниц через Google Webmaster" width="1244" height="516" /></a> <h3>Поиск дублей страниц с помощью Xenu</h3> Эта программа, так же как и Google Webmaster, позволяет найти одинаковые заголовки и описания для страниц. Ее можно использовать для определения и проверки явных дублей страниц. <a href="/wp-content/uploads/2015/04/poisk-dublei-cherez-xenu.jpg"><img class="aligncenter size-full wp-image-511" src="/wp-content/uploads/2015/04/poisk-dublei-cherez-xenu.jpg" alt="Поиск дублей страниц с помощью Xenu" width="657" height="409" /></a> Скачать Xenu можно <a title="тут" href="/" target="_blank">тут</a>. <h2>Как избавиться от дублей страниц</h2> Для эффективного избавления от дублей, нужно точно определить причину возникновения и роль той или иной страницы. С четкими дублями проще, от них как правило всегда нужно избавляться, а вот с нечеткими сложнее, возможно такие страницы должны быть на сайте. <h3>Директива Disallow в Robots.txt</h3> Данная директива закрывает от индексации, а не удаляет дубли. Ее очень хорошо применять для закрытия от индексации целых директорий или структуру url, это очень часто применяется при работе с различными движками. Пример моего блога <a title="SEObushido" href="/" target="_blank">SEObushido</a>: [crayon-56611e7c9504f328775456/] <a title="О robots.txt от Яндекс." href="/webmaster/controlling-robot/robots-txt.xml#996571" target="_blank">О robots.txt от Яндекс.</a> <a title="О robots.txt от Google" href="https://support.google.com/webmasters/answer/6062608?hl=ru&rd=1" target="_blank">О robots.txt от Google</a>. Этот способ позволяет закрыть ненужные страницы и дериктории от индексации в <a title="файле robots.txt" href="/seo/optimizaciya/postavka-i-vidimost-kontenta/fajl-robots-txt-primer-sozdaniya-pravilnogo-robots-txt.html" target="_blank">файле robots.txt</a>. Он не гарантирует того, что страница не попадет в индекс поисковой системы. Потому как в этом случае могут учитываться другие факторы: ссылка на страницу в карте сайта, входящие ссылки с других сайтов и т.д. <h3>Тег rel=canonical</h3> В феврале 2009 компании Google, Yahoo! и Microsoft объявили новый тег, который призван для целей выявления дублей на сайте. Яндекс также поддерживает и понимает этот тег. Реализацию и работу этого тега можете увидеть на моем сайте: <div class="page" title="Page 506"> <div class="layoutArea"> <div class="column"> [crayon-56611e7c95060172758498/] Этот тег указывает адрес основной страницы сайта. Так что любая страница которая будет четким или нечетким дублем, не сможет помешать продвижению канонической страницы. Этот тег должен присутствовать на всех страницах дублях. Тег rel=canonical похож на 301 редирект, только без перенаправления на каноническую страницу. Он сообщает поисковым системам о том, что множество страниц нужно рассматривать как одну. <a title="Яндекс о rel=canonical" href="/webmaster/controlling-robot/html.xml#canonical" target="_blank">Яндекс о rel=canonical</a>. <a title="Google о rel=canonical" href="https://support.google.com/webmasters/answer/139066?hl=ru&rd=1" target="_blank">Google о rel=canonical</a>. <h3>301 Permanent Redirect</h3> 301 Permanent Redirect (постоянный редирект) является самым лучшим способом избавления от дублей с точки зрения правильной оптимизации. Но его применения не всегда возможно. Если мы имеем дело с нечеткими дублями или страницами которые должны оставаться в поиске и на сайте, тогда лучше использовать тег rel="canonical". Идея этого редиректа заключается в том, что пользователь, входящие ссылки и вес, передается с одной страницы на другую. Поисковые системы понимают этот редирект и правильно с ним работают. Настроить можно в файле htaccess с помощью простого правила: [crayon-56611e7c95069392554661/] Если у вас остались вопросы, задавайте в комментариях. </div> </div> </div>