Как выстроить такую структуру ссылок, по которым поисковые роботы беспрепятственно могли бы перемещаться и индексировать все важные страницы. Иногда владельцы сайтов просто не заботятся о том, что бы поисковый робот смог добраться и проиндексировать страницу сайта.

Как вы наверное знаете, поисковые роботы узнают о новом контенте с помощью входящих ссылок. Переходя по ссылкам, поисковые роботы индексируют все сайты в интернете.

Ситуация которая может произойти:

Структура ссылок

Структура ссылок

Робот добрался предположим до главной страницы вашего сайта A, с этой страницы есть ссылки на страницу B и E, робот перейдет и проиндексирует эти страницы, но страницы C и D он не увидит. Он просто не узнает что они существуют.

Вот основные причины, по которым страницы могут быть недоступны для роботов поисковых систем:

  • Ссылки в виде форм. Роботы поисковых систем некогда не заполняют формы. Поэтому любая ссылка, которая доступна только после заполнения формы, останется невидимой для поискового робота. Это касается всех видов форм (форма поиска, форма регистрации, форма входа и т.д.).
  • Ссылки в JavaScript. Поисковые роботы умеют работать в JavaScript кодом, но это далеко не идеальная работа. Поэтому если ваша ссылка находится в таком коде, лучше убедитесь что до целевой страницы есть альтернативные пути.
  • Ссылки внутри Flash, Java и других дополнительных компонентах сайта. Вы не можете быть уверены на 100% что робот пройдет по таким ссылкам. Поэтому лучше отказаться от такой затеи.
  • Ссылки в файлах Word, PDF, Power Point, Pages, Keynote. Поисковые роботы умеют извлекать ссылки из таких файлов, но какой вес получают такие ссылки неизвестно.
  • Блокированные страницы или ссылки мета тегами Nofollow, Robots, rel=”nofollow”, тег <NoIndex> или robots.txt. Убедитесь в том, что ссылка или страница с ссылкой не закрыты вышеперечисленными мета тегами, атрибутами и тегами, а также не заблокированы в файле robots.txt.
  • Ссылки на страницах, где общее число исходящих ссылок больше 100. По заявлениям Google, поисковый бот может ограничиться переходом по первым 100 ссылкам и этим ограничиться. Хотя для важных страниц, Google может сделать исключения.
  • Старайтесь избегать ссылок в Frame и IFrame элементах. Поисковые роботы обрабатывают их не так, как ссылки в чистом html коде.

Избегайте вышеперечисленные причины, по которым поисковый робот может не найти ваши страницы.

Далее мы рассмотрим важнейший инструмент поисковой оптимизации, карту сайта sitemap.xml,  который позволит поисковым роботам узнать о странице, даже если на нее нет ссылки на вашем сайте.

Структура ссылок, по которым могут переходить поисковые роботы Владимир Полковниченко Доступность для поиска
Как выстроить такую структуру ссылок, по которым поисковые роботы беспрепятственно могли бы перемещаться и индексировать все важные страницы. Иногда владельцы сайтов просто не заботятся о том, что бы поисковый робот смог добраться и проиндексировать страницу сайта. Как вы наверное знаете, поисковые роботы узнают о новом контенте с помощью входящих ссылок....
Как выстроить такую структуру ссылок, по которым поисковые роботы беспрепятственно могли бы перемещаться и индексировать все важные страницы. Иногда владельцы сайтов просто не заботятся о том, что бы поисковый робот смог добраться и проиндексировать страницу сайта. Как вы наверное знаете, поисковые роботы узнают о новом контенте с помощью входящих ссылок. Переходя по ссылкам, поисковые роботы индексируют все сайты в интернете. Ситуация которая может произойти: Робот добрался предположим до главной страницы вашего сайта A, с этой страницы есть ссылки на страницу B и E, робот перейдет и проиндексирует эти страницы, но страницы C и D он не увидит. Он просто не узнает что они существуют. Вот основные причины, по которым страницы могут быть недоступны для роботов поисковых систем: <ul> <li><strong>Ссылки в виде форм</strong>. Роботы поисковых систем некогда не заполняют формы. Поэтому любая ссылка, которая доступна только после заполнения формы, останется невидимой для поискового робота. Это касается всех видов форм (форма поиска, форма регистрации, форма входа и т.д.).</li> <li><strong>Ссылки в JavaScript</strong>. Поисковые роботы умеют работать в JavaScript кодом, но это далеко не идеальная работа. Поэтому если ваша ссылка находится в таком коде, лучше убедитесь что до целевой страницы есть альтернативные пути.</li> <li><strong>Ссылки внутри Flash, Java и других дополнительных компонентах сайта</strong>. Вы не можете быть уверены на 100% что робот пройдет по таким ссылкам. Поэтому лучше отказаться от такой затеи.</li> <li><strong>Ссылки в файлах Word, PDF, Power Point, Pages, Keynote</strong>. Поисковые роботы умеют извлекать ссылки из таких файлов, но какой вес получают такие ссылки неизвестно.</li> <li><strong>Блокированные страницы или ссылки мета тегами Nofollow, Robots, rel="nofollow", тег <NoIndex> или robots.txt</strong>. Убедитесь в том, что ссылка или страница с ссылкой не закрыты вышеперечисленными мета тегами, атрибутами и тегами, а также не заблокированы в файле robots.txt.</li> <li><strong>Ссылки на страницах, где общее число исходящих ссылок больше 100</strong>. По заявлениям Google, поисковый бот может ограничиться переходом по первым 100 ссылкам и этим ограничиться. Хотя для важных страниц, Google может сделать исключения.</li> <li><strong>Старайтесь избегать ссылок в Frame и IFrame элементах</strong>. Поисковые роботы обрабатывают их не так, как ссылки в чистом html коде.</li> </ul> Избегайте вышеперечисленные причины, по которым поисковый робот может не найти ваши страницы. Далее мы рассмотрим важнейший инструмент поисковой оптимизации, карту сайта sitemap.xml,  который позволит поисковым роботам узнать о странице, даже если на нее нет ссылки на вашем сайте.