Файл robots.txt является инструментом управления доступа поисковых роботов к вашему сайту. Он находится в корневом уровне вашего сайта, пример: /robots.txt. Имя файла должно быть набрано нижним регистром и расположено только в верхнем уровне. Любое другое имя или расположение не будет учтено поисковыми системами. Также файл robots.txt должен быть текстовым а не html.

Назначение файла robots.txt:

  • Запретить доступ поисковых роботов к не публичным разделам вашего сайта
  • Заблокировать доступ поисковых роботов к скриптам и прочему коду
  • Избежать индексирования дублированного контента на сайте
  • Обнаружение Sitemap XML

При правильной настройке файла robots.txt, вы указываете страницы или разделы сайта которые не стоит индексировать, ссылки с этих страниц не будут передавать вес на другие страницы. Однако эти страницы все равно могут оказаться в индексе поисковых систем. Это может произойти если другие сайты или страницы будут ссылаться на запрещенные к индексированию.

Результат выдачи по страницам, закрытых в файле robots.txt:

Выдача страниц в google закрытых в robots.txt

Описания по таким страницам нет, так как поисковому роботу Google запрещено их читать. В итоге мы видим стандартное описание “Описание веб-страницы недоступно из-за ограничений в файле robots.txt“. В современных алгоритмах рейтинг таких страниц очень низок, как и релевантность.

В Яндексе эти страницы могут не отображаться вовсе.

Пример файла robots.txt

Пример файла robots.txt блога SEObushido:

Это пример robotx.txt для Яндекса.

Как создать файл robots.txt

Самый простой способ создания файла robots.txt, это создать текстовый файл и переименовать его в robots.txt, далее с помощью ftp закачать на сайт. Либо создать в файловом редакторе вашего хостинга.

Если вы не знаете синтаксиса этого файла, можно создать файл robots.txt онлайн. Для воспользуйтесь бесплатными сервисами онлайн генерации robots.txt:

  • /robots/
  • https://seolib.ru/tools/generate/robots/
  • /analiz/robots.php

Эти сервисы помогут автоматически сгенерировать правильный файл robots.txt для вашего сайта.

Правильный robots.txt для Яндекс

Правила в файле robots.txt могут быть прописаны для каждой поисковой системы отдельно, или для всех одновременно. Также вы можете указать правила отдельно для каждого робота Яндекса или другой поисковой системы.

Для правильного создания файла robots.txt для Яндекс, сначала должен быть указан агент, это названия поискового робота.

О правильной настройке robots.txt для Яндекс, читайте тут: Использование robots.txt.

Пример правильного robots.txt для Яндекс:

Правильный robots.txt для Google

Правильный robots.txt для Google мало чем отличается от Яндекс. За исключением указания User-agent: Googlebot.

Подробнее о настройке файла robots.txt для Google, читайте тут: О файлах robots.txt.

Пример файла robots.txt для Google:

Универсальный robots.txt

Если вам нужно создать одинаковые правила для всех поисковых систем и всех поисковых роботов, просто воспользуйтесь символом (*) в указании User-agent:

Проверка robots.txt

Самый простой и надежный способ проверки вашего файла robots.txt, это воспользоваться инструментом в Google Webmaster и Яндекс Вебмастер.

Проверка robots.txt в Яндекс Вебмастер:

В кабинете Яндекс Вебмастер зайдите в раздел “Настройка индексирования“, и выберите пункт “Анализ robots.txt“. Далее нажмите “Загрузить файл robots.txt с сайта” и “Проверить“.

Проверка robots.txt в Яндекс ВебмастерПроверка robots.txt в Google Webmaster:

Для проверки robots.txt в Google Webmaster, зайдите в раздел “Сканирования“, далее в “Инструменты проверки robots.txt“, введите адрес вашего файла и нажмите на кнопку “Проверить“.

Проверка robots.txt в Google Webmaster

Если у вас остались вопросы, задавайте в комментариях.

Файл robots.txt. Пример создания правильного robots.txt Владимир Полковниченко Поставка и видимость контента,,,
Файл robots.txt является инструментом управления доступа поисковых роботов к вашему сайту. Он находится в корневом уровне вашего сайта, пример: /robots.txt. Имя файла должно быть набрано нижним регистром и расположено только в верхнем уровне. Любое другое имя или расположение не будет учтено поисковыми системами. Также файл robots.txt должен быть текстовым...
Файл robots.txt является инструментом управления доступа поисковых роботов к вашему сайту. Он находится в корневом уровне вашего сайта, пример: /robots.txt. Имя файла должно быть набрано нижним регистром и расположено только в верхнем уровне. Любое другое имя или расположение не будет учтено поисковыми системами. Также <strong>файл robots.txt</strong> должен быть текстовым а не html. <strong>Назначение файла robots.txt:</strong> <ul> <li>Запретить доступ поисковых роботов к не публичным разделам вашего сайта</li> <li>Заблокировать доступ поисковых роботов к скриптам и прочему коду</li> <li>Избежать индексирования <a title="дублированного контента" href="/seo/optimizaciya/postavka-i-vidimost-kontenta/poisk-dublej-stranic-sajta-kak-ot-nix-izbavitsya.html" target="_blank">дублированного контента</a> на сайте</li> <li>Обнаружение <a title="Что такое XML Sitemap и зачем она нужна?" href="/seo/optimizaciya/dostupnost-dlya-poiska/xml-sitemap.html" target="_blank">Sitemap XML</a></li> </ul> При правильной настройке файла robots.txt, вы указываете страницы или разделы сайта которые не стоит индексировать, ссылки с этих страниц не будут передавать вес на другие страницы. Однако эти страницы все равно могут оказаться в индексе поисковых систем. Это может произойти если другие сайты или страницы будут ссылаться на запрещенные к индексированию. Результат выдачи по страницам, закрытых в файле robots.txt: <a href="/wp-content/uploads/2015/04/vidacha-google-zakritih-stranic-v-robots-txt.jpg"><img class="aligncenter wp-image-521 size-full" src="/wp-content/uploads/2015/04/vidacha-google-zakritih-stranic-v-robots-txt.jpg" alt="Выдача страниц в google закрытых в robots.txt" width="488" height="340" /></a> Описания по таким страницам нет, так как поисковому роботу Google запрещено их читать. В итоге мы видим стандартное описание "<strong>Описание веб-страницы недоступно из-за ограничений в файле robots.txt</strong>". В современных алгоритмах рейтинг таких страниц очень низок, как и релевантность. В Яндексе эти страницы могут не отображаться вовсе. <h2>Пример файла robots.txt</h2> Пример файла robots.txt блога SEObushido: [crayon-56611e7c13713508072949/] Это пример robotx.txt для Яндекса. <h2>Как создать файл robots.txt</h2> Самый простой способ создания файла robots.txt, это создать текстовый файл и переименовать его в robots.txt, далее с помощью ftp закачать на сайт. Либо создать в файловом редакторе вашего хостинга. Если вы не знаете синтаксиса этого файла, можно создать файл robots.txt онлайн. Для воспользуйтесь бесплатными сервисами онлайн генерации robots.txt: <ul> <li>/robots/</li> <li>https://seolib.ru/tools/generate/robots/</li> <li>/analiz/robots.php</li> </ul> Эти сервисы помогут автоматически сгенерировать правильный файл robots.txt для вашего сайта. <h2>Правильный robots.txt для Яндекс</h2> Правила в файле robots.txt могут быть прописаны для каждой поисковой системы отдельно, или для всех одновременно. Также вы можете указать правила отдельно для каждого робота Яндекса или другой поисковой системы. Для правильного создания файла robots.txt для Яндекс, сначала должен быть указан агент, это названия поискового робота. О правильной настройке robots.txt для Яндекс, читайте тут: <a title="Использование robots.txt" href="https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml" target="_blank">Использование robots.txt</a>. <strong>Пример правильного robots.txt для Яндекс:</strong> [crayon-56611e7c13725944107796/] <h2>Правильный robots.txt для Google</h2> Правильный robots.txt для Google мало чем отличается от Яндекс. За исключением указания User-agent: Googlebot. Подробнее о настройке файла robots.txt для Google, читайте тут: <a title="О файлах robots.txt" href="https://support.google.com/webmasters/answer/6062608?hl=ru&rd=1" target="_blank">О файлах robots.txt.</a> <strong>Пример файла robots.txt для Google:</strong> [crayon-56611e7c1372c903666157/] <h2>Универсальный robots.txt</h2> Если вам нужно создать одинаковые правила для всех поисковых систем и всех поисковых роботов, просто воспользуйтесь символом (*) в указании User-agent: [crayon-56611e7c13733795922790/] <h2>Проверка robots.txt</h2> Самый простой и надежный способ проверки вашего файла robots.txt, это воспользоваться инструментом в Google Webmaster и Яндекс Вебмастер. <strong>Проверка robots.txt в Яндекс Вебмастер:</strong> В кабинете Яндекс Вебмастер зайдите в раздел "<strong>Настройка индексирования</strong>", и выберите пункт "<strong>Анализ robots.txt</strong>". Далее нажмите "<strong>Загрузить файл robots.txt с сайта</strong>" и "<strong>Проверить</strong>". <a href="/wp-content/uploads/2015/04/proverka-robots-txt-v-yandex-webmaster.jpg"><img class="aligncenter wp-image-522 size-full" src="/wp-content/uploads/2015/04/proverka-robots-txt-v-yandex-webmaster.jpg" alt="Проверка robots.txt в Яндекс Вебмастер" width="1010" height="625" /></a><strong>Проверка robots.txt в Google Webmaster:</strong> Для проверки robots.txt в Google Webmaster, зайдите в раздел "<strong>Сканирования</strong>", далее в "<strong>Инструменты проверки robots.txt</strong>", введите адрес вашего файла и нажмите на кнопку "<strong>Проверить</strong>". <a href="/wp-content/uploads/2015/04/proverka-robots-txt-v-google-webmaster.jpg"><img class="aligncenter size-large wp-image-523" src="/wp-content/uploads/2015/04/proverka-robots-txt-v-google-webmaster-1024x456.jpg" alt="Проверка robots.txt в Google Webmaster" width="1024" height="456" /></a> Если у вас остались вопросы, задавайте в комментариях.