⬆️ Победители в номинации Search Innovation

Отправьте заявку
и получите предложение

Отправьте заявку
и получите предложение
Этот совет мог стать неактуальным, т. к. прошло много времени с момента публикации.

В чем отличие между директивами файла robots.txt и мета-тегом robots?

Какая разница между файлом robots.txt и мета-тегом robots?

Виктория

employee Эдуард Пронин



1 декабря 2012

Разница большая и чтобы развернуто ответить на этот вопрос необходимо немного углубиться в его историю. Итак, что же такое robots?

Важно понимать, что в первую очередь это стандарт (протокол) исключений для роботов (Robot Exclusion Standard), предложенный Мартинок Костером (Martijn Koster) в 1994 году. Сутью стандарта были предложения по ограничению доступа веб-роботов ,в том числе и поисковых, к веб-сайтам. Инструкции для роботов состоят из полей.

К стандарным полям относятся: User-agent (уточнение юзер-агента, которого касаются приведенные ниже директивы) и директива Disallow — адрес, доступ к которому запрещен поисковому роботу.

Почему суть директивы Disallow так важна? Дело в том, что многие начинающие вебмастера (как, впрочем, и опытные), замечая свои «запрещенные» страницы в индексе поисковой системы, автоматически считают поисковых роботов нарушителями. Здесь существует 2 принципиальных момента:

  1. Robots.txt задаёт рекомендации, или инструкции, а не жесткие директивы.
  2. Индекс поисковой системы может включить URL страницы, не проиндексировав её. То есть адрес сайта может появится в результатах выдачи потому, что робот нашел ссылку на эту страницу, возможно даже с соответствующим запросу анкором. В то же время, поисковая система не индексировала то, что находится на этой запрещенной странице.

Здесь и лежит основная разница между файловым robots.txt и соответствующим мета-тегом. Robots.txt запрещает доступ к странице, что не препятствует её нахождению поисковым роботом, набору PageRank и появлению в результатах поисковой выдачи.

Мета-тег NoIndex, помимо запрета на индексацию, препятствует попаданию страницы в результаты поисковой выдачи, однако так же не препятствует накоплению и перераспределению ссылочного веса.

Мета-тег NoFollow сообщает поисковому роботу что хотя страница и может быть проиндексирована, не стоит следовать по расположенным на ней ссылкам или передавать по ним ссылочный вес. Данный тег аналогичен ссылочному тегу rel="nofollow", однако затрагивает все ссылки на странице.

Таким образом, возможны три комбинации тегов:

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> — не индексировать, но следовать по ссылкам и передавать вес.
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> — индексировать, но не следовать по ссылкам и не передавать вес.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> — не индексировать, не следовать и не передавать вес.

В следствие написанного выше, очевидными становятся и следующие отличия мета-тега robots от robots.txt:

  1. Не поддерживает нестандартные или расширенные директивы (Например, Crawl-delay:, Sitemap:, Host и др.)
  2. Не поддерживает поле User-agent, то есть директивы передаются всем поисковым роботам.

Теги: SEO, внутренняя оптимизация

Do something to stop this war! Russians are killing our children and civilians!