Как закрыть страницы результатов фильтрафии от поисковой системы через robots.txt?
Как закрыть фильтрацию через robots.txt?
Алёна
Эдуард Пронин
15 октября 2012
В первую очередь следует оценить какие фильтры есть на сайте и определить какие из них необходимо закрывать от индексации, а какие нет. Страницы с применением определенных фильтров (фильтрация по бренду, бренду+типу товара, бренду+серии товара) могут приносить трафик по определенным запросам пользователей. Необходимо проанализировать трафик для таких страниц и провести их оптимизацию (прописать title, meta теги, h1 с использованием ключевых запросов). В результате Вы сможете получить дополнительный трафик на сайт.
Закрыть доступ поисковым роботам к страницам фильтрации через файл robots.txt можно с помощью директивы
User-agent:*
Disallow: *&apply_filter=*
При закрытии страниц фильтрации с помощью файла robots.txt поисковый робот может добавлять указанные страницы в дополнительный индекс, что негативно влияет на позиции сайта в поисковой выдаче. Файл robots.txt лучше использовать для закрытия от индексации служебных страниц сайта.
Для закрытия индексации страниц фильтрации намного лучше использовать мета-тег <meta name="robots" content ="noindex,follow" /> в блоке <head> страницы. С помощью этого тега при попадании на страницы фильтрации поисковый робот точно не будет индексировать страницу, но будет иметь возможность перехода по ссылкам для дальнейшей индексации сайта.
Теги: SEO, внутренняя оптимизация
