Яндекс не индексирует сайт: почему, и как увеличить скорость индексации?

Почему Яндекс не индексирует сайт? Как увеличить скорость индексации сайта?

Алёна

Есть несколько причин по которым поисковая система Яндекс может не индексировать сайт вообще или индексировать его слишком медленно.

Технические причины

Индексирование сайта может быть запрещено по техническим причинам. Вот некоторые из них:

• страницы сайта содержат ошибки и их содержимое невозможно проиндексировать корректно
• индексирование сайта запрещено в файле robots.txt с помощью директивы Disallow. С её помощью можно запретить индексирование всего сайта или его части
• индексирование AJAX-сайтов будет произведено корректно в случае, если структура сайта построена по определенным правилам
• офисные и Flash-документы также индексируются Яндексом согласно установленным критериям

Поисковый спам

Гарантированные проблемы с попаданием в индекс Яндекса возникнут в случае использования недобросовестных приемов продвижения сайтов — поисковый спам.

Согласно определению Яндекса:

Поисковый спам — это попытки обмана поисковой системы и манипулирования ее результатами с целью изменения позиции того или иного веб-сайта в результатах поиска.

Веб-сайты, использующие «поисковый спам», могут быть понижены при ранжировании или исключены из базы из-за невозможности их корректного ранжирования.

Таким образом, использование поискового спама с высокой долей вероятности гарантирует лишь одну вещь — удаление сайта из результатов поисковой выдачи Яндекса.

Как ускорить индексацию сайта Яндексом?

Есть несколько рекомендаций для боле быстрого появления страниц в индексе:

• Исключите ненужную информацию из индексирования (страницы поиска, статистики, служебные разделы) — проще всего это сделать с помощью файла robot.txt и директивы Disallow;
• Создайте файл sitemap, содержащий информацию о страницах сайта подлежащих индексированию. С его помощью можно сообщить Яндексу, какие страницы нужно индексировать, как часто обновляется информация на страницах, а также индексирование каких страниц наиболее важно;
• Создайте карту сайта — страницу или несколько страниц, содержащих ссылки на все документы сайта;
• Настройте выдачу корректных заголовков ответов (страница не существует — ошибка 404, также необходимо корректно обрабатывать код 304).

В случае если сервер не выдает дату последней модификации документа(обработка кода 304) , то ваш сайт будет проиндексирован, но:

• в поисковой выдаче не будет отображаться дата рядом со страницами сайта;
• при сортировке по дате сайт не будет виден большинству пользователей;
• робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. Таким образом изменившиеся страницы будут переиндексироваться реже так как число страниц, получаемых роботом с сайта за один заход, ограничено.

При условии соблюдения вышеописанных рекомендаций шансы на регулярный визит поискового робота Яндекса возрастут, а вероятность попадания под фильтр — уменьшатся.

Теги: SEO, анализ