Как часто поисковый бот обходит Интернет?

Этот вопрос можно перефразировать: как скоро проиндексированные страницы появятся в индексе поисковой системы, и как часто поисковик обновляет данную информацию?

                             

Конечно, образцовый поисковик должен обладать любой страницей в своем индексе сразу же после ее там появления. И современные поисковые системы стремятся к данному идеалу. Однако Интернет не имеет границ и поисковым роботам просто не хватает времени и сил выкачать все сразу. Тут существуют свои правила и ограничения.

 

Ранее поисковый робот делал обход и индексацию 1 раз в месяц, но сегодня Яндекс и Рамблер делают обход и индексацию каждую неделю. Но есть такой тип информации, которые не терпит такой медлительности – новости, курсы валю или прогнозы погоды. Для такой информации в поисковых системах в штате работает быстрый поисковый робот. Он быстро обходит интернет ресурсы, которые содержат важную новостную информацию. Такой робот приступает к работе раз в день.

 

Но как попасть в список такого робота? Об этом мы поговорим в отдельной статье. Каждый поисковик имеет механизм «самообучении» быстрого бота. Если ваш интернет ресурс имеет достаточно авторитета в сети (т.е. достаточный PR) и при этом имеет большое количество страниц, которые часто изменяются, то он имеет неплохие шансы быть замеченным быстрым роботом.