Как работают серверные скрипты

Многие посетители интернет сайтов не подозревают о том, какой механизм привел их на тот или иной сайт или страничку. Конечно мы все пользуемся для поиска информации определенной поисковой системой. Кто-то предпочитает Google, а кто-то отдает предпочтение Яндексу. Все результаты по вашему запросу выдаются в виде списков сайтов, на которых имеется искомая информация. Но если вы хозяин сайта и желаете попасть в данный список, причем в первую десятку по определенному запросу, то вам необходимо изрядно потрудится и для начала необходимо попасть в индекс поисковых систем.

 

В данной статье мы попытаемся раскрыть вам тему, как работают серверные скрипты и повышение уровня индексации сайта. Но как могут влиять серверные скрипты на индексацию страниц вашего сайта?

 

Заголовки http.

 

Первым делом мы предлагаем вам произвести настройку работы сервера и серверных скриптов, что касается заголовков http. Некоторые из вас спросят, а что такое http?

 

Протокол http – это специальный язык, при помощи которого происходит общение всех интернет браузеров, поисковых роботов или серверов, за счет отправки запросов и откликов. При формировании запроса браузер или поисковый робот предоставляет служебную информацию в виде-заголовка.

 

Некоторые из поисковых машин могут обращаться к серверу, на котором расположен ваш сайт с использованием нетрадиционных служебных запросов. Если не настроить сервер должным образом, ответ на запрос робота будет выдан в виде ошибки, а реальный посетитель, через свой браузер, увидит правильную и нормальную страницу. Поэтому мы рекомендуем вам проверить корректность обработки сервером служебных заголовков. Более подробную информацию можно найти по данным ссылкам: http://www.sitforum.ru/internet/cgi_tut/spns.shtml или http://www.sitforum.ru/internet/cgi_tut/rqst.shtml

 

Дата изменения страниц.

 

Всем известно, чем чаще мы будем изменять содержимое наших сайтов, тем чаще в «гости» к нам будет приходить поисковый робот. К примеру, мы знаем, что на сайте имеются разделы, которые давно не изменялись, например, архив новостей. Вы произвели обновление в этом разделе и добавили новые новости, но при этом желаете, чтобы посетивший робот проиндексировал их и не скачивал очередной раз старые страницы. Но робот не обладает теми знаниями, которыми обладаем мы.

 

Для того чтобы произвести сравнение изменений определенной страницы, робот полностью скачивает ее и сравнивает со старой версией. Если изменения существенны, то он производит замену старой страницы на новую. Поэтому робот занимается скачиванием старых страниц, а на новые страницы ему не хватает времени. Мы начинаем удивляться, как новые уникальные тексты или другой контент не попали в индекс поисковой машины?

 

Кроме того большие сайты сталкиваются с проблемой большой нагрузки на сервер. Поэтому чтобы исключить данные неприятности необходимо настроить сервер на обработку по дате последнего добавления или изменения страниц сайта. Если вы включили данную настройку, то сервер будет информировать поисковый робот о последних обновлениях на сайте. В таком случае поисковый робот не будет скачивать не измененные страницы, которые были закачаны им в предыдущие разы. Робот больше внимания уделить новым страницам или значительным изменениям на сайте.

Подробно о настройках вы можете прочитать по адресу http://www.ashmanov.com/pap/ivsprep.phtml

Влияние сессий и дубликатов на индексацию сайтов.

 

На сайтах, где предусмотрена регистрация пользователей, необходимо следить за их посещениями и популярностью тех или иных страниц. Для этого был разработан уникальный механизм мониторинга сессий – идентификатор для каждого посетителя вашего сайта.

 

Обычный посетитель интернет ресурсов сохраняет идентификатор своих сессий в своем браузере, и они называются Cookie. Некоторые пользователи отключают в настройках своих интернет браузеров Cookie и поэтому если они посещают ваш сайт, то в дело вступает идентификатор сессии (то есть определенная комбинация символов). Такие адреса могут выглядеть примерно вот так:

www.moysite.ru/forum.asp?topic=135&sessionID=83298H47463G36252D354

 

Поисковые роботы не могут обрабатывать Cookie и поэтому им легче обработать идентификатор сессии, по адресам каждой из страниц. При каждом посещении роботом сайта, на котором присутствует механизм сессий, его страницам присваивается различные идентификаторы, которые автоматически прибавляются  к адресам страниц. Поэтому для робота одна и та же страница в разное время посещения будет иметь различные адреса. В течении определенного времени робот после нескольких посещений вашего сайта робот насобирает большой список разных адресов одной и той же страницы, только с различной приставкой идентификатора.  В итоге нецелесообразно используется ресурс сервера, а до индексации важной информации дело может и не дойти.

 

Существует и другая проблема для крупных сайтов, которая обусловлена дубликатами страниц. После изменения адресации на сайте могут возникнуть страницы с разными адресами, которые ведут на одну и туже страницу. Вот некоторые из примеров, таких адресов:

www.moysite.ru/script.php?page=article=id3

www.moysite.ru/article/

www.moysite.ru/article.html

www.moysite.ru/article.htm

 Если сайт содержит к примеру 2000 страниц, то поисковая система получит список из 8000 страниц. А в последствии будет делать выборку из четырех вариантов по релевантности страницы. Поэтому, чтобы это не произошло необходимо проверить сайт на существование одинаковых страниц под разными адресами.

 

Например, Яндекс имеет механизм удаления дубликатов, который активизируется при достижении порога ссылок на одну и ту же страницу. Бывает так, что в индексе просто не остается документов с сайта и процесс индексации начинается с чистого листа.