Любой сайт создается для того, чтобы его посещали реальные пользователи и читали информацию, опубликованную там (либо выполняли какие-то другие действия). Откуда же взяться этим самым пользователям? На среднестатистическом информационном ресурсе большинство посетителей приходят с поисковиков. Трафик с поисковых систем является наиболее стабильным. А найти ваш сайт люди смогут лишь в том случае, если страницы будут занесены в базу данных поисковика.
Так вот, процесс занесения сайта и его отдельных страниц в базу данных поисковой системы – это и есть индексация. Уже после индексации происходит формирование выдачи по отдельным группам запросов.
Первичным звеном в процессе индексации является робот поисковой системы. Это специальная программа, которая в автоматическом режиме сканирует программный код сайтов и заносит получаемые сведения в базу данных. Робот поисковой системы может попасть на сайт несколькими способами. Во-первых, после того, как вы зарегистрируете сайт во всех основных поисковых системах. К примеру, в Яндексе можно зарегистрировать сайт посредством сервиса «Яндекс.Вебмастер», в Google – посредством сервиса «Инструменты для вебмастеров». Во-вторых, по ссылкам с других сайтов. Здесь вариантов очень много. Ссылки могут быть размещены в аккаунтах социальных сетей пользователей, которым понравились ваши статьи. Ссылки могут быть размещены на тематических сайтах (на платной и бесплатной основе), на форумах, в каталогах статей и т.д.
Сроки индексации могут быть различными – от нескольких минут до нескольких недель. Тут все зависит от конкретного поисковика, возраста сайта, его посещаемости, частоты обновления контента и других факторов. Чем старше сайт, чем больше людей его посещают, чем чаще добавляются новые статьи, тем чаще такой сайт посещают индексирующие роботы поисковых систем.
Как только робот оказывается на вашем сайте, он начинает сканировать страницы. Сканируется именно программный код и текст, заключенный в нем. На внешнее оформление и дизайн робот поисковой системы никакого внимания не обращает. Главное – чтобы программный код был максимально простым и читабельным. Если это так, то сайт проиндексируется с минимальным количеством ошибок, больше страниц попадет в базу данных, больше посетителей придет с поиска. Если робот впервые на вашем сайте, то все страницы, на которых он побывает, будут занесены в базу данных. Если робот заходит на ваш сайт не первый раз, то он сравнивает страницы, уже занесенные в базу поисковика со страницами, фактически присутствующими на сайте. При наличии каких-то изменений в списочном составе страниц, разделов (или даже в контенте одной страницы) информация о том, что именно изменилось, будет снова занесена в базу.
Используя вышеупомянутые сервисы «Яндекс.Вебмастер» и «Инструменты для вебмастеров» вы сможете следить за тем, сколько страниц вашего сайта на данный момент находится в индексе Google и Яндекса.