Индексация – это процесс сбора, анализа и добавления данных о содержимом страниц сайта в каталоги или базы ПС (поисковых систем). Если говорить простыми словами, индексация сайта – это внесение сведений о сайте во внутреннюю базу поисковиков, которую иначе называют поисковым индексом. После этого он становится видимым в интернете и показывается по запросам в поиске: без индексации попасть на ресурс возможно только по прямой ссылке.
Для изучения сайтов поисковики применяют специализированные алгоритмы, называемые роботами, или поисковыми пауками, или краулерами. Боты сканируют текстовые файлы, картинки, видео, аудио и прочие элементы. Собранную информацию анализируют другие алгоритмы ПС: определяют качество и ценность содержимого страниц. После успешной проверки страницы попадают в каталоги поисковиков и могут быть отображены в результатах поиска. Как это работает на практике? После получения запроса от пользователя сервис сверяет его с данными в базе и выдает подходящие страницы.
Процедура хоть и является обязательной для продвижения сайта, не обеспечит попадания в топ. Ранжирование и, соответственно, место в поисковой выдаче зависят от множества параметров: технических (возраст домена, скорость загрузки страниц), контентных (ценность, уникальность и оптимизация контента по ключевым запросам), поведенческих и прочих. Но это первый шаг в развитии ресурса, доступности его для пользователей, которые смогут получать релевантную информацию.
Расскажем, что такое индексация сайта и что можно сделать для ее корректной работы.
Индексация сайта – это пошаговый процесс, особенности которого зависят от конкретной ПС. Условно его можно представить так:
Что такое индекс сайта и касается ли он только новых ресурсов? Это не разовый, а постоянный процесс. Содержимое страниц меняется со временем, может устаревать или, наоборот, актуализироваться. Поэтому роботы переобходят страницы с определенной периодичностью и обновляют индекс.
Алгоритмы и принципы индексации сайта – это конфиденциальная информация, засекреченная ПС. Мы можем говорить только об общеизвестных подходах.
Google применяет робота Googlebot. Этот бот сканирует страницы, в том числе текстовые файлы и медиа-компоненты. Полученная информация направляется в базу данных Google, классифицируется и упорядочивается.
Особенность данной ПС – технология Mobile-first, которая отдает предпочтение мобильным версиям сайтов. Если основная версия хорошо проработана, но сайт не оптимизирован для мобильных устройств либо мобильная версия не функциональна, обнаружены ошибки, вероятность успешного индексирования невелика.
Google также принимает во внимание краулинговый бюджет – сколько страниц Googlebot может обойти за один визит на сайт: когда бюджет высокий, они быстрее попадают в индекс.
Поисковый робот Яндекса анализирует десктопную версию сайта. Сразу изучает файл robots.txt, затем оценивает содержимое страницы: если она соответствует всем требованиям, включает ее в каталог и показывает в поиске при соответствующих запросах пользователей. Если материалы не релевантные, неуникальные, страница не попадет в индекс.
Авторитетность сайта несущественно влияет на вероятность успешной индексации. Важную роль играют ценность контента и поведенческие факторы: в приоритете многостраничные ресурсы с хорошей посещаемостью.
Нюанс индекса сайта – это игнорирование файлов весом более 10 Мб: их робот Яндекса не проверяет.
Говорить о настройках индексации не очень корректно. Скорее, речь о создании благоприятных условий для добавления сайта в индекс, поскольку решение о необходимости этого принимают поисковые системы. Разобравшись в основах, вы сможете самостоятельно проверить индекс страниц, а при возникновении ошибок − быстро устранить их, чтобы не терять драгоценный трафик.
Базовые настройки по индекса ресурса задаются в панелях инструментов Google Search Console и «Яндекс.Вебмастер». Функции доступны сразу после регистрации и подтверждения права собственности на указанный ресурс. Вебмастер может провести аналитику и оценить эффективность индексирования сайта, проверить корректность оформления файла robot.txt (и при необходимости внести изменения), обновить версию sitemap.xml и многое другое. Интерфейс консолей интуитивно понятен, сервисы выдают подсказки, поэтому сложностей не возникнет. Можно обратиться в службу поддержки и получить ответ на интересующий вопрос.
Чтобы индексация в поисковых системах проходила без сбоев и достаточно оперативно, нужно:
В панели инструментов вебмастеров можно добавить адреса для сканирования вручную, не дожидаясь, пока до них доберется бот. Когда это актуально? Например, ресурс молодой или сайт выводится из-под санкций ПС, были добавлены новые либо обновлены существующие страницы.
Проверить сайт на индексацию можно следующими способами.
В меню «Яндекс.Вебмастер» есть раздел «Индексирование». Отчет «Страницы в поиске» содержит сведения о страницах, включенных в каталог. В разделе «Статистика обхода» можно проверить, когда робот обходил страницы и какие проблемы возникли при их сканировании.
Аналогичный раздел находится и в меню Google Search Console. В отчете «Страницы» показывается общее количество страниц в каталоге. Там же указано, почему те или иные адреса были проигнорированы системой.
Онлайн-сервис «Серпхант». Выдает актуальный результат индексации 50 страниц. Введите в форму список страниц, отметьте нужный поисковик и запустите проверку. Готовый отчет можно скачать.
Браузерное расширение RDS Bar. Лучше всего работает в браузере Firefox. Позволяет посмотреть историю индексации сайта, но данные не всегда корректны – лучше их перепроверять.
Инструмент «Проверка индексации страницы» от Arsenkin. Позволяет выполнить проверку индексации сайта в поисковых системах Яндекс и Google. Можно загрузить до 5 тысяч страниц. Чтобы начать проверку, добавьте список страниц, указав каждую с новой строки.
При индексации сайта в поисковых системах определенные страницы можно закрыть от сканирования краулерами. Например, те, которые содержат конфиденциальные сведения, технические данные. Также это актуально для многостраничных сайтов, где важно закрывать малозначимые страницы, на которые робот может растратить ресурс, тогда как приоритетные останутся непроиндексированными. Как это сделать:
Индексация – важный, фундаментальный этап поисковой оптимизации сайта, без которого дальнейшие действия не имеют смысла. Если вы хотите заявить о себе, получать трафик и привлекать целевую аудиторию, прежде всего нужно, чтобы ресурс проиндексировался поисковиками и стал видимым в интернете. Но не полагайтесь только на работу поисковых роботов в надежде, что они сделают все за вас. Используйте все доступные методы управления, создайте наиболее благоприятные условия для корректной индексации сайта.
