Перед тем, как поисковики включат статьи и товары с продвигаемого вами сайта в выдачу по запросам пользователей, страницы должны пройти через процесс индексации в поисковой системе. Что такое индексация сайта? Она заключается в обходе ресурса поисковыми роботами. Они представляют собой специальные программы для посещения сайтов. Их задача заключается в считывании контента. Впоследствии найденные тексты будут добавлены в базу данных поисковой системы (ПС). Задача этой базы — обрабатывать и хранить текстовые материалы и другой контент всех проиндексированных сайтов. От скорости и полноты проведения индексации зависит широта представления сайта в поисковой выдаче, высота занимаемой позиции и, в конечном итоге — количество посетителей.
О том, как правильно настроить индексацию страниц в Яндекс и Google рассказываем в этой инструкции.
Индексация сайта в поисковых системах — это больше, чем просто копирование информации с ваших страниц в базу поисковой машины. Для того, чтобы в результаты поиска попадала только важная для пользователя информация, роботы осуществляют фильтрацию содержимого, удаляя все лишнее: рекламу, элементы навигации и одинаковые для всех страниц блоки. Также выясняется структура документа (разделы, заголовки, подзаголовки), проводится семантический разбор текста, для определения его релевантности тем или иным запросам.
У роботов есть и специализация: некоторые отвечают за текстовый контент для основной и «быстрой» выдачи (как правило — для новостных сайтов), другие — за картинки для разделов ПС (Яндекс Картинки и аналогичный сервис у Гугла). Существуют и специализированные алгоритмы для слежения за ссылочным профилем, оценки мобильных версий сайтов и медиа-контента.
Перед тем как начнется индексация в Гугл, Яндекс и других поисковиках, каждая ПС должна получить сведения о появлении нового ресурса. О существовании страницы можно узнать несколькими способами:
Несмотря на то, что индексация страниц сайта полностью автоматизирована, от усилий вебмастера зависит полнота и скорость этого процесса.
Первый шаг всегда заключается в добавлении сайта в специализированные сервисы ПС. Вебмастер — для Яндекс и Search Console для Гугл.
Добавление сайта в Вебмастер выполняется в несколько простых шагов:
Если сайт работает по HTTPS, указывайте домен вместе с протоколом:
Второй этап — подтверждение прав на домен. Необходимо воспользоваться одним из предложенных способов. Самый простой из них — скачать html-файл и разместить его в корне сайта.
Индексация сайта в Яндекс начнется в течение нескольких дней после добавления домена. Первые результаты, включая данные о количестве проиндексированных страниц, станут доступны после следующего обновления поисковой базы.
Для Google Search Console процесс выглядит схожим образом:
Единственное отличие заключается в возможности добавить сразу все ресурсы на домене (мобильные версии сайтов, все протоколы и поддомены), но для этого нужно иметь доступ к редактированию записей NS-сервера, что возможно далеко не у каждого хостера.
Этот простой по своей структуре файл позволяет управлять поведением роботов и ускорить индексацию сайта. С его помощью можно как исключить сайт из поиска и полностью запретить индексацию сайта, так и повысить результативность индексирования и продвижения, ограничив доступ роботам к тем страницам, где нет ценного контента.
В рассматриваемом примере все системные папки движка Joomla закрыты от индексирования с помощью конструкции Disallow. Чтобы явно разрешить доступ к какому либо элементу, нужно использовать Allow.
У файла есть и другие интересные особенности. Например, такие, как закрыть сайт от индексации только в определенной поисковой системе. Для этого используется специальная конструкция User-agent. Если после нее указать наименование конкретного робота — Googlebot или Yandex, то все последующие инструкции будут предназначены только для указанной ПС. Как заблокировать сайт в гугле и разрешить индексацию только в Yandex? Достаточно использовать следующую конструкцию
User-agent: Googlebot
Disallow: /
User-agent: Yandex
Allow: /
User-agent позволяет лучше соответствовать требованиям поисковых систем. Тот же Google предлагает разрешить его ботам индексировать файлы скриптов и стилей. Самый простой способ сделать это — добавить всего две лишние строчки в robots.txt
User-agent: Googlebot
Allow: *.css
Allow: *.js
Важно! В зависимости от используемой CMS нужно определить страницы, которые наверняка будут содержать дубли уже размещенной информации (результаты поиска, например) или никогда не обзаведутся полезным для пользователя контентом (страницы входа, регистрации). Доступ к этим страницам нужно запретить в robots.txt, чтобы улучшить результаты индексирования.
Проверить отредактированный файл на правильный синтаксис и узнать, разрешен ли конкретный URL можно в Яндекс Вебмастере:
Использование мета-тэгов для ссылок позволяет указывать роботам правила индексирования, что делать на конкретной странице, и стоит ли проводить индексацию сайта в Google, Яндекс и любой другой ПС, которая поддерживает работу с такими тэгами.
Популярные CMS позволяют устанавливать такие тэги для отдельных документов, категорий и пунктов меню. Для отдельных ссылок также можно использовать noindex. В этом случае роботы будут обязаны не включать в базы содержимое целевого документа.
Чтобы индексация сайта в Гугл, а также в Яндексе прошла максимально быстро, нужно указать поисковым системам ссылки на наиболее важный контент. Конечно, можно делать это вручную (об этом — ниже), но постоянное появление новых страниц на продвигаемом ресурсе приведет к необходимости ручного добавления страниц, что не слишком удобно. Карта сайта — решение этой проблемы. Она представляет собой XML документ с определенной разметкой, который размещен по известному ПС адресу. Роботы посещают этот адрес и моментально получают информацию о появлении новых ссылок на вашем сайте.
Для подготовки карты сайта лучше воспользоваться специализированным расширением для CMS, которое будет автоматически обновлять содержание XML при создании новых статей и разделов. Структура сайта допускает указание периода обновления для различных страниц и приоритета в индексации. Оба эти параметра носят рекомендательный характер, поскольку ПС самостоятельно измеряют временные интервалы между датами изменения и посещают чаще те страницы, где они фактически происходят быстрее.
Как ускорить индексацию сайта в Яндексе? Нужно добавить карту сайта через панель Вебмастера и дождаться обхода роботом ссылок.
В Google Search Console также есть специализированный раздел:
Не лишним будет и указание ссылки на Sitemap в файле robots.txt с помощью конструкции:
Sitemap: https://vash_sait/путь_к_sitemap.xml
Поисковики могут и проигнорировать эту запись, полагаясь только на информацию из файлов, добавленных вручную через панели управления.
Подключение счетчика Метрики и его связь с сервисом Яндекс Вебмастер позволяет значительно ускорить процесс индексации сайта в Яндекс благодаря автоматической передачи сведений о страницах из кода счетчика.
При установке на сайт кода Google Analytics (GA) также можно передавать сведения о новых страницах в Search Console. Для этого нужно войти под своей учетной записью и связать сервисы, перейдя по ссылке в уведомлении.
Важно! Предложенный метод позволяет как ускорить индексацию в Яндексе и Гугле, так и значительно замедлить этот процесс. Все зависит от настройки файла robots.txt и особенностей работы вашей CMS. Если система управления контентом генерирует большое число динамических страниц (фильтры товаров в интернет-магазинах, результаты поиска) при выполнении запросов пользователей, то перед подключением обхода по данным Метрики нужно обязательно исключить такие страницы из индексации.
Для ускорения индексации наиболее важных страниц сайта можно добавлять их в индекс вручную. В Search Console нужно вставить ссылку в верхнее поле поиска и дождаться получения информации из индекса:
Если страница еще не попала в базу, можно запросить индексирование (отправить страницы на переобход), нажав соответствующую кнопку на странице с результатами поиска. Таким образом можно также проверить индексацию сайта в гугле, любой его страницы или документа.
В Яндекс Вебмастер есть аналогичный функционал. С его помощью можно не только узнавать статус индексации, но добавлять страницы в обход вручную.
Достаточно указать список URL и отправить их на переобход. Даже если адрес пока неизвестен роботу, он посетит указанные ссылки.
Чтобы проверить индексацию страницы в Яндексе нужно перейти в раздел «Проверить статус URL» и указать адреса, по которым нужно получить информацию из индекса.
Добавление страницы в список отслеживаемых позволит получить уведомление о том, что страница добавлена индекс и поиск, а также о важных изменениях в ее статусе (редирект, ошибка 404).
Проверка индексации страницы в Яндексе может быть проведена и с помощью запроса на странице поиска, но этот метод позволяет получить информацию только о тех из них, которые уже попали в поисковую базу. для этого используется конструкция
site:ваш_домен.ru
Метод одинаково работает в ПС Яндекс и Google.
Проверка индексации страницы в Google возможна через поиск Search Console. Единственный минус такого решения: URL придется вставлять по одному. У Яндекс допускается загрузка списков из 20 ссылок.
Как проиндексировать сайт в Гугл и Яндекс, чтобы процесс происходил быстро, а в индекс попадали только те страницы, которые впоследствии будут учитываться в поиске? Нужно придерживаться нескольких простых правил:
Все эти действия можно провести самостоятельно, но чтобы избежать ошибок, которые пагубно скажутся как на скорости индексации ресурса, так и на его представленности в результатах поиска лучше доверить их профессионалам. Узнать о стоимости услуг оптимизации сайтов можно по этой ссылке.