Продвигай свой бизнес с помощью Collaborator.
10426 уникальных площадок для размещения статей.

Индексация сайта в поисковых системах – как проверить и ускорить

Поисковая индексация сайта – сканирование сайта и добавление его в базу данных (индекс поисковых систем).

Это если совсем просто и коротко. А если подробнее?

Важно! Если вы хотите получать аудиторию из поисковых систем – он должен быть открыт для индексации.

1

Что такое поисковая индексация сайта

Поисковые системы типа Яндекса и Google сканируют страницы сайтов, чтобы классифицировать их и добавить в Индекс – базу данных. Поисковые роботы – пауки или краулеры – собирают информацию о тексте, видео, изображениях и другом доступном для сканирования контенте. Робот проверяет его на соответствие требованиям, отсеивает спам и добавляет полезный контент в свою базу.

База данных поисковику нужна, чтобы выдавать пользователям верные результаты по запросам. Чем более релевантен сайт запросу, тем выше в списке результатов он находится, а значит и получает больше переходов. 

2

Как проиндексировать сайт

Поисковики индексируют сайты с разной скоростью. Например, Яндекс может «рассматривать» обычный сайт от недели до месяца, а вот Google сделает это максимум за неделю. Но чтобы не ждать, можно самому повлиять на скорость индексации.

Яндекс.Вебмастер

Добавьте сайт в Яндекс.Вебмастер за 5 шагов:

  1. Войдите в свой аккаунт на Яндексе или зарегистрируйте новый.
  2. Перейдите на сервис Вебмастер и впишите в поле адрес главной страницы вашего сайта.
  3. Подтвердите, что вы владелец сайта. Сервис предложит вам добавить мета-тег в код страницы, либо другой способ подтверждения.
  4. Робот проверит наличие мета-тега, добавит сайт и покажет информацию о нем.
  5. Установите и привяжите к аккаунту Вебмастера Яндекс.Метрику, чтобы краулер использовал более точные данные.

После добавления сайта в панель вебмастера — ожидайте его индексации. Отслеживать статус индексации страниц вы можете в следующем отчете:

Google Search Console

С Google все так же просто:

  1. Перейдите на страницу Search Console и войдите в свой аккаунт или зарегистрируйтесь.
  2. Добавьте сайт в систему.
  3. Подтвердите права на сайт.

Когда сайт проиндексируется, вы увидите отчет. 

Другие поисковые системы

В основном пользователи рунета отдают предпочтение Google и Яндексу, но и несколько других поисковиков должны знать о вашем сайте, небольшие объемы трафика вы также можете получать оттуда.

Mail.ru имеет свой кабинет для вебмастеров. Вы можете добавить туда сайт по тому же принципу. 

Рамблер пользуется теми же данными, которые собирает Яндекс, так что вам не понадобятся дополнительные настройки.

Yahoo и Bing имеют общий кабинет для вебмастеров, с тех пор как два поисковика объединились. Вам нужно зарегистрироваться, после чего перейти в настройки вебмастера и добавить адрес сайта. После откроется страница, где нужно добавить сведения о сайте. Пройдет несколько недель, прежде чем информация о сайте начнет отображаться.

3

Как ускорить индексацию сайта в поисковиках

Что влияет на скорость индексации

Скорость индексации зависит от:

  • частоты обновления контента;
  • внутренних и внешних ссылок;
  • наличия трафика на сайт с других источников;
  • технической оптимизации сайта;
  • корректной настройки CMS системы.

Да, рано или поздно роботы сами найдут ваш сайт и проиндексируют его, но ждать можно долго. Помимо ручного добавления сайта в систему поиска, существуют рекомендации, как ускорить индексацию:

  • добавляйте новый уникальный контент регулярно;
  • упрощайте навигацию по сайту;
  • настройте robots.txt;
  • создайте карту сайта для поисковых роботов;
  • сделайте внутреннюю перелинковку;
  • используйте внешние ссылки.

Главная рекомендация для ускорения индексации: создайте sitemap.xml на вашем сайте и добавьте его в Google Search Console и в Яндекс.Вебмастер.

robots.txt

Файл robots.txt хранится в корневом каталоге сайта, он может быть только один. Это текстовый файл, в который записывают правила для каждого отдельного поискового бота или для всех сразу. Правилами можно «спрятать» от роботов технические страницы, сделать акцент на важных и т.д.

Проверить файл можно прямо в Search Console и Яндекс.Вебмастере

У пауков ограниченное время на посещение сайта (краулинговый бюджет), и если дать ему обрабатывать все подряд страницы, то он может не успеть проиндексировать самые важные, «застряв» на технических.

Например, если у вас интернет-магазин, в robots.txt стоит закрыть от индексации внутренний поиск, корзины покупателей. Подробнее о работе с файлом можно прочесть в справке Google.

Sitemap.xml

Sitemap.xml – файл для робота со списком всех страниц ресурса, которые нужно проиндексировать. Карта поможет определить, где находятся страницы и частоту их обновления, приоритетность в структуре.

Файл обычно располагается по адресу https://domain.com/sitemap.xml. Если у вас по этому адресу не открывается карта сайта, скорее всего у вас ее нет.

Карта сайта выглядит примерно вот так:

В файле используются специальные теги XML:

  • <url></url> – обозначает начало и конец блока страницы;
  • <code></loc> – указывает адрес страницы;
  • <lastmod></lastmod> – указывает дату последнего обновления страницы;
  • <code><priority> – указывает приоритет страницы;
  • <changefreq></changefreq> – указывает частоту обновления страницы с помощью:
    • never – никогда;
    • yearly – раз в год;
    • monthly – каждый месяц;
    • weekly – каждую неделю;
    • daily – каждый день;
    • hourly – каждый час.

Для больших сайтов имеет смысл создать несколько карт.

Внутренняя перелинковка

Внутренняя перелинковка – ссылки на другие страницы вашего сайта. С ее помощью вы формируете структуру, которая помогает пользователям ориентироваться на сайте. 

Перелинковка ускоряет индексацию страниц, так как роботы сами проходят по ссылкам и проверяют их. Роботы сканируют сначала главную страницу и материалы с высокой приоритетностью. Грамотная перелинковка направит роботов на нужные страницы и значительно ускорит индексацию новых материалов.

Главные рекомендации по перелинковке:

  1. Не делайте страницы с глубоким уровнем вложенности; идеальный вариант, это чтобы к любой странице сайта можно было добраться в 3 клика с главной страницы.
  2. Используйте принцип “Википедии” – активно ставьте ссылки внутри статей и других страниц.

  1. Избегайте одиноких страниц, на которые не ссылаются другие страницы.

Внешние ссылки

Если кто-то ссылается на ваш сайт, значит ему доверяют. Чем больше внешних ссылок на ваш сайт, тем больше вероятность получить внимание поискового бота.

Чаще остальных ресурсов боты сканируют соцсети и новостные порталы, ведь они обновляются чуть ли не каждую секунду. Ссылки с них на ваш сайт сработают лучше всего.

Сайты с самой высокой скоростью сканирования ссылок:

  1. Twitter,
  2. Facebook,
  3. Вконтакте.

Яндекс больше любит связку ВК + Twitter. Попробуйте также размещать ссылки на тематических форумах. Чем больше пользователи будут взаимодействовать с постом со ссылкой и самой ссылкой, тем быстрее краулеры обратят на нее внимание.

4

Как проверить индексацию сайта

Есть несколько способов проверить, попал ли ваш сайт или нужная страница в индекс поисковиков. 

Поисковые операторы

Можно использовать поисковые операторы, которые уточняют результаты поиска. Для этого введите в строку Яндекса или Google текст "site:[адрес вашего сайта]". Результат покажет количество индексируемых страниц.

Сервисы для проверки индексации

Многие SEO-специалисты пользуются плагинами и расширениями для проверки индексации, например RDS Bar. Его можно установить как расширение в браузер и проверить, открыта ли конкретная страница для индексации.

Также популярны автоматические сервисы, которые массово собирают данные об индексации, такие как Netpeak Spider. Он может просканировать весь сайт и выдать сведения об индексации, информацию об ошибках и порекомендует, как от них избавиться. Софтина платная.

Бесплатный сервис PR-CY проверит индексируемость и выдаст краткий отчет.

Панели вебмастера

Проверить индексацию можно и на панели вебмастера Google и Яндекс.

Для Google зайдите в Search Console и на вкладке «Обзор» выберете график «Покрытие». График отображает разными цветами количество страниц без ошибок, с ошибками. Можно рассмотреть, какие ошибки мешают индексации. Новую страницу или исправленную можно отправить на индексацию кнопкой «Запросить индексирование».

В Яндекс.Вебмастер переходите на «Индексирование сайта», затем на «Страницы в поиске», где вы увидите количество страниц в поиске. 

5

Возможные проблемы с индексацией

Сайт или его отдельные страницы могут плохо индексироваться по ряду причин.

1. Поисковик еще не знает о сайте или странице. Прошло мало времени с момента появления страницы. Стоит подождать минимум две недели, чтобы сайт проиндексировался. Если сайт редко обновляется и на него нет внешних ссылок, поисковой бот просто не сможет узнать о нем.

2. Некоторые разделы закрыты для пауков. Это может происходить по желанию владельца сайта через robots.txt. Также возможно ваш сайт находится в черном списке – он может быть под санкциями или распространять вирусы.

3. Техническая ошибка на странице или сайте. Возможные ошибки:

  • некорректные HTTP-заголовки;
  • некорректные редиректы;
  • неверно указанная кодировка, которую робот увидит как набор бессмысленных символов;
  • ошибки сканирования, на которые указывают сами поисковики в панелях для вебмастеров;
  • отсутствие или некорректная настройка sitemap.xml.

4. Плохое качество документов. Неуникальный контент, внутренние дубли, малый объем уникального текста, шаблонность в документах раздела, медленная скорость загрузки.

6

Как закрыть сайт от индексации

Через файл robots.txt можно запретить индексацию страниц или всего сайта для конкретного поисковика или для всех сразу, используя директиву Disallow:

Если хотите закрыть конкретные разделы, укажите их:

Disallow: /news

Иногда Google игнорирует такой запрет, проверьте это через кабинет вебмастера. Если страницы все еще индексируются, переходите к следующему способу.

С помощью метатега Robots можно не дать роботам просканировать контент и закрыть текст от индексации. Для этого нужно в раздел <head> страницы добавить строку:

<noindex>[текст]</noindex>

Закрыть всю страницу от индексации можно, добавив строку

<meta name="robots" content="none"/>

Перед закрытием сайта от индексации желательно проверить методы в панелях вебмастеров. 

Итоги

Если вы понимаете принцип индексации и для чего она нужна, вы легко сможете правильно настроить сайт для поисковиков. Корректно настройте в robots.txt и карту сайта, избавьтесь от технических ошибок и позаботьтесь о качественном контенте, чтобы поисковики высоко ценили ваш сайт.

Остались вопросы? Задавайте их в комментариях😀