Продвигай свой бизнес с помощью Collaborator.
12898 уникальных площадок для размещения статей.

Как проверить индексацию сайта в Google и Яндекс

Эта публикация обновлена 01 февраля 2021

1

Что такое индексация сайта

Индексация сайта (поисковая индексация сайта) – сканирование сайта и добавление его в базу данных (индекс поисковых систем).

Это если совсем просто и коротко. А если подробнее?

Важно! Если вы хотите получать аудиторию из поисковых систем – сайт должен быть открытым для индексации.

Поисковые системы типа Яндекса и Google сканируют страницы сайтов, чтобы классифицировать их и добавить в Индекс – базу данных. Поисковые роботы – пауки или краулеры – собирают информацию о тексте, видео, изображениях и другом доступном для сканирования контенте. Робот проверяет его на соответствие требованиям, отсеивает спам и добавляет полезный контент в свою базу.

База данных поисковику нужна, чтобы выдавать пользователям верные результаты по запросам. Чем более релевантен сайт запросу, тем выше в списке результатов он находится, а значит и получает больше переходов. 

В данной статье мы разберемся с самыми важными вопросами, связанными с индексацией сайта и страниц: 

  • Как узнать, проиндексирован ли сайт;
  • Как проверить количество проиндексированных страниц сайта в поисковых системах Гугл и Яндекс;
  • Как проверить индексацию страниц;
  • Как ускорить индексацию сайта в Яндексе и Google;
  • Какие поисковые операторы можно использовать;
  • Как использовать robots.txt и sitemap.xml для быстрой индексации страниц.

Чтобы узнать подробно, как индексировать страницы или сайт и можно ли ускорить индексацию, пройдите бесплатные SEO курсы 2021 для начинающих от Сергея Кокшарова. Курс уже достуен в Академии Коллаборатора.

2

Как проиндексировать сайт в Яндексе и Google

Чтобы проиндексировать сайт в Яндексе и Гугле, воспользуйтесь инструментами для вебмастеров: Яндекс.Вебмастером и Search Console. Поисковики индексируют сайты с разной скоростью. Например, Яндекс может «рассматривать» обычный сайт от недели до месяца, а вот Google сделает это максимум за неделю. Но чтобы не ждать, можно самому повлиять на скорость индексации.

Яндекс.Вебмастер

Чтобы добавить сайт в Яндекс.Вебмастер:

  1. Войдите в свой аккаунт на Яндексе или зарегистрируйте новый.
  2. Перейдите на сервис Вебмастер и впишите в поле адрес главной страницы вашего сайта.
  3. Подтвердите, что вы владелец сайта. Сервис предложит вам добавить мета-тег в код страницы, либо другой способ подтверждения.
  4. Робот проверит наличие мета-тега, добавит сайт и покажет информацию о нем.
  5. Установите и привяжите к аккаунту Вебмастера Яндекс.Метрику, чтобы краулер использовал более точные данные.

После добавления сайта в панель вебмастера — ожидайте его индексации. Отслеживать статус индексации страниц вы можете в следующем отчете:

Проверка индексации страниц в Яндекс.Вебмастере

Проверка индексации страниц в Яндекс.Вебмастере

Google Search Console

Чтобы добавить сайта в Google Search Console:

  1. Перейдите на страницу Search Console и войдите в свой аккаунт или зарегистрируйтесь.
  2. Добавьте сайт в систему.
  3. Подтвердите права на сайт.

Когда сайт проиндексируется, вы увидите отчет. 

Проверка индексации сайта в Google Search Console

Проверка индексации страниц в Google

Другие поисковые системы

В основном пользователи рунета отдают предпочтение Google и Яндексу, но и несколько других поисковиков должны знать о вашем сайте, небольшие объемы трафика вы также можете получать оттуда.

Mail.ru имеет свой кабинет для вебмастеров. Вы можете добавить туда сайт по тому же принципу. 

Проверка индексации страниц в Mail.ru

Рамблер пользуется теми же данными, которые собирает Яндекс, так что вам не понадобятся дополнительные настройки.

Yahoo и Bing имеют общий кабинет для вебмастеров, с тех пор как два поисковика объединились. Вам нужно зарегистрироваться, после чего перейти в настройки вебмастера и добавить адрес сайта. После откроется страница, где нужно добавить сведения о сайте. Пройдет несколько недель, прежде чем информация о сайте начнет отображаться.

Проверка индексации страниц в Yahoo и Bing

3

Как ускорить индексацию сайта в поисковых системах

Скорость индексации зависит от:

  • частоты обновления контента;
  • внутренних и внешних ссылок;
  • наличия трафика на сайт с других источников;
  • технической оптимизации сайта;
  • корректной настройки CMS системы.

Да, рано или поздно роботы сами найдут ваш сайт и проиндексируют его, но ждать можно долго. Помимо ручного добавления сайта в систему поиска, существуют другие рекомендации.

Как ускорить индексацию в поисковых системах:

Главная рекомендация для ускорения индексации: создайте sitemap.xml на вашем сайте и добавьте его в Google Search Console и в Яндекс.Вебмастер.

Пропишите правила индексации сайта в robots.txt

Файл robots.txt хранится в корневом каталоге сайта, он может быть только один. Это текстовый файл, в который записывают правила для каждого отдельного поискового бота или для всех сразу. Правилами можно «спрятать» от роботов технические страницы, сделать акцент на важных и т.д.

Проверить файл можно прямо в Search Console и Яндекс.Вебмастере

У пауков ограниченное время на посещение сайта (краулинговый бюджет), и если дать ему обрабатывать все подряд страницы, то он может не успеть проиндексировать самые важные, «застряв» на технических.

Например, если у вас интернет-магазин, в robots.txt стоит закрыть от индексации внутренний поиск, корзины покупателей. Подробнее о работе с файлом можно прочесть в справке Google.

Создайте и настройте карту сайта sitemap.xml

Sitemap.xml – карта сайта, куда нужно добавить все страницы, которые нужно проиндексировать. Карта поможет определить, где находятся страницы и частоту их обновления, приоритетность в структуре.

  1. Необходимо создать карту сайта. 
  2. Указать в карте сайту правила индексации страниц: дату обновления страниц, приоритет страниц и другие параметры. 
  3. Добачить карту сайта в панели для вебмастеров Google Search Console и Яндекс.Вебмастер.  

Файл обычно располагается по адресу https://domain.com/sitemap.xml

Карта сайта выглядит примерно вот так:

Делаем карту сайта для ускоренной индексации страниц

В файле используются специальные теги XML:

  • <url></url> – обозначает начало и конец блока страницы;
  • <code></loc> – указывает адрес страницы;
  • <lastmod></lastmod> – указывает дату последнего обновления страницы;
  • <code><priority> – указывает приоритет страницы;
  • <changefreq></changefreq> – указывает частоту обновления страницы с помощью:
    • never – никогда;
    • yearly – раз в год;
    • monthly – каждый месяц;
    • weekly – каждую неделю;
    • daily – каждый день;
    • hourly – каждый час.

Для больших сайтов имеет смысл создать несколько карт.

Делайте внутреннюю перелинковку

Внутренняя перелинковка – это ссылки на другие страницы вашего сайта. С ее помощью вы формируете структуру, которая помогает пользователям ориентироваться на сайте. 

Внтрення перелинковка ускоряет индексацию страниц, так как роботы сами проходят по ссылкам и проверяют их. Роботы сканируют сначала главную страницу и материалы с высокой приоритетностью. Грамотная перелинковка направит роботов на нужные страницы и значительно ускорит индексацию новых материалов.

Главные рекомендации по перелинковке:

  1. Не делайте страницы с глубоким уровнем вложенности; идеальный вариант, это чтобы к любой странице сайта можно было добраться в 3 клика с главной страницы.
  2. Используйте принцип “Википедии” – активно ставьте ссылки внутри статей и других страниц.

Внутренняя перелинковка ускоряет индексацию старниц

  1. Избегайте одиноких страниц, на которые не ссылаются другие страницы.

Получайте внешние ссылки на сайт

Если кто-то ссылается на ваш сайт, значит ему доверяют. Чем больше внешних ссылок (бэклинков) на ваш сайт, тем больше вероятность получить внимание поискового бота. О том, как покупать ссылки для продвижения сайта, мы писали ранее. А если вы только разбираетесь в основах линкбилдинга, советуем почитать статью и посмотреть видео-урок, что такое линкбилдинг.  

Чаще остальных ресурсов боты сканируют соцсети и новостные порталы, ведь они обновляются чуть ли не каждую секунду. Ссылки с них на ваш сайт сработают лучше всего.

Сайты с самой высокой скоростью сканирования ссылок:

  1. Twitter,
  2. Facebook,
  3. Вконтакте.

Яндекс больше любит связку ВК + Twitter. Попробуйте также размещать ссылки на тематических форумах. Чем больше пользователи будут взаимодействовать с постом со ссылкой и самой ссылкой, тем быстрее краулеры обратят на нее внимание.

Постоянно следите за тем, какие появляются внешние ссылки. Узнайте, как проверить обратные ссылки на сайт, как посмотреть внешние ссылки конкурента, какие есть бесплатные и платные сервисы. 

4

Как проверить индексацию сайта или отдельной страницы

Есть несколько способов проверить, как проверить индексацию сайта или отдельной страницы в поисковых системах. 

Поисковые операторы

С помощью поисковых операторов можно проверить индексацию сайта, количество страниц в индексе, индексацию отдельной страницы. С помощью поисковых операторов можно проверить количество проиндексированных страниц любого сайта, что очень важно при анализе сайтов конкурентов

1. site: - оператор для проверки индексации сайта в поисковых системах Яндекс или Google. Введите в строку поиска текст "site:[адрес вашего сайта]", чтобы узнать количество индексируемых страниц.

Как проверить индексацию сайта в Google: поисковые операторы

Количество проиндексированных страниц в Google

Как проверить индексацию сайта в Яндексе: поисковые операторы

Количество проиндексированных страниц в Яндексе

Обратите внимание! Если количество проиндексированных страниц в поисковых системах Гугл и Яндекс сильно отличается, это может говорить о проблемах на сайте, о санкциях поисковых систем

2. ulr: - оператор для проверки индексации страницы в поисковой системе Яндекс. Введите в строку поиска "ulr:[адрес проверяемой страницы]", чтобы узнать, проиндексирована ли страница. 

 Проверка индексации страницы в Яндексе: поисковый оператор url

Проверяем индексацию страницы в Яндексе

3. inulr: - оператор для проверки индексации страницы в поисковой системе Google. Введите в строку поиска "inulr:[адрес проверяемой страницы]", чтобы узнать, проиндексирована ли эта страница. 

Использование поискового оператора inurl в Гугле

Плагины для проверки индексации страниц

Многие SEO-специалисты пользуются плагинами и расширениями для проверки индексации, например RDS Bar. Его можно установить как расширение в браузер и проверить, открыта ли конкретная страница для индексации. Также RDS Bar позволяет проверить метатеги сайта, ИКС, узнать, нет ли запрета на индексацию текста или ссылок на странице, узнать другие важные параметры сайта или отдельных страниц.    

Плагин RDS Bar позволяет проверить индексацию страницы

На скриншоте — плагин RDS bar для Google Chrome

Второй популярный плагин - Seo Magic - также показывает количество страниц в индексе Яндекса и Google. При нажатии на интересующую цифру открывается выдача поисковой системы.

Сервисы для проверки индексации

Также популярны автоматические сервисы, которые массово собирают данные об индексации, такие как Netpeak Spider . Он может просканировать весь сайт, собрать все страницы. А Netpeak Checker выдаст сведения об индексации, информацию об ошибках и порекомендует, как от них избавиться. Софтина платная.

Бесплатный сервис PR-CY проверит, сколько страниц проиндексировано в посиковых системах Гугл и Яндекс.

Использование сервисов для проверки индексации сайта

Использование сервисов для проверки индексации сайта в поисковых системах

Панели вебмастера Search Console и Яндекс.Вебмастер

Проверить индексацию страниц можно и в панелях вебмастеров Google и Яндекс.

Вы можете проверить: 

  • количество проиндексированных страниц;
  • динику индексации страниц поисковыми страницами;
  • страницы, которые исключены из поиска;
  • причины, почему страницы исключены из поиска.

Для Google зайдите в Search Console и на вкладке «Обзор» выберете график «Покрытие». График отображает разными цветами количество страниц без ошибок, с ошибками. Можно рассмотреть, какие ошибки мешают индексации. Новую страницу или исправленную можно отправить на индексацию кнопкой «Запросить индексирование».

Динамика индексации страниц сайта в Гугл Консоль

В Яндекс.Вебмастер переходите на «Индексирование сайта», затем на «Страницы в поиске», где вы увидите количество страниц в поиске. 

Динамика индексации страниц сайта в Яндекс.Вебмастере

5

Почему сайт или страницы не индексируется

Сайт или отдельные страницы могут не индексироваться поисковыми системами по ряду причин.

1. Поисковик еще не знает о сайте или странице. Прошло мало времени с момента появления страницы. Стоит подождать минимум две недели, чтобы сайт проиндексировался. Если сайт редко обновляется и на него нет внешних ссылок, поисковой бот просто не сможет узнать о нем.

2. Некоторые разделы закрыты для пауков. Это может происходить по желанию владельца сайта через robots.txt. Также возможно ваш сайт находится в черном списке – он может быть под санкциями или распространять вирусы.

3. Техническая ошибка на странице или сайте. Возможные ошибки:

  • некорректные HTTP-заголовки;
  • некорректные редиректы;
  • неверно указанная кодировка, которую робот увидит как набор бессмысленных символов;
  • ошибки сканирования, на которые указывают сами поисковики в панелях для вебмастеров;
  • отсутствие или некорректная настройка sitemap.xml.

4. Плохое качество документов. Неуникальный контент, внутренние дубли, малый объем уникального текста, шаблонность в документах раздела, медленная скорость загрузки.

6

Как ускорить индексацию сайта или страниц

Чтобы проиндексировать новую страницу сайта или отправить на переиндексацию страницу, которую вы изменили, воспользуйтесь инструментами вебмастера Search Console и Яндекс.Вебмастер. 

Как ускорить индексацию страниц сайта в Гугле

1. В Google Search Console перейдите в раздел "Проверка URL".

2. Введите страницу, которую нужно проверить и отправить на переиндексацию.

3. Нажимайте на кнопку "Запросить индексирование". 

Данный инструмент также подходит для проверки индексации страниц своего сайта. 

Как отправить страницу на переиндексацию в Google

Как ускорить индексацию страниц сайта в Яндексе

1. В Яндекс.Вебмастере перейдите в раздел Индексация -> Переобзод страниц

2. Добавите страницу, которую нужно проиндексировать.

3. Нажмите кнопку "Отправить".

Как отправить страницу на переиндексацию в Яндексе

Дневной лимит - 210 страниц (вкючая поддомены и поддомены).

7

Как закрыть сайт от индексации

Через файл robots.txt можно запретить индексацию страниц или всего сайта для конкретного поисковика или для всех сразу, используя директиву Disallow:

Если хотите закрыть конкретные разделы, укажите их:

Disallow: /news

Иногда Google игнорирует такой запрет, проверьте это через кабинет вебмастера. Если страницы все еще индексируются, переходите к следующему способу.

С помощью метатега Robots можно не дать роботам просканировать контент и закрыть текст от индексации. Для этого нужно в раздел <head> страницы добавить строку:

<noindex>[текст]</noindex>

Закрыть всю страницу от индексации можно, добавив строку

<meta name="robots" content="none"/>

Перед закрытием сайта от индексации желательно проверить методы в панелях вебмастеров. 

Итоги

Если вы понимаете принцип индексации и для чего она нужна, вы легко сможете правильно настроить сайт для поисковиков. Корректно настройте в robots.txt и карту сайта, избавьтесь от технических ошибок и позаботьтесь о качественном контенте, чтобы поисковики высоко ценили ваш сайт.

Остались вопросы? Задавайте их в комментариях😀