Как увеличить краулинговый бюджет

Краулинг — это индексация (грубо говоря), поэтому весь лимит быстро тратится именно из-за ошибок индексации. В рамках SEO-продвижения сайта их нужно исправлять.

Обновление и наполнение сайта качественным контентом, актуализация старых статей, качественный визуал — все это очень хорошо влияет на популярность ресурса. 

Поисковые системы видят и отмечают такие сайты как полезные и влияют на качество продвижения, в том числе и с помощью дополнительного краулингового бюджета. Такой подход вполне оправдан: чем лучше сайт, тем больше внимания он заслуживает. 

Читайте материал: Как посмотреть краулинговый бюджет

Как оптимизировать краулинговый бюджет 

Рассмотрим основные и самые эффективные способы оптимизировать ресурс, так как они положительно влияют на увеличение краулингового бюджета, а также помогают настроить взаимодействие с поисковыми ботами и как результат получить выгоду.

1. Настраиваем файлы sitemap.xml и robots.txt

Эти файлы являются очень важными. Они помогают поисковым роботам правильно индексировать ваш сайт, строить иерархию и видеть, как организован контент.

• Удалить из файла sitemap.xml мусорные ненужные страницы, дубликаты (те что с редиректами и ошибками сканирования). Такие страницы влияют на бюджет индексации потому, что роботы оценивают качество URL адреса. Поэтому в карте сайта должны быть только полезные страницы.
• указать в sitemap.xml правило lastmod для тех страниц, контент которых не менялся с последней индексации. Так роботы не будут сканировать их повторно.

2. Повышаем скорость загрузки страниц ресурса

Сайт, который долго грузиться, заставляет пользователей не только уйти к конкурентам, но и тем самым тормозит сканирование URL страницы поисковыми ботами. 

Для улучшения скорости загрузки сайта нужно: 

• перейти на качественный хостинг если есть возможность;
• включить кеширование сайта на хостинге;
• оптимизировать размер картинок и т.д.

Что нужно конкретно сделать для вашего сайта, вы можете узнать воспользовавшись инструментом PageSpeed Insights. 

В последнее время поисковые системы все больше внимания стали уделять скорости сайта, соответственно, чем больше скорость, тем выше шансы занять топ. Поэтому читайте наш материал по теме: что такое Core Web Vitals, как посмотреть показатели Core Web Vitals в Google Search Console. 

3. Убираем битые ссылки

Ссылки, которые ведут на несуществующие страницы (код ответа 404), способны увеличить процент отказов. Также они плохо влияют на поведенческие факторы и мешают нормальной работе поисковых ботов. При этом тоже тратиться краулинговый бюджет на переходы по несуществующим ссылкам. Чтобы найти такие ссылки, можно использовать инструмент проверки URL в Search Console или сторонние сервисы.

Как посмотреть внешние ссылки на сайт в Google Search Console, читайте здесь.

4. Настраиваем перелинковку

Используйте уникальные и разнообразные анкоры с ключевыми словами и добавляйте ссылки на тематически соответствующие страницы. Читайте, как сделать качественную внутреннюю перелинковку, в нашем блоге. 

5. Используем динамический рендеринг

Это относительно новая разработка Google, которая для поискового робота создает HTML-версию сайта, а для пользователя — вариант на JavaScript. Это облегчает и ускоряет индексацию.

6. Оптимизируем редиректы

Когда роботу нужно пройти 1000 переадресаций, чтобы добраться до страницы, он может остановиться на 999 и просто не дойти до этого URL. Каждый редирект — это траты вашего краулингового бюджета. Убедитесь, что имеющиеся редиректы на вашем веб-ресурсе действительно необходимы.

7. Наращиваем внешнюю ссылочную массу

Очень важные связи между количеством посещений сайта поисковым роботом и числом внешних ссылок: чем больше ссылок, тем чаще Googlebot приходит на площадку.

8. Делаем четкую структуру сайта

Размещения страниц сайта влияет на частоту их сканирования. Чем важнее страница, тем выше по уровню вложенности её необходимо располагать. Такая структура, помогает не только роботам, но и пользователям сайта по юзабилити, что в свою очередь благоприятно сказывается и на росте числа URL, которые боты готовы просканировать.