Почему поисковые системы игнорируют сайт

Почему поисковые системы Google или Яндекс игнорируют Ваш сайт? Почему поисковики не обновляют кэш в своей базе по отношению к Вашему сайту? Что такое краулинговый бюджет или XML-лимиты и как их повысить?

Если у Вас когда-либо было ощущение, что Google или Яндекс просто “не видит” Ваш сайт, то очевидно имеются серьезные проблемы. Эта проблема весьма распространенная, но она не так очевидна даже для многих профессиональных SEO-специалистов. Вы добавляете новый товар, публикуете статью, запускаете акцию… и тишина. Заказов нет, переходов на сайт нет, вообще ничего нет. Но почему так происходит?

В 90% случаев — проблема в том самом, загадочном «краулинговом бюджете». Сейчас объясню, что это такое и что с этим делать.

Что такое краулинговый бюджет?

Представьте, что Яндекс/Google — это гость с ограниченным временем. Он заходит на ваш сайт, быстро осматривается, и — если всё скучно, долго грузится или запутано, то разворачивается и уходит.

Краулинговый бюджет — это количество страниц, которые поисковик готов просканировать на вашем сайте за одно посещение. Краулинговый бюджет иногда еще называют как «XML-лимиты», но этот термин больше присущ поисковой системе Яндекс.

А вот когда поисковик вернется на Ваш сайт в следующий раз – не известно. Многое будут зависеть от его последнего “впечатления” о Вашем сайте. Например, Вы пошли в кино, но фильм оказался не интересным и Вы встали посреди сеанса и ушли. Будете ли Вы рекомендовать это фильм к просмотру своим друзьям? Наверное – нет, и уж тем более не скоро захотите его всё же досмотреть до конца. С поисковыми системами похожая ситуация.

И тут два варианта:

Если сайт аккуратный, быстрый, логичный — Google успеет обойти больше полезных страниц.
Если сайт тормозит, полон дублей и ошибок — он уходит, так и не дойдя до нужного.

Какие сайты в зоне риска?

Это важно для:

Интернет-магазинов (тысячи товаров, фильтров, подкатегорий).
Новостных порталов (обновления каждый день, надо, чтобы робот всё успевал).
Сайтов с кучей страниц, которые «обнаружены, но не проиндексированы» — знакомая строчка в Google Search Console или в Яндекс Вебмастер? Значит уже пора разбираться.

Как понять, что у сайта проблемы?

Новые страницы появляются в поисковой системе через неделю (а иногда — вообще не появляются).
В органической выдаче до сих пор висит устаревшая сохраненная копия страницы Вашего сайта.
Важные обновления индексируются «когда-нибудь потом».
Поисковик обходит сайт редко и по минимуму.
В консоли браузера видны критические ошибки, битые ссылки, кучи ненужных страниц.
В консоле Google или Яндекс Вебмастер подсвечены проблемы с сайтом.

Как повлиять на краулинговый бюджет?

Вот что реально работает:

Нужно работать над скоростью загрузки своего сайта. Быстрый сайт — больше страниц успеет просканироваться. Медленный — минус позиции, минус охват.
Нужно сделать техническую оптимизацию сайта. Закрываем дубли, исправляем ошибки, делаем всё логичным и чистым. Поисковик — не уборщица, он в мусоре копаться не будет.
У сайта должа быть хорошо проработана структура. Чёткое меню, понятные пути от главной до каждой страницы. Карта сайта (sitemap.xml) и правила в robots.txt — как инструкция для гостя: «сюда иди, сюда не надо».
Хорошее цитирование сайта на других сайтах в позитивном ключе. На хороший сайт поисковик ходит чаще. Если вас рекомендуют другие сайты — считайте, вы в белом списке.
Не пренебрегайте внутренней переленковкой. Помогайте роботу переходить от страницы к странице. Это не только ускоряет индексацию, но и повышает вес нужных страниц.

Что нужно сделать уже прямо сейчас?

Если не хочется углубляться в технические дебри — просто начните с малого:

Проверьте скорость сайта (Pagespeed Insights вам в помощь) и устраните возможные проблемы.
Посмотрите в Google Search Console и Яндекс Вебмастер, что реально индексируется. Я лично частенько смотрю руками, забивая сайт в поисковой выдаче и смотрю какие страницы реально ранжируются в органике и как сформирован у них сниппет.
Убедитесь, что sitemap.xml и robots.txt настроены корректно и отрабатывают без ошибок.
Начните строить качественные внешние ссылки и наводить порядок внутри сайта. Работайте над цитированием Вашего сайта на внешних ресурсах и не забывайте про белый пиар самого себя, поисковики это любят.

Подведём итоги:

Поисковые системы не ленивы. Они просто достаточно умны чтобы тратить свои ресурсы на обход низкокачественных сайтов. И если поисковик игнорирует ваш сайт — значит, имеются реальные проблемы. Краулинговый бюджет — это как кредит доверия: если сайт хорош, его сканируют чаще и глубже. Если всё плохо — увы.