Главная > Популярное > Что такое краулинговый бюджет?

Что такое краулинговый бюджет?

Что такое краулинговый бюджет – это объём документов (страниц), которые робот поисковых систем обходит за один раз. В переводе с английского «crawling» — это ползание. Другими словами, поисковый робот ползает по страницам сайта и индексирует их. Понятие достаточно специфическое и не всем известное в seo-сообществе, но, тем не менее, от этого оно не теряет своей важности. В этой статье мы поговорим обо всём, что связано с краулингом сайтов.

Какой размер краулингового бюджета?

Как и всё в поисковых системах, размер бюджета страниц, которые обходит поисковый паук за один раз, сугубо индивидуальный. Для одних сайтов он составляет 50 страниц за раз, для других сайтов – 5000 страниц за обход. Всё зависит от типа ресурса, его размеров и интенсивности обновления информации. Подробнее об этом можно узнать по ссылке https://seomaker.pro/kraulingovyj-byudzhet-chto-eto-i-kak-im-upravlyat. Нужно отметить, что бюджет выделяется общий на домен. Если у вас много поддоменов или языковых версий сайта, то весь краулинговый бюджет расходуется и на них тоже.

Чтобы примерно понимать, какое количество страниц поисковик обходит за 1 раз конкретно на вашем сайте, зайдите в вебмастера. Там есть пункт – обход страниц, в котором есть график. При этом ест ьтри значения:

  • максимум;
  • минимум;
  • среднее.

Так вот среднее значение – это и есть как раз выделяемый для сайта бюджет для обхода документов.

Хватает ли бюджета на весь сайт?

Естественно, размера краулингового бюджета не всегда хватает, поэтому могут возникать проблемы с индексацией новых страниц. Особенно это касается новых ресурсов или ресурсов с большим количеством страниц (20.000 и более). Для этого важно пускать поискового робота только на важные разделы, чтобы он уделял внимание только нужным документам.

Что использовать для направления гуглбота по нужным страницам:

  • Служебный файл robots.txt. Здесь нужно закрыть от поисковика директивой disallow те разделы сайта, которые не нуждаются в индексировании. Это могут быть системные папки, папки с изображениями, которые и так робот увидит при обходе страниц, и прочий «мусор».
  • Служебный файл sitemap.xml. Сюда следует поместить все самые важные, нуждающиеся в обязательной индексации, страницы: главная страница, категории, страницы товаров, страницы новостей и прочие. Также не будет лишним в карте сайта для каждого документа указать дату его последнего изменения, в этом случае поисковый робот при обходе будет сверять даты. И если с последнего краулинга документ не менялся, то робот его пропустит, чем сэкономит общий бюджет.

Источник: https://seomaker.pro

Categories: Популярное Tags:
  1. Пока что нет комментариев.
  1. Пока что нет уведомлений.