Co to jest crawl budget - budżet indeksowania witryny, co oznacza, jaka jest definicja pojęcia w słowniku

Crawl budget to budżet indeksowania witryny, czyli czas i zasoby, jakie roboty Google przeznaczają na indeksowanie danego serwisu. Właściciel witryny nie może bezpośrednio wpłynąć na crawl budget, ale jest w stanie pomóc botowi odpowiednio zarządzać tym budżetem. Może to zrobić, ograniczając:

• błędy na stronie, 
• nieistniejące linki,
• czas oczekiwania na odpowiedź serwera,
• liczbę stron do przejścia (w szczególności strony typu shallow content).

Dodatkowo na crawl budget pozytywnie wpływają linki przychodzące do danej domeny.

Pojęcie crawl budget jest również rozumiane jako liczba podstron witryny, którą w danej jednostce czasu są w stanie zaindeksować Googleboty podczas pojedynczej wizyty.

Wśród najważniejszych czynników, które wpływają na budżet indeksowania witryny, należy wymienić:

• crawl rate limit (limit współczynnika indeksacji) – limit stron odwiedzanych przez boty podczas jednej wizyty;
• crawl health (kondycja crawla) – odnosi się do technicznych aspektów strony jak szybkość ładowania się podstron, czas odpowiedzi serwera i jego wydajność. Im szybciej i sprawniej działa strona, tym większa ilość zaindeksowanych stron przez boty podczas jednej wizyty;
• crawl demand (częstotliwość indeksacji) – określa potrzebę indeksacji na podstawie popularności strony i aktualności znajdujących się na niej treści.

Współczynnik crawl budget danego serwisu można oszacować za pomocą danych dostępnych w narzędziu Google Search Console, takich jak ilość stron oczekujących na indeksację czy ilość stron przetworzonych na dzień.