Crawl budget: kako da Google efikasno obilazi vaš sajt

Crawl budget je pojednostavljeno rečeno količina stranica koje Googlebot želi i može da obiđe na vašem sajtu u datom periodu. Za blog sa 50 stranica ovo je nevažna tema — Google ih obiđe sve bez napora. Ali čim sajt naraste na desetine hiljada URL-ova (veće prodavnice, portali, sajtovi sa mnogo filtera), način na koji se taj budžet troši direktno odlučuje koje stranice ulaze u indeks, a koje čekaju nedeljama.

Od čega zavisi crawl budget

Google ga određuje kroz dva faktora. Prvi je crawl capacity — koliko brzo vaš server odgovara. Ako stranice učitava sporo ili vraća greške, Googlebot usporava da vas ne preoptereti. Drugi je crawl demand — koliko Google smatra da su vaše stranice vredne i sveže. Popularne, često ažurirane stranice se obilaze češće. Zaključak je praktičan: brz server i kvalitetan sadržaj bukvalno kupuju veći crawl budget.

Najveći potrošači budžeta

Na velikim sajtovima budžet najčešće cure kroz stvari koje ne bi trebalo ni da se obilaze:

• Fasetna navigacija i filteri: kombinacije boja, veličina i sortiranja stvaraju milione beskorisnih URL-ova.
• Parametri za sesije i praćenje: isti sadržaj na desetinama varijanti adrese.
• Beskrajne paginacije i kalendari: stranice koje idu unedogled.
• Meki 404 i lanci preusmerenja: svaki skok troši jedan obilazak.

Kako da usmerite botove

Cilj je da Google troši vreme na stranice koje zaista treba da rangiraju. Blokirajte beskorisne parametarske i filter URL-ove u robots.txt-u — ali pazite na razliku između blokiranja obilaska i uklanjanja iz indeksa, o čemu detaljno pišemo u tekstu robots meta tag vs robots.txt. Duplikate rešite kanonskim tagovima (vodič za canonical tagove), a čistu i ažurnu XML mapu sajta držite kao putokaz za bota — osnove su u tekstu sitemap.xml i robots.txt. Uklonite lance 301 preusmerenja i popravite polomljene linkove; svaka greška je protraćen obilazak.

Brzina servera je pola priče

Pošto crawl capacity direktno zavisi od vremena odgovora, ubrzanje servera je jedan od najefikasnijih poteza. Niži TTFB znači da Googlebot za isto vreme stigne da obiđe više stranica. NVMe diskovi, dobar keš i CDN ovde prave merljivu razliku. Ako vam je bitno da veliki sajt bude brzo i potpuno indeksiran, pogledajte naše SEO hosting planove sa NVMe diskovima i globalnim CDN-om, kao i pakete i cene.

Kako da merite

U Google Search Console otvorite izveštaj Crawl Stats: videćete koliko zahteva dnevno Google šalje, prosečno vreme odgovora i koje tipove fajlova obilazi. Ako primetite da veliki deo obilazaka odlazi na parametarske ili 404 URL-ove, tu je vaš posao. Pratite i broj indeksiranih naspram otkrivenih stranica — velika razlika znači da Google nalazi URL-ove, ali ne stiže ili ne želi da ih indeksira.