Robots meta tag vs robots.txt: kada koristiti koji alat
28. 7. 2026.
Dva alata sa sličnim imenom prave najviše zabune u tehničkom SEO-u: robots.txt fajl i robots meta tag. Oba kontrolišu ponašanje pretraživača, ali na potpuno različitim nivoima. Ako ih pomešate, desiće se jedna od dve tipične nezgode: stranica koju ste hteli da sakrijete i dalje se pojavljuje u pretrazi, ili stranicu koju ste hteli da izbacite iz indeksa Google uopšte ne može da pročita da bi video vaše uputstvo.
Robots.txt kontroliše crawl, ne indeksiranje
Robots.txt je tekstualni fajl u korenu domena (na primer example.com/robots.txt). On govori botovima koje delove sajta smeju da posećuju, odnosno crawl-uju. Kada napišete Disallow: /admin/, kažete Google-u: ne troši resurse na obilazak ovog foldera. Ali evo ključne stvari koju mnogi ne znaju: robots.txt NE uklanja stranicu iz indeksa. Ako drugi sajtovi linkuju ka blokiranom URL-u, Google ga i dalje može prikazati u rezultatima — samo bez opisa, jer nije smeo da pročita sadržaj.
Robots meta tag kontroliše indeksiranje
Robots meta tag stoji u <head> delu pojedinačne stranice: <meta name="robots" content="noindex">. On govori Google-u: možeš da pročitaš ovu stranicu, ali je nemoj prikazivati u rezultatima. Vrednosti se kombinuju — noindex, nofollow, noarchive i slično. Isto uputstvo može stići i kao X-Robots-Tag HTTP header, što je korisno za fajlove koji nemaju HTML, poput PDF-ova.
- Hoću da bot ne troši crawl na deo sajta → robots.txt Disallow.
- Hoću da stranica ne bude u Google-u → robots meta noindex.
- Hoću da izbacim PDF iz indeksa → X-Robots-Tag: noindex u headeru.
Najopasnija greška
Najčešća i najskuplja greška je staviti noindex nameru u robots.txt, ili blokirati stranicu u robots.txt a istovremeno joj dati noindex meta tag. U drugom slučaju Google ne sme da uđe na stranicu, pa nikada ne pročita noindex — i stranica ostaje u indeksu. Pravilo je jednostavno: ako želite da nešto izađe iz indeksa, morate DOZVOLITI crawl (ne blokirati u robots.txt) kako bi Google mogao da vidi noindex tag. Tek kada stranica nestane iz indeksa, možete je blokirati u robots.txt.
Praktični scenariji
Stranice za prijavu, korpu i interne rezultate pretrage obično idu na noindex. Test i staging okruženja treba zaštititi lozinkom, ne samo robots.txt-om. Duplirane URL-ove sa parametrima najbolje rešava kanonski tag, ne blokada. Ako vodite veći sajt, ova pravila se prepliću sa upravljanjem obilaskom — o tome detaljno pišemo u vodiču za optimizaciju crawl budžeta. Osnove postavljanja fajlova i mape sajta pokrivamo u tekstu sitemap.xml i robots.txt, a za rešavanje duplikata pogledajte vodič za canonical tagove.
Gde hosting igra ulogu
X-Robots-Tag i pravilno serviranje robots.txt-a zavise od konfiguracije servera, pa je dobar hosting sa jasnim pristupom .htaccess-u ili headerima praktičan preduslov. Ako birate okruženje koje ne pravi prepreke tehničkom SEO-u, pogledajte naše SEO hosting planove i pakete i cene.