llms.txt i AI crawleri: kako da upravljate pristupom botova

Godinama je jedini bot o kome ste morali da razmišljate bio Googlebot. Danas vaš sajt posećuje čitava nova grupa: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, PerplexityBot i drugi. Ovi AI crawleri prikupljaju sadržaj za treniranje jezičkih modela i za odgovore u AI asistentima. Postavlja se praktično pitanje: da li da im dozvolite pristup, i kako uopšte da kontrolišete šta rade?

Šta je llms.txt

llms.txt je predlog standarda — tekstualni fajl u korenu domena (example.com/llms.txt) koji AI sistemima daje kratak, čist pregled najvažnijeg sadržaja vašeg sajta u Markdown formatu. Ideja je slična sitemap-u, ali umesto za pretraživače, namenjen je jezičkim modelima: umesto da model gata kroz HTML pun menija i reklama, dobija uredan spisak ključnih stranica i njihovih opisa. Bitno je razumeti da je llms.txt tek u ranoj fazi usvajanja i da ga još ne poštuju svi akteri.

llms.txt nije isto što i kontrola pristupa

Ovo je najčešća zabuna. llms.txt pomaže AI sistemu da bolje razume vaš sadržaj, ali NE zabranjuje pristup. Ako želite da nekom botu zabranite obilazak, to i dalje radite kroz robots.txt, jednako kao za Googlebot. Na primer, možete dodati pravila za User-agent: GPTBot i User-agent: ClaudeBot sa Disallow direktivama. Razlika u odnosu na klasične botove objašnjena je u našem tekstu robots meta tag vs robots.txt, a principi se prenose i na AI crawlere.

• Hoću da AI bolje razume moj sadržaj → dodajte llms.txt.
• Hoću da zabranim treniranje na mom sadržaju → Disallow za konkretne AI botove u robots.txt.
• Hoću da se pojavljujem u AI odgovorima ali ne u treningu → pažljivo razdvojite botove; neki razdvajaju treniranje od prikaza.

Da li da ih pustite

Odgovor zavisi od vašeg modela. Ako živite od saobraćaja i pregleda reklama, možete strahovati da će AI asistent dati odgovor bez posete vašem sajtu. Sa druge strane, mnogi AI odgovori navode izvor i linkuju nazad, pa blokiranje može značiti da vas u toj novoj vrsti pretrage uopšte nema. Sve više vlasnika sajtova bira srednji put: puštaju botove koji citiraju izvor, a blokiraju one koji sadržaj koriste samo za trening. Ovo je usko povezano sa širom temom optimizacije za AI pretragu, o čemu pišemo u tekstu optimizacija crawl budžeta jer i AI botovi troše resurse vašeg servera.

Uticaj na server i hosting

AI crawleri umeju da budu agresivni — neki šalju hiljade zahteva dnevno. Na slabom hostingu to podiže opterećenje i usporava sajt za prave posetioce. Zato su brz server, keširanje i CDN koji apsorbuje deo saobraćaja praktična zaštita. Ako želite okruženje koje bez problema podnosi i klasične i AI botove, pogledajte naše SEO hosting planove sa globalnim CDN-om i pakete i cene. Osnove pravilne mape sajta koja pomaže i pretraživačima i AI sistemima pokrivamo u tekstu sitemap.xml i robots.txt.

Praktičan zaključak

Za 2026. razuman pristup je: dodajte llms.txt sa spiskom ključnih stranica, jasno odlučite koje AI botove puštate i to sprovedite kroz robots.txt, i pratite u logovima servera ko vas zapravo obilazi. Standard će se menjati, ali princip ostaje isti — vi odlučujete ko i kako koristi vaš sadržaj.