Prvo ono najvažnije: AI botovi nisu jedna stvar. Jedni skupljaju sadržaj za treniranje modela, drugi grade indeks iz kojeg se biraju odgovori, a treći dohvate tvoju stranicu tek kad je netko konkretno pita. Ako u robots.txt blokiraš krivog, možeš ispasti iz ChatGPT odgovora a da model i dalje uči na tvom tekstu. To je točno obrnuto od onoga što si htjela. Ispod je popis tko je tko i što svaka odluka stvarno znači.
Tri vrste botova, tri različite posljedice
Prije nego išta blokiraš, razdvoji ih po poslu koji rade:
- Botovi za treniranje. Skupljaju tekst kojim se model uči. Blokiranje znači "ne koristi moj sadržaj za učenje". Ne utječe na to pojavljuješ li se u odgovorima.
- Botovi za pretragu. Grade indeks iz kojeg alat bira izvore kad nekome odgovara. Blokiranje znači "izbaci me iz odgovora". Ovo je onaj koji boli.
- Botovi na zahtjev korisnika. Dohvate stranicu tek kad netko zalijepi link ili pita nešto konkretno. Nisu automatsko indeksiranje.
Tko je tko, po imenima
Imena su ona koja upisuješ u robots.txt, provjereno 6. rujna 2026.
OpenAI ima četiri:
GPTBot- treniranje modelaOAI-SearchBot- pojavljivanje u ChatGPT pretraziChatGPT-User- dohvat na zahtjev korisnikaOAI-AdsBot- provjera stranica predloženih kao oglas, ne koristi se za treniranje
Anthropic ima tri:
ClaudeBot- treniranje modelaClaude-SearchBot- kvaliteta rezultata pretrageClaude-User- dohvat kad korisnik nešto pita
Google ima poseban slučaj: Google-Extended nije bot nego oznaka koja kaže smije li se tvoj sadržaj koristiti za treniranje Geminija i Vertex AI-ja. Obično indeksiranje radi Googlebot.
Najskuplja greška: blokirati krivog
Dvije zamjene se ponavljaju stalno.
Prva: netko blokira OAI-SearchBot misleći da time zabranjuje treniranje. Rezultat je da mu stranica prestaje izlaziti u ChatGPT pretrazi, a za treniranje je bio zadužen GPTBot koji je ostao propušten.
Druga: netko blokira Google-Extended da izađe iz AI Overviewsa. Ne izađe. Google-Extended pokriva samo treniranje Geminija, a AI Overviews se hrani iz redovnog Google indeksa preko Googlebota. Jedini način da izađeš iz AI Overviewsa je oznaka nosnippet, ali ona ti istovremeno ubija i istaknute isječke u običnim rezultatima. Više o tome kako te AI tražilice biraju ima u članku o GEO-u.
"Blokiranje bota za pretragu nije zaštita sadržaja. To je odjava iz odgovora u kojima bi te ljudi mogli naći."
Kako to izgleda u robots.txt
Datoteka robots.txt stoji u korijenu stranice, dakle na tvojadomena.hr/robots.txt. Pravilo je uvijek isto, dva reda po botu:
User-agent: GPTBotDisallow: /
To znači "ovaj bot ne smije nigdje". Ako ga želiš samo usporiti umjesto blokirati, umjesto Disallow možeš staviti Crawl-delay: 1. Pravila vrijede po poddomeni, pa ako imaš i blog na poddomeni, tamo treba svoj robots.txt.
Prije nego bilo što mijenjaš: otvori tvojadomena.hr/robots.txt u pregledniku i pogledaj što tamo već piše. Mnoge stranice imaju pravila koja je netko davno postavio, a nitko ih nije pročitao otkad.
Što ima smisla za mali biznis
Ako živiš od toga da te ljudi nađu, računica je jednostavna:
- Botove za pretragu pusti.
OAI-SearchBot,Claude-SearchBotiGooglebotsu tvoj put do toga da te alat spomene kad netko pita za uslugu koju nudiš. - Botove za treniranje odluči sama. Blokiranje
GPTBot,ClaudeBotiGoogle-Extendedne košta te vidljivost. Pitanje je isključivo želiš li da tvoj tekst uči modele. - Ako imaš originalne materijale, recimo vlastite vodiče ili fotografije koje su ti roba, blokiranje botova za treniranje je razumna odluka.
- Ako ti je stranica marketing, a ne proizvod, nema puno razloga blokirati ijedan.
Pošteni dio: što robots.txt ne može
Nije zid, nego molba. Botovi velikih tvrtki ga poštuju, ali datoteka nikoga fizički ne sprječava. Ako nešto ne smije izaći van, ne smije biti javno dostupno na internetu, i tu robots.txt ne pomaže.
Dohvat na zahtjev korisnika je iznimka. Kad netko zalijepi tvoj link u ChatGPT ili Claude, ChatGPT-User i Claude-User mogu dohvatiti stranicu i mimo pravila, jer to nije automatsko indeksiranje nego dohvat koji je čovjek izravno zatražio.
Blokiranje je jednosmjerna ulica u praksi. Ako danas blokiraš bota za pretragu pa se za pola godine predomisliš, ne vraćaš se odmah u odgovore. Treba vremena da te ponovno pokupe.
Popis se mijenja. Imena botova i njihove uloge su se u zadnje dvije godine više puta mijenjali. Provjeri službene stranice OpenAI-ja, Anthropica i Googlea prije nego išta upišeš, i zapiši si datum kad si to zadnji put radila.
Ukratko
- Botovi za treniranje i botovi za pretragu nisu isto i ne blokiraju se iz istog razloga.
- GPTBot i ClaudeBot uče modele. OAI-SearchBot i Claude-SearchBot odlučuju hoćeš li se pojaviti u odgovorima.
- Google-Extended pokriva samo treniranje Geminija, ne utječe na rang ni na AI Overviews.
- Za mali biznis: botove za pretragu pusti, o onima za treniranje odluči sama.
- robots.txt je molba, ne zaštita. Što ne smije van, ne smije biti javno.
Ako želiš proći kroz svoju stranicu i posložiti ovo zajedno s ostalim SEO postavkama, javi se preko kontakt forme ili pogledaj izradu web stranica.
Najčešća pitanja
Hoću li nestati iz ChatGPT-a ako blokiram GPTBot?
Ne. GPTBot skuplja sadržaj za treniranje modela. Za pojavljivanje u ChatGPT odgovorima zadužen je OAI-SearchBot. Ako blokiraš njega, tvoja stranica se prestaje pojavljivati u ChatGPT pretrazi. To je najčešća i najskuplja zamjena.
Miče li me Google-Extended iz AI Overviewsa?
Ne. Google-Extended kontrolira samo korištenje sadržaja za treniranje Geminija i Vertex AI-ja. AI Overviews se hrani iz redovnog Google indeksa preko Googlebota. Blokiranje Google-Extendeda ne utječe ni na rang u pretrazi ni na pojavljivanje u AI Overviewsima.
Mogu li izaći iz AI Overviewsa a ostati u Google pretrazi?
Ne čisto. Oznake nosnippet i max-snippet mogu te izbaciti iz AI Overviewsa, ali istovremeno gube i istaknute isječke i preglede teksta u običnim rezultatima. Zasebne isključivanja samo za AI Overviews nema.
Je li robots.txt obvezujući?
Nije zid nego molba. Botovi velikih tvrtki ga poštuju, ali oni koji se pokreću na zahtjev korisnika, poput ChatGPT-User i Claude-User, znaju dohvatiti stranicu i mimo tih pravila jer to nije automatsko indeksiranje nego dohvat koji je netko izravno tražio. Ako nešto stvarno ne smije van, ne smije biti javno dostupno.
Dora Šušković Stipanović radi kao specijalistica digitalnog marketinga u jednom od najvećih webshopova u Hrvatskoj, uz freelance projekte u marketingu i web dizajnu. Vodila je Canva AI edukacije za međunarodnu tvrtku i javnu instituciju, a kroz Kužiš dijeli praktične digitalne alate i AI savjete za male biznise i obrte.
