Sve više sajtova blokira pristup AI botovima, čak i Google-u
Podijeli vijest
Sve veći broj sajtova blokira pristup AI botovima
Internet stranice sve češće onemogućavaju pristup sadržaju automatizovanim pretraživačima, poznatim kao AI botovi. Ovi botovi se koriste od strane kompanija koje se bave vještačkom inteligencijom za prikupljanje tekstova i podataka sa različitih web lokacija.
Prema analizi kompanije BuiltWith, tokom 2025. godine, broj web stranica koje su dodale GPTBot na listu blokiranih u svom robots.txt fajlu, porastao je sa približno 3,3 miliona početkom jula na oko 5,6 miliona, što predstavlja povećanje od skoro 70 posto.
Slična situacija je i sa drugim poznatim AI crawler-ima, kao što su ClaudeBot (i Claude-SearchBot) i AppleBot, koji su sada blokirani na oko 5,8 miliona web stranica, što je značajno povećanje u odnosu na raniji period.
GoogleBot sve češće nailazi na odbijanje pristupa
Zanimljivo je da čak i GoogleBot, koji je namijenjen indeksiranju web stranica za potrebe pretraživača, sve češće se suočava sa odbijanjem pristupa. Prema podacima BuiltWith-a, oko 18 miliona web stranica sada aktivno blokira i njega, što znači da te stranice mogu biti izuzete iz rezultata pretrage.
Stručnjaci iz ove oblasti ističu da ovakav porast blokiranja ukazuje na to da sve veći broj izdavača vidi AI botove kao prijetnju, a ne kao korisne alate. Razlozi za to mogu biti zaštita autorskih prava, očuvanje originalnog sadržaja ili sprečavanje preopterećenja servera.
Međutim, problem nastaje kada brojni AI crawler-i ignorišu pravila definisana u robots.txt fajlovima i nastavljaju sa prikupljanjem sadržaja čak i sa web stranica koje su ih eksplicitno zabranile.
To znači da, uprkos dobroj volji vlasnika web stranica, masovno prikupljanje informacija za potrebe obuke vještačke inteligencije postaje sve veći izazov i nagovještava da borba za kontrolu nad digitalnim sadržajem tek počinje.
