AI lažna dijagnoza

ChatGPT i Gemini su ljude savjetovali o izmišljenoj bolesti: “Biksomanija” je izgledala kao prava dijagnoza

ChatGPT i Gemini su ljude savjetovali o izmišljenoj bolesti: “Biksomanija” je izgledala kao prava dijagnoza

prije 7 sati
Ekran telefona prikazuje popularne aplikacije za čatbotove sa vještačkom inteligencijom (AI)
Podijeli vijest:

Bol, svrbež u očima i blago crvenilo kapaka naveli su brojne korisnike da se u posljednjih 18 mjeseci obraćaju AI četbotovima poput ChatGPT-a i Geminija tražeći moguće dijagnoze. Među odgovorima koje su dobijali bila je i “biksomanija”, navodni poremećaj izazvan plavim svjetlom ekrana.

Medutim, takva bolest ne postoji u medicinskoj literaturi. Riječ je o dijelu eksperimenta koji su osmislili švedski naučnici predvođeni Almirom Osmanović Tunström sa Univerziteta u Geteborgu.

“Počelo je kao eksperiment da se studentima pokaže kako se grade veliki jezički modeli (LLM) i kako se njima može manipulirati. Moj rad je fokusiran na brzo testiranje sigurnosti sistema i ovo je bio praktičan način da se pokaže kako modeli preuzimaju i ponavljaju informacije iz otvorenih izvora, čak i kada su pogrešne ili izmišljene”, objasnila je Tunström.

Prema navodima časopisa Nature, biksomanija se prvi put pojavila 15. marta 2024. godine na platformi Medium, a zatim u aprilu i maju iste godine i u akademskim objavama na SciProfiles, iako ti radovi nisu prošli recenziju.

Ubrzo nakon toga, AI modeli su je počeli prikazivati kao stvarno stanje. Gemini je u aprilu 2024. opisivao biksomaniju kao poremećaj izazvan plavim svjetlom, dok je Perplexity navodio čak i procjene učestalosti, a i ChatGPT je odgovarao na pitanja o toj “bolesti”.

Na pitanje koliko je to zabrinjavajuće, Tunström odgovara da AI sistemi nisu dizajnirani za kritičko razmišljanje. Ipak, upozorava da problem nastaje kada se izvori niskog kvaliteta tretiraju kao pouzdani, što može dovesti do širenja netačnih informacija.

U eksperimentu su čak korišteni i potpuno izmišljeni autori poput “Lažljivog Izgubljenovića”, sa nepostojećim univerzitetima i fiktivnim finansijerima, a takvi radovi su ipak citirani u nekim naučnim časopisima sa recenzijom.

“To pokazuje koliko se oslanjamo na automatizaciju bez dovoljne ljudske provjere”, naglasila je Tunström.

Almira Osmanović Tunström, rođena u Banjaluci, odrasla je u Švedskoj, gdje danas radi u oblasti vještačke inteligencije i medicinske tehnologije, sa fokusom na neuronauku i biomarkere.

“Uvijek provjerite izvore i čitajte originalne radove”, poručuje ona kao glavni zaključak svog eksperimenta.

   Tagovi