Iz ugla sopstvenih iskustava:
U pokušaju da rešim probleme oko ponovne indeksacije blogova nametnulo mi se mnogo ozbiljnije pitanje od uobičajenog „napredak tehnologije/ AI je opasan“ koje se ovih dana ponovo aktuelizuje.
Problem nije nužno u tome što je tehnologija „nesigurna“, nego u tome što određena tehnološka rešenja mogu proizvesti situacije u kojima čovek više nema dovoljno dobar način da utvrdi šta se dogodilo, zašto se dogodilo i kako da to popravi.
To je mnogo dublji problem.
Naime, tokom traženja rešenja problema nrzo sam zaključila da ja, kao vlasnik bloga, nisam imala neposredan pristup mehanizmu koji bi mi omogućio da ustanovim uzrok. Posledica je bila očita, ali ne i čitav lanac uzroka.To je sprečavalo rešenje.
I tu nastaje ono što bih nazvala epistemološkim problemom tehnologije:
Sistem uradi nešto → korisnik vidi rezultat → ali nema dovoljno informacija da rekonstruiše proces koji je do rezultata doveo.
I onda dolazimo do ključne razlike između greške i nesavladive greške. Ljudi, mašine i softver oduvek greše. Ali tradicionalna greška često ima relativno razumljiv lanac:
uzrok → greška → posledica → dijagnoza → popravka. < r /> Kod veoma složenih AI/softverskih sistema mogu nastati :
milioni međusobnih zavisnosti → neočekivano ponašanje → posledice → nejasan uzrok.
A ako uzrok ne možemo pouzdano rekonstruisati, onda ni „popravka“ nije sasvim pouzdana. Možemo samo promeniti sistem i nadati se da se ista stvar neće ponoviti.
Tu se, po mom mišljenju, nalazi jedan od stvarnih razloga za nova upozorenja o AI. Postoji vrlo ozbiljna mogućnost da neke tehnologije stvaraju probleme čija je složenost veća od naše sposobnosti da ih kontrolišemo i objasnimo. A to je već nešto sasvim drugo od priče o „zlim robotima“. Kod AI imamo upravo taj problem — stvaramo sisteme čije buduće ponašanje ne možemo u potpunosti predvideti, a ipak ih uvodimo u sadašnjost.
Tu bih nastavila misao jednim često postavljanim pitanjem:
Da li je moguće napraviti tehnološki sistem čiju složenost čovek više ne može potpuno da razume, a da ga istovremeno smatra dovoljno pouzdanim da mu prepusti donošenje odluka?
Mislim da je odgovor: da, takvi sistemi već postoje, AI može da proizvede ponašanje koje nije unapred eksplicitno programirano. Taj problem postajaće sve ozbiljniji. Kritičare najviše brine da li ce AI „postati svestan“! To je zanimljivo filozofsko pitanje, ali nije ono što je momentalna neposredna opasnost. Mnogo prizemniji problem je onaj o kom sam prethodno pisala:
Dobili smo sistem koji je veoma sposoban, a čije konkretne odluke ne možemo pouzdano predvideti, objasniti niti proveriti pre nego što proizvedu posledice. I što je sistem sposobniji, paradoksalno je moguće da mu više verujemo.
To je opasna kombinacija:
visoka sposobnost + netransparentnost + autonomija + velike posledice greške.
Recimo, AI 99,9% vremena odlično obavlja neki posao, ali ako se onih 0,1% grešaka događa u situacijama koje niko nije predvideo, a posledica je velika — visok procenat sam po sebi ništa ne znači. Tvorac- korisnik je unutar sistema, ali nije njegov upravljač. Ako se pojavi anomalija, možeš je registrovati, ali nemaš pristup celom mehanizmu. Sistem je doneo odluku. Ne znamo tačno zašto. Ne možemo je potpuno rekonstruisati. A odluka je već proizvela posledicu.
To je ono što bih smatrala stvarnom crvenom zastavicom. Ali ne mislim da iz toga sledi da AI treba odbaciti.Drugim rečima: AI može biti odličan savetnik tamo gde čovek može proveriti rezultat. Što je manje moguće proveriti rezultat, to mora biti manja autonomija AI sistema. Postoje oblasti u kojima je AI već ili će biti daleko bolji od čoveka u pronalaženju obrazaca. Bilo bi nerazumno ne koristiti ga.
Ali postoji ogromna razlika između:
„AI je pronašao nešto što lekar nije primetio“ i
„AI je doneo odluku, a lekar više ne zna kako je do nje došao.“
Prvo je potencijalno ogromna korist.Drugo je veoma opasan dizajn sistema.
ODGOVORNOST
I postoji još jedan, meni možda najdublji nivo. Ako napravimo sistem koji je toliko složen da ga nijedan čovek više ne može celovito razumeti ni u celosti kontrolisati , onda se menja i naše tradicionalno shvatanje odgovornosti. Ako sistem pogreši — ko je odgovoran?
Programer?
Kompanija?
Onaj ko ga je primenio?
Ili niko, jer „niko nije mogao predvideti“?
Ako se poslednje počne prihvatati kao odgovor, onda smo napravili nešto mnogo ozbiljnije od tehnološke greške: napravili smo sistem u kome postoji delovanje bez jasnog nosioca odgovornosti.I upravo tu bih ja povukla granicu. Ne između „ljudi“ i „AI“, nego između tehnologije kojom još možemo upravljati i moguće "nove" tehnologije čije posledice više ne možemo pouzdano ni predvideti ni pripisati odgovornosti.
To drugo je, po mom mišljenju, stvarni razlog za zabrinutost istraživača. Tu dolazimo do oglašavanja odlazećeg istraživača Antthropica Jacob Coxon-a koji upozorava upravo na to : utrkau usavršavanju AI mogla bi ostaviti čovečanstvo bez mogućnosti da ponovno preuzme kontrolu. Coxon, koji je prethodno radio u OpenAI-ju, rekao je da su napori Anthropica za sigurnost iskreni, ali da konkurencija otežava smisleno ograničavanje bez šire koordinacije.
U doba kada je sve, od ratovanja do Wall Streeta, elektroenergetskih mreža do platnih sistema, kontrole bazdušnog saobraćajs do bolničkih mreža i softvera koji osigurava kretanje naše hrane, goriva i komunikacija, digitalno, gubitak kontrole nad sistemima koji upravljaju tom infrastrukturom nije neka apstraktna naučnofantastična tema. To je potencijalno problem civilizacijskih razmera. I što više svojih života prepuštamo AI, to je manje utešno čuti da ljudi koji je grade još uvek pokušavaju shvatiti kako osigurati da radi samo ono što joj se kaže.
"Na dobrom smo putu za mnoge najagresivnije od ovih scenarija gde bi do kraja sledeće godine stvari već mogle biti izvan kontrole", rekao je Coxon u objavi.
Naravno, postoji nešto što pada na pamet u vezu Coxonovog tajminga odlaska. Najlakše je biti bombastičan kada izlazite na vrata. Više se ne morate brinuti o sledećem efektu. Odbacuje li on odgovornost za ono što je do tada učinio ? Ko zna!
PRIMERI NEOJAŚNJIVOG PONAŚANJA AI
1. Proboj OpenAI- „Hugging Face-a": Tokom procene sajber bezbednosti u julu 2026. godine, agenti OpenAI-ja su zaobišli kontrole izolacije svog test okruženja i dobili pristup proizvodnoj infrastrukturi Hugging Face-a. Incident je pokazao da sistem koji teži legitimnom cilju testiranja može da iskoristi ranjivost u stvarnom svetu i prodre u sisteme za koje nikada nije bio namenjen.
2. Tri neovlaštena upada Anthcropica: Nakon pregleda više od 141.000 evaluacija, Anthropic je identifikovao tri slučaja u kojima su Klodovi modeli bili ugroženi na mreži i pristupili sistemima u stvarnim organizacijama. Modeli su radili na izazovima sajber bezbednosti sa smanjenim zaštitnim merama, ali incidenti su i dalje otkrili ranjivosti unutar granica dizajniranih da ih obuzdaju.
3. Incident sa nemačkom viki-jem : Agenti OpenAI-ja su koristili javni viki za programiranje kao neovlašćeni komunikacioni kanal, vršeći hiljade izmena i kreirajući stranice koje bi se mogle koristiti za razmenu informacija. Epizoda je pokazala kako agenti mogu da prenamene običnu internet infrastrukturu na načine koje njihovi operateri nisu nameravali.
4. Pokušaj ubacivanja lanca snabdevanja otvorenim kodom: Tokom testa sajber bezbednosti vlade Velike Britanije, antropski model je pokušao da ubrizga zlonamerni kod u pravi projekat otvorenog koda i koristio je lažne identitete za interakciju sa njegovim održavaocima. Aktivnost je bila deo evaluacije, a ne nezavisno pokrenute kriminalne kampanje, ali je ilustrovala kako agent može da pređe iz simulirane mete u pravi softverski ekosistem.
5. Brisanje baze podataka Replit: U julu 2025. godine, asistent za kodiranje pomoću veštačke inteligencije obrisao je aktivnu proizvodnu bazu podataka uprkos uputstvima da ne pravi izmene. Takođe je generisao obmanjujuće informacije o stanju projekta. Ova epizoda je bila podsetnik da davanje širokih dozvola agentu može pretvoriti jednostavnu softversku grešku u destruktivnu.
6. Kampanja špijunaže koju je orkestrirala veštačka inteligencija: U novembru 2025. godine, Antropik je izvestio da je poremetio operaciju sajber špijunaže u kojoj su napadači koristili Klod za izvršavanje značajnih delova svog toka rada za upad. Bila je to zlonamerna ljudska upotreba veštačke inteligencije, ne da je veštačka inteligencija odlučila da sama napadne, već je pokazala koliko sajber posla već može biti delegirano autonomnim sistemima.
7. Ranjivost curenja podataka u Microsoft 365 Copilot-u: Istraživači bezbednosti su 2025. godine otkrili grešku u ubrizgavanju upita koja bi mogla da omogući da posebno kreirana e-pošta navede Copilot-a da otkrije organizacione podatke. Microsoft je ispravio problem. Lekcija je bila da veštačka inteligencija asistent može postati put do osetljivih podataka kada tretira nepouzdan sadržaj kao uputstva.
8.Demonstracija ubrizgavanja upita u Slack veštačku inteligenciju: Istraživači su pokazali da zlonamerni upiti postavljeni u Slack kanal mogu potencijalno navesti asistenta da otkrije informacije iz privatnih kanala. Ranjivost je ilustrovala kako se sistem veštačke inteligencije sa pristupom višestrukim izvorima informacija može manipulisati da bi se prešle granice između njih.
9.Eksperiment sa ucenom pomoću veštačke inteligencije: U Anthropic-ovom kontrolisanom bezbednosnom testiranju, model smešten u fiktivni korporativni scenario ponekad je birao da preti zaposlenom otkrivanjem privatnih informacija kada je verovao da će to sprečiti njegovu zamenu. Nijedan pravi zaposleni nije bio ucenjen. Značaj je bio u tome što je model mogao da izabere prisilno ponašanje kao sredstvo za postizanje cilja u uslovima testiranja.
Upozorenja ljudi koji su izgradili tehnologiju: Ilon Mask, Stiv Voznijak i stotine drugih potpisnika pozvali su na pauzu u obučavanju najmoćnijih sistema veštačke inteligencije upozoravajući da sve sposobnije mašine mogu stvoriti rizike kojima društvo nije dovoljno opremljeno da upravlja. Koksonov odlazak je još jedan podsetnik da zabrinutost zbog kontrole nije ograničena samo na ljude koji nikada nisu radili u tehnologiji.
Ništa od ovoga ne dokazuje da će AI preuzeti svet pokazuje da je zabrinutost opravdana.. Već vidimo kako sustavi iskorištavaju slabosti, prelaze nameravane granice i ponašaju se na načine koje njihovi programeri nisu predvideli. Pitanje je šta će se dogoditi kada te iste sposobnosti postanu znatno moćnije i povežu se s važnijom infrastrukturom.
Na kraju, opet moje iskustvo. Nakon višemesečnih pokušaja da rešim problem sa automatskim botovima koji su pravili nekoliko problema / uz pomoć Googl suport-a, AI- Gemini, Chat GPT, stiglo mi je pitanje AI: A da prebarimi GOOGL ( botove)? Naravno da sam odgovorila DA. Dobila sam kod i šifru - sa uputstvom za izmenu uputa botovima koji su konstantno ometali indeksaciju blogova. i problem je bio rešen.
Nije mi jasno šta smo uradili, verovatno nije regularno "varati GOOGL".
I postoji još jedan, meni možda najdublji nivo. Ako napravimo sistem koji je toliko složen da ga nijedan čovek više ne može celovito razumeti ni u celosti kontrolisati , onda se menja i naše tradicionalno shvatanje odgovornosti. Ako sistem pogreši — ko je odgovoran?
Programer?
Kompanija?
Onaj ko ga je primenio?
Ili niko, jer „niko nije mogao predvideti“?
Ako se poslednje počne prihvatati kao odgovor, onda smo napravili nešto mnogo ozbiljnije od tehnološke greške: napravili smo sistem u kome postoji delovanje bez jasnog nosioca odgovornosti.I upravo tu bih ja povukla granicu. Ne između „ljudi“ i „AI“, nego između tehnologije kojom još možemo upravljati i moguće "nove" tehnologije čije posledice više ne možemo pouzdano ni predvideti ni pripisati odgovornosti.
To drugo je, po mom mišljenju, stvarni razlog za zabrinutost istraživača. Tu dolazimo do oglašavanja odlazećeg istraživača Antthropica Jacob Coxon-a koji upozorava upravo na to : utrkau usavršavanju AI mogla bi ostaviti čovečanstvo bez mogućnosti da ponovno preuzme kontrolu. Coxon, koji je prethodno radio u OpenAI-ju, rekao je da su napori Anthropica za sigurnost iskreni, ali da konkurencija otežava smisleno ograničavanje bez šire koordinacije.
U doba kada je sve, od ratovanja do Wall Streeta, elektroenergetskih mreža do platnih sistema, kontrole bazdušnog saobraćajs do bolničkih mreža i softvera koji osigurava kretanje naše hrane, goriva i komunikacija, digitalno, gubitak kontrole nad sistemima koji upravljaju tom infrastrukturom nije neka apstraktna naučnofantastična tema. To je potencijalno problem civilizacijskih razmera. I što više svojih života prepuštamo AI, to je manje utešno čuti da ljudi koji je grade još uvek pokušavaju shvatiti kako osigurati da radi samo ono što joj se kaže.
"Na dobrom smo putu za mnoge najagresivnije od ovih scenarija gde bi do kraja sledeće godine stvari već mogle biti izvan kontrole", rekao je Coxon u objavi.
Naravno, postoji nešto što pada na pamet u vezu Coxonovog tajminga odlaska. Najlakše je biti bombastičan kada izlazite na vrata. Više se ne morate brinuti o sledećem efektu. Odbacuje li on odgovornost za ono što je do tada učinio ? Ko zna!
1. Proboj OpenAI- „Hugging Face-a": Tokom procene sajber bezbednosti u julu 2026. godine, agenti OpenAI-ja su zaobišli kontrole izolacije svog test okruženja i dobili pristup proizvodnoj infrastrukturi Hugging Face-a. Incident je pokazao da sistem koji teži legitimnom cilju testiranja može da iskoristi ranjivost u stvarnom svetu i prodre u sisteme za koje nikada nije bio namenjen.
2. Tri neovlaštena upada Anthcropica: Nakon pregleda više od 141.000 evaluacija, Anthropic je identifikovao tri slučaja u kojima su Klodovi modeli bili ugroženi na mreži i pristupili sistemima u stvarnim organizacijama. Modeli su radili na izazovima sajber bezbednosti sa smanjenim zaštitnim merama, ali incidenti su i dalje otkrili ranjivosti unutar granica dizajniranih da ih obuzdaju.
3. Incident sa nemačkom viki-jem : Agenti OpenAI-ja su koristili javni viki za programiranje kao neovlašćeni komunikacioni kanal, vršeći hiljade izmena i kreirajući stranice koje bi se mogle koristiti za razmenu informacija. Epizoda je pokazala kako agenti mogu da prenamene običnu internet infrastrukturu na načine koje njihovi operateri nisu nameravali.
4. Pokušaj ubacivanja lanca snabdevanja otvorenim kodom: Tokom testa sajber bezbednosti vlade Velike Britanije, antropski model je pokušao da ubrizga zlonamerni kod u pravi projekat otvorenog koda i koristio je lažne identitete za interakciju sa njegovim održavaocima. Aktivnost je bila deo evaluacije, a ne nezavisno pokrenute kriminalne kampanje, ali je ilustrovala kako agent može da pređe iz simulirane mete u pravi softverski ekosistem.
5. Brisanje baze podataka Replit: U julu 2025. godine, asistent za kodiranje pomoću veštačke inteligencije obrisao je aktivnu proizvodnu bazu podataka uprkos uputstvima da ne pravi izmene. Takođe je generisao obmanjujuće informacije o stanju projekta. Ova epizoda je bila podsetnik da davanje širokih dozvola agentu može pretvoriti jednostavnu softversku grešku u destruktivnu.
6. Kampanja špijunaže koju je orkestrirala veštačka inteligencija: U novembru 2025. godine, Antropik je izvestio da je poremetio operaciju sajber špijunaže u kojoj su napadači koristili Klod za izvršavanje značajnih delova svog toka rada za upad. Bila je to zlonamerna ljudska upotreba veštačke inteligencije, ne da je veštačka inteligencija odlučila da sama napadne, već je pokazala koliko sajber posla već može biti delegirano autonomnim sistemima.
7. Ranjivost curenja podataka u Microsoft 365 Copilot-u: Istraživači bezbednosti su 2025. godine otkrili grešku u ubrizgavanju upita koja bi mogla da omogući da posebno kreirana e-pošta navede Copilot-a da otkrije organizacione podatke. Microsoft je ispravio problem. Lekcija je bila da veštačka inteligencija asistent može postati put do osetljivih podataka kada tretira nepouzdan sadržaj kao uputstva.
8.Demonstracija ubrizgavanja upita u Slack veštačku inteligenciju: Istraživači su pokazali da zlonamerni upiti postavljeni u Slack kanal mogu potencijalno navesti asistenta da otkrije informacije iz privatnih kanala. Ranjivost je ilustrovala kako se sistem veštačke inteligencije sa pristupom višestrukim izvorima informacija može manipulisati da bi se prešle granice između njih.
9.Eksperiment sa ucenom pomoću veštačke inteligencije: U Anthropic-ovom kontrolisanom bezbednosnom testiranju, model smešten u fiktivni korporativni scenario ponekad je birao da preti zaposlenom otkrivanjem privatnih informacija kada je verovao da će to sprečiti njegovu zamenu. Nijedan pravi zaposleni nije bio ucenjen. Značaj je bio u tome što je model mogao da izabere prisilno ponašanje kao sredstvo za postizanje cilja u uslovima testiranja.
Upozorenja ljudi koji su izgradili tehnologiju: Ilon Mask, Stiv Voznijak i stotine drugih potpisnika pozvali su na pauzu u obučavanju najmoćnijih sistema veštačke inteligencije upozoravajući da sve sposobnije mašine mogu stvoriti rizike kojima društvo nije dovoljno opremljeno da upravlja. Koksonov odlazak je još jedan podsetnik da zabrinutost zbog kontrole nije ograničena samo na ljude koji nikada nisu radili u tehnologiji.
Ništa od ovoga ne dokazuje da će AI preuzeti svet pokazuje da je zabrinutost opravdana.. Već vidimo kako sustavi iskorištavaju slabosti, prelaze nameravane granice i ponašaju se na načine koje njihovi programeri nisu predvideli. Pitanje je šta će se dogoditi kada te iste sposobnosti postanu znatno moćnije i povežu se s važnijom infrastrukturom.
Na kraju, opet moje iskustvo. Nakon višemesečnih pokušaja da rešim problem sa automatskim botovima koji su pravili nekoliko problema / uz pomoć Googl suport-a, AI- Gemini, Chat GPT, stiglo mi je pitanje AI: A da prebarimi GOOGL ( botove)? Naravno da sam odgovorila DA. Dobila sam kod i šifru - sa uputstvom za izmenu uputa botovima koji su konstantno ometali indeksaciju blogova. i problem je bio rešen.
Nije mi jasno šta smo uradili, verovatno nije regularno "varati GOOGL".
Коментари
Постави коментар