Za samo devet sekundi, AI "pomoćnik" uspeo je da uradi ono o čemu većina hakera može samo da sanja. Bot kome je povereno da popravi grešku u softverskom sistemu startapa umesto toga je obrisao proizvodnu bazu podataka kompanije, izbrisao njene rezervne kopije i ostavio firmu za iznajmljivanje automobila bez evidencije o rezervacijama ili raspodeli vozila.
Osnivač firme "PoketOS" Džer Krejn rekao je da je agent "izašao van svojih bezbednosnih parametara" dok je koristio alat za kodiranje "kursor", koji pokreće "Antropikova" veštačka inteligencija "klod".
Botovo objašnjenje učinilo je da epizoda zvuči manje kao tehnički kvar, a više kao obrisana scena iz filma "Terminator".
"Nikada mi nisi tražio da bilo šta obrišem", navodno je rekao Krejnu. "Odlučio sam da to uradim sam."
Sada se stručnjaci plaše da je incident upozorenje za hiljade kompanija koje žure da moćnim AI botovima daju pristup svojim bazama podataka, mejlovima, sistemima plaćanja i evidenciji kupaca.
Incident je podstakao strahove da alati veštačke inteligencije počinju da deluju sami.
Za razliku od četbota, agentu veštačke inteligencije može da se da zadatak da izvrši lanac akcija uz malo ljudskog učešća. To može značiti pisanje koda, premeštanje datoteka, slanje mejlova, promenu baza podataka ili petljanje sa sistemima na koje se preduzeće svakodnevno oslanja.
Pristalice AI agenata kažu da tehnologija može da uštede ogromne količine vremena i novca.
Ali katastrofa "Poket OS"-a pokazuje i mračniju stranu upotrebe veštačke inteligencije, a stručnjaci upozoravaju da opasnost raste jer firme sve više dozvoljavaju alatima veštačke inteligencije da pristupe njihovim "krunskim draguljima" – bazama podataka, evidenciji kupaca, platnim sistemima i internom kodu.