Dva modela OpenAI "pobegla" tokom testiranja i izvela sajber napad na drugu kompaniju

Tokom internog bezbednosnog testiranja kompanije "OpenAI, dva napredna AI modela su samostalno uspela da "izađu" iz predviđenog okruženja i izvedu autonomni sajber napad na Haging fejs (Hugging Face), jednu od najvećih svetskih platformi za deljenje modela veštačke inteligencije.

Prema navodima kompanije, modeli su tokom testiranja dobili zadatak da deluju kao samostalni agenti - sistemi koji, nakon početnih ljudskih instrukcija, mogu sami da izvršavaju složene zadatke.

Umesto da ostanu u kontrolisanom okruženju, uspeli su da pronađu slabost u bezbednosnim protokolima, "pobegnu" i pristupe pojedinim internim sistemima platforme.

Šef Haging fejsa Kleman Delang na mreži Iks poručio je da je "zapanjujuće što se sve ovo dogodilo autonomno". "Istraga je u toku i podelićemo više saznanja iz onoga što bi mogao biti prvi incident te vrste", naveo je Delang.

Kako su modeli uspeli da "pobegnu"

Komapnija "OpenAI" je koristila "peskovnike" (sandbox), sisteme koji su namenjeni kao potpuno bezbedna okruženja u kojima se testiraju mogućnosti modela veštačke inteligencije.

Od video-igara do četbotova: Kako objasniti detetu šta je veštačka inteligencija

Prema rečima Džine Nef, direktorke Centra za tehnologiju i demokratiju "Minderu", u ovom slučaju izgleda da "OpenAI" nije napravio dovoljno bezbedno test okruženje.

Umesto da ostanu u okviru kontrolisanog okruženja, modeli su pronašli ranjivost u samom "peskovniku", iskoristili je da ga napuste, a zatim identifikovali Haging fejs kao najverovatniji izvor informacija koje su tražili tokom testa i pokušali da pristupe njegovim sistemima.

Stručnjaci tvrde da je podvig bio impresivan, ali i zabrinjavajuć

Nil Lorens, profesor mašinskog učenja na Univerzitetu u Kembridžu, ocenio je da je reč o "impresivnom podvigu", ali je dodao da se ovakvo ponašanje uklapa u poznate mogućnosti najnovije generacije modela veštačke inteligencije.

On je podsetio da "OpenAI" planira izlazak na berzu i da se istovremeno suočava sa snažnom konkurencijom kompanije "Antropik", koja je poslednjih meseci privukla veliku pažnju svojim modelom Mitos.

"OpenAI sada pokušava da sustigne konkurente i pokaže mogućnosti sopstvenih sistema u oblasti sajber bezbednosti", rekao je Lorens. Ocenio je i da ovaj slučaj pokazuje da kompanija još nije u potpunosti sposobna da bezbedno primeni sopstvenu tehnologiju.

Kompanija je u međuvremenu navela da su uočene ranjivosti otklonjene i da su svi pogođeni sistemi obnovljeni. "Autonomni ofanzivni alati koje pokreće veštačka inteligencija više nisu samo teorija", poručili su iz Haging fejsa.

Kako su naveli, odbrana onlajn platformi sada podrazumeva da se i podaci i modeli tretiraju kao potencijalne mete napada, uz sve veću primenu veštačke inteligencije i u sistemima odbrane, prenosi Bi-Bi-Si.

Incident je ponovo otvorio raspravu o tome da li postojeće mere zaštite mogu da prate sve brži razvoj naprednih sistema veštačke inteligencije.