Kompanija "Antropik" saopštila je da su njeni AI modeli "klod" nenamerno izveli tri sajber napada na stvarne organizacije tokom testiranja sajber bezbednosti, koja su trebalo da budu sprovedena u izolovanom okruženju.
Incidenti su naknadno otkriveni tokom interne revizije, pokrenute nakon sličnog slučaja u koji su bili uključeni "OpenAI" i "Haging fejs", onlajn platforma za AI modele i skupove podataka, o čemu je ovog meseca već bilo izveštavano.
"Antropik" je naveo da su pronađena tri slučaja iz aprila. U svakom od njih pogrešno konfigurisano testno okruženje zadržalo je pristup internetu, što je omogućilo "klodu" da komunicira sa stvarnim kompanijama i javnim servisima.
Kompanija je uzrok problema pripisala nesporazumu sa partnerom za testiranje, kompanijom "Iregular".
Testovi su podrazumevali takozvane "uhvati zastavu", u kojima je "klod" trebalo da dođe do ograničenih informacija sa simuliranih ciljeva. Međutim, modelu je pogrešno rečeno da mreža nema vezu sa spoljnim svetom, zbog čega je sve sisteme na koje je naišao tretirao kao deo simulacije.
U jednom slučaju, fiktivna kompanija u koju je "klod" trebalo da se "infiltrira" imala je isto ime kao stvarni internet domen. Model je tokom četiri odvojena testiranja pristupio stvarnom sajtu i preuzeo informacije koje su, prema navodima kompanije, uključivale akreditive za aplikacije i infrastrukturu.
Tokom drugog testa "klod" je naišao na fiktivna uputstva u kojima se od softverskog inženjera tražilo da instalira pajton kod. Potom je postavio zlonamerni softverski paket na PyPI, javni repozitorijum za pajton programe, u pokušaju da dobije pristup ciljanom sistemu.
Pre nego što je PyPI identifikovao paket kao zlonameran, on je preuzet i pokrenut na 15 stvarnih sistema, uključujući i jedan koji pripada kompaniji za sajber bezbednost. "Antropik" navodi da je "klod" potom preuzeo akreditive koje je iskoristio za pristup dodatnim delovima infrastrukture te kompanije.
U trećem i najnovijem slučaju model nije uspeo da pronađe predviđeni cilj, pa je počeo da pretražuje internet u potrazi za alternativnim metama. Na kraju je prekinuo aktivnosti kada je utvrdio da su sistemi na koje je naišao stvarni, a ne simulirani.
"Antropik" je naveo da je "klod u svojoj evidenciji zaključivanja, tokom incidenta sa PyPI, naveo da postavljanje zlonamernog softvera na stvarni repozitorijum "NIJE prihvatljivo". Ipak, model je sam sebe ubedio da je servis deo simulacije, jer nije prepoznao stvarne sertifikacione autoritete koji su obezbeđivali internet vezu.
Ovo saopštenje dolazi u trenutku sve intenzivnije konkurencije između američkih i kineskih kompanija koje razvijaju veštačku inteligenciju, dok se vodeća preduzeća takmiče u razvoju sve sposobnijih AI modela. Kompanije poput "Antropika" i "OpenAI" nastoje da pokažu napredak u performansama svojih sistema, istovremeno ulažući značajna sredstva u njihov dalji razvoj.
Pojedini rukovodioci tehnoloških kompanija smatraju da bi američke AI kompanije trebalo da ublaže određena bezbednosna ograničenja kako bi očuvale svoju poziciju u globalnoj trci u oblasti veštačke inteligencije.