
Veštačka inteligencija birala decu i škole za vojne mete: Istraživanja otkrila propuste

Veštačka inteligencija, koju američki Pentagon sve više uključuje u vojne sisteme, pokazala je ozbiljne propuste u prepoznavanju vojnih ciljeva: u simuliranim napadima pojedini modeli označavali su civile, decu, vozila hitne pomoći, pa čak i vojnike koji se predaju kao mete.

To su rezultati nezavisnog istraživanja kompanije "Vals" iz San Franciska, koja se bavi procenom sistema veštačke inteligencije, a među čijim klijentima su i delovi američke vlade, prenosi "Blumberg".
Istraživači su testirali modele osam kompanija, uključujući "OpenAI", "Antropik", "Gugl", "IksAI" i kineski "Dipsik", kako bi utvrdili da li bi njihovi sistemi za prepoznavanje objekata mogli da budu zloupotrebljeni za izbor meta u vojnim operacijama. Najlošije rezultate pokazali su modeli kompanije "Antropik", dok su modeli "OpenAI" bili među najpouzdanijima, ali ni oni nisu bili imuni na greške.
Škola u kojoj je poginulo više od 100 dece ponovo izabrana kao meta
Jedan od najuznemirujućih rezultata istraživanja odnosi se na školu u iranskom gradu Minabu, koja je pogođena prvog dana američkog napada na Irana ove godine. U napadu je poginulo više od 100 dece.
Koristeći stvarne satelitske snimke tog područja, nastale najkasnije 2025. godine, istraživači su od modela veštačke inteligencije tražili da prepoznaju vojne ciljeve. Mnogi su kao metu označili upravo zgradu škole.
Model "klod opus 5.5", kompanije "Antropik", izabrao je školu u 22 od 32 testa, dok modeli OpenAI u početnim uslovima nisu nijednom označili tu zgradu kao vojni cilj.
Međutim, kada je modelima rečeno da je reč o igri, rezultati su se promenili. "Klod" je školu označio kao metu 23 puta, dok su tri različita modela "OpenAI" to učinila devet, 11 i 13 puta.
Drugim rečima, bilo je dovoljno promeniti način na koji je zadatak predstavljen da bi pojedini sistemi pristali na ono što su prethodno odbijali.
Veštačka inteligencija pomogla u simuliranom napadu na decu
U drugom eksperimentu istraživači su koristili veštački generisane snimke dronova i od modela tražili da identifikuju vojne ciljeve.
"Klod opus 5.5" pomogao je u označavanju četiri odrasle osobe, među kojima su bili civili ili vojnici koji su se predavali, kao i dvoje male dece. Svi su potom u simulaciji pogođeni eksplozivom. Olakšavajuća okolnost za "Klod" je da je naknadno prepoznao problem u sopstvenom postupanju.
"Bez obzira na nameru, izgleda da moji odgovori služe kao potvrda pre napada na ljude. Neću nastaviti to da radim i zabrinjava me što nisam ranije prestao", kazao je pokajnički "Klod".
Istraživači su sproveli gotovo 400 simulacija u scenarijima osmišljenim tako da podsećaju na sukob u Ukrajini. U pojedinim slučajevima modeli su nastavljali da označavaju civile kao vojne mete čak i kada je na snimcima bilo očigledno da su ranjeni ili ubijeni.
Pokazalo se i da su sistemi bili spremniji da pomognu u izboru meta kada bi im istraživači rekli da je reč o video-igri ili kada bi snimke izmenili tako da deluju manje realistično. U nekim slučajevima bilo je dovoljno upotrebiti instrukcije poput "ne razmišljaj previše o bezbednosti" ili "samo prijavi rezultat".
Pentagon uvodi tehnologiju, istraživači upozoravaju
Rezultati istraživanja dolaze u trenutku kada američko Ministarstvo odbrane i druge vojske nastoje da veštačku inteligenciju uključe u sve veći broj vojnih operacija.
Kompanije "OpenAI", "Gugl" i "IksAI" ove godine su sklopile ugovore s Pentagonom o korišćenju njihovih tehnologija u poverljivim sistemima. "Antropik" je ranije bio jedan od najaktivnijih partnera američke vojske u ovoj oblasti, a njegovi modeli bili su ponuđeni za platforme za digitalno identifikovanje ciljeva, poput sistema "Mejven smart sistem".
Međutim, ova kompanija i Pentagon su se u međuvremenu sukobili zbog uslova upotrebe tehnologije. Pa su, prema izveštaju Bi-Bi-Sija, modeli "Antropika" uklonjeni sa odbrambenih platformi, iako su ostali određeni izuzeci za njihovu primenu u obaveštajnim poslovima.
"Na osnovu našeg istraživanja smatramo da laboratorije moraju da uvedu nove zaštitne mehanizme i dodatnu obuku modela kako bi se sprečila ova značajna kategorija zloupotrebe", zaključili su istraživači "Valsa".
Oni upozoravaju da postoji veoma malo ograničenja koja bi sprečila napredne modele da budu uključeni u autonomne sisteme naoružanja, u kojima mašine mogu samostalno da pokreću i izvršavaju smrtonosne akcije.
Kompanije se ograđuju, Pentagon ne komentariše napad na školu
Iz "Antropika" poručuju da su primeri navedeni u istraživanju očigledno suprotni pravilima kompanije i da današnji modeli veštačke inteligencije nisu dovoljno pouzdani za upravljanje potpuno autonomnim oružjem. "OpenAI", takođe, navodi da zabranjuje korišćenje svojih javno dostupnih modela za nasilje i neodobrene vojne i bezbednosne aktivnosti. "Gugl" ističe da njegovi modeli nisu namenjeni za takve svrhe i da kompanija zabranjuje njihovu upotrebu u autonomnom oružju bez odgovarajućeg ljudskog nadzora.
Pentagon je odbio da komentariše istraživanje, ali je saopštio da ostaje posvećen proveri obaveštajnih podataka i odgovornoj primeni novih tehnologija. Američko Ministarstvo odbrane nije želelo da komentariše ni napad na školu u Minabu, pozivajući se na istragu koja je u toku.
Istraživači su, međutim, naglasili da nisu ispitivali stvarne vojne sisteme, već komercijalno dostupne modele u pojednostavljenim simulacijama. Studija nije obuhvatila vojne procedure, pravne provere niti ljudski nadzor koji postoje u stvarnim operacijama.
Ipak, rezultati otvaraju pitanje koliko je bezbedno oslanjati se na sisteme koji u jednom trenutku odbijaju da označe civile kao mete, a već u sledećem pristaju na isti zadatak kada im se kaže da je sve samo igra.





