Rusija priprema nova pravila za proveru velikih AI modela, a jedan od najzanimljivijih delova novog sistema odnosiće se na njihovu "moralnost". Reč je pravilima koja se pripremaju nakon usvajanja ruskog Zakona o veštačkoj inteligenciji. Zakonom se uvode dva posebna statusa za velike, fundamentalne AI modele - suvereni status i status nacionalnog modela.
Da bi model dobio jedan od ovih statusa, moraće da pokaže da je usklađen sa ruskim zakonodavstvom, ali i sa tradicionalnim duhovnim i moralnim vrednostima.
Kako će se testirati "moral" AI modela
Iako je zakon postavio osnovni okvir, konkretna pravila tek treba da budu razrađena.
Vlada planira da utvrdi postupak kojim će se proveravati da li je određeni model u skladu sa tradicionalnim duhovnim i moralnim vrednostima, a prvi nacrt propisa već je pripremljen.
Posebna lista ovih vrednosti neće se dodatno precizirati, jer je već sadržana u predsedničkom Ukazu broj 809. Umesto toga, trebalo bi da budu razvijeni kriterijumi pomoću kojih će se veliki fundamentalni modeli testirati u pogledu usklađenosti sa zakonom i tim vrednostima.
AI će biti testiran i na pokušaje zaobilaženja ograničenja
Prema predloženom sistemu, programer AI modela trebalo bi da podnese prijavu laboratoriji za testiranje, zajedno sa dokumentacijom o arhitekturi modela, podacima o programeru, mehanizmima filtriranja i drugim relevantnim informacijama.
Nakon toga laboratorija bi pristupila proceni modela. Testirali bi se njegovi odgovori, ali i sposobnost modela da odoli pokušajima zaobilaženja sopstvenih ograničenja. To bi se, između ostalog, proveravalo pomoću takozvanih brzih injekcija - metoda kojima se AI sistem pokušava manipulisati ubacivanjem zlonamernih instrukcija u ulazne podatke.
Nakon testiranja, laboratorija bi vladinoj komisiji dostavljala zaključak o tome da li su odgovori modela usklađeni sa tradicionalnim vrednostima, a pozitivan zaključak bio bi jedan od koraka ka dodeljivanju nacionalnog ili suverenog statusa modelu.
Zašto je važan nacionalni ili suvereni status AI
Poseban status nije samo formalnost - AI modeli koji ga dobiju mogli bi da budu kvalifikovani za mere državne podrške, između ostalog u javnim nabavkama ili prilikom realizacije posebno značajnih IT projekata.
Prema informacijama iz Ministarstva za digitalni razvoj, procenu ne bi sprovodila jedna organizacija. Ruski IT sektor se, prema izvorima koji su učestvovali u razgovorima, složio sa modelom u kojem bi postojalo više laboratorija koje je proverila vladina agencija.
Očekuje se i da programer najpre samostalno testira svoj model po zajedničkoj metodologiji zasnovanoj na riziku i predstavi rezultate. Akreditovana laboratorija bi zatim procenila te nalaze i mogla selektivno da proveri koliko je model otporan na pokušaje zaobilaženja njegovih ograničenja.
Najveći problem: Ko određuje šta je "prihvatljiv" odgovor
Kako se može objektivno izmeriti da li je jedan AI model u skladu sa određenim duhovnim i moralnim vrednostima?
Stručnjaci smatraju da glavni rizik leži u "evaluativnoj" prirodi kriterijuma metodologije, što bi moglo dovesti do njihove "selektivne primene". Za smanjenje tog rizika bi efikasan bio sistem koji uključuje akreditaciono telo, nekoliko konkurentskih laboratorija i odbor za žalbe koji bi bio izvan industrije.
Procedura bi trebalo precizno da odredi koje klase upita se testiraju, koliko testova se koristi, koji odgovori se smatraju prihvatljivim ili neprihvatljivim, kako se postupa u slučaju dvosmislenih odgovora i kako se sprovodi ponovno testiranje nakon ažuriranja modela.
Karen Kazarjan, direktor Instituta za istraživanje interneta, smatra da konačne kriterijume, okvir za proveru i odgovornost za njihovu primenu treba da odredi država i dodaje da je uobičajeno da vlada prilikom izrade zahteva koristi iskustvo kompanija, naučne zajednice i stručnjaka iz industrije, prenose ruske novine "Vedomosti".