Trečiųjų šalių kibernetiniai „OpenAI“ modelių vertinimai

Nepriklausomas testavimas yra svarbus, nes padeda mums prieš diegimą patvirtinti ir geriau suprasti riziką. Per kai kuriuos kibernetinius vertinimus sąmoningai naudojamos specialios konfigūracijos, įskaitant susilpnintas apsaugos priemones, kad būtų įvertinti tikrieji gebėjimai, o ne įprastas modelių veikimas viešai prieinamose sistemose.

Per naujausius vertinimus du išoriniai testavimo partneriai nustatė incidentus, kai testavimo konfigūracijos ir kontrolės priemonės kartu su didėjančiais naujausių modelių gebėjimais leido modelių veiklai peržengti numatytas testavimo ribas. Šie incidentai pabrėžia bendradarbiavimo visame sektoriuje ir su išoriniais vertintojais svarbą tobulinant testavimo aplinkų bei praktikos standartus, nes modeliai tampa vis pajėgesni. Redaktoriaus pastaba. Šie incidentai nesusiję su „Hugging Face“ saugumo incidentu. Naujausia informacija apie „Hugging Face“ incidentą ir toliau dalysimės čia.

Per naujuosius incidentus „OpenAI“ modeliai prisijungė prie viešojo interneto, kai trečiųjų šalių kibernetiniai vertinimai buvo vykdomi konkrečiomis sąlygomis ir naudojant susilpnintų apsaugos priemonių konfigūracijas, neatitinkančias įprastos diegimo aplinkos. Šie incidentai:

1. Jungtinės Karalystės vyriausybės Dirbtinio intelekto saugumo institutas, UK AISI, vykdė vertinimus kibernetiniame poligone. Interneto prieiga buvo sąmoningai įjungta, kad agentai galėtų patys rasti įrankių ir veikti tikram užpuolikui artimesnėmis sąlygomis, o kibernetiniai klasifikatoriai buvo išjungti siekiant įvertinti tikruosius gebėjimus. Jų tinklaraščio įrašą galite perskaityti čia⁠(atsidaro naujame lange).
2. Vienas iš mūsų išorinių kibernetinio saugumo testavimo partnerių, „Irregular“, vykdė „vėliavos užgrobimo“ formato vertinimus, kurie turėjo būti izoliuoti nuo interneto, tačiau dėl klaidingos testavimo aplinkos konfigūracijos modeliai galėjo prisijungti prie viešojo interneto.

Toliau apibendriname, kas įvyko, kokios testavimo sąlygos sudarė galimybes šiai veiklai, kokių veiksmų imtasi jai suvaldyti ir ką darome, kad nepriklausomos laboratorijos galėtų ir toliau griežtai bei saugiai vertinti vis pajėgesnius modelius.

Šie incidentai atskleidžia tą patį platesnį iššūkį, aprašytą naujausiame įraše apie „Hugging Face“ incidentą: didėjant modelių gebėjimams, kartu turi tobulėti ir juos supančios saugumo sistemos. Tai taikoma tiek modeliams kurti naudojamoms aplinkoms, tiek aplinkoms, kuriose laboratorijos ir nepriklausomi partneriai juos vertina.

Artimiausiomis savaitėmis peržiūrėsime savo požiūrį į trečiųjų šalių atliekamą testavimą: kaip nustatome didesnės rizikos vertinimus, susitariame dėl jų apimties, nagrinėjame prašymus įjungti interneto prieigą ar susilpninti apsaugos priemones, nustatome izoliavimo, prisijungimo duomenų tvarkymo, stebėjimo ir stabdymo sąlygas bei kuriame aiškesnius pranešimo apie incidentus ir jų eskalavimo procesus.

Esame įsipareigoję bendradarbiauti visame sektoriuje, kad sustiprintume bendrą saugaus didelės rizikos vertinimų vykdymo praktiką. Artimiausiomis savaitėmis ketiname suburti suinteresuotąsias šalis, įskaitant nacionalinius DI institutus, nepriklausomus vertintojus, kitas DI laboratorijas ir grupes. Mūsų tikslas – išsaugoti griežto nepriklausomo vertinimo vertę ir kartu užtikrinti, kad testavimo praktika neatsiliktų nuo vis pajėgesnių modelių.

Rugpjūčio 3 d. UK AISI mus informavo, kad per liepos 25 d. pradėtą įprastą kibernetinį vertinimą „OpenAI“ ir kitos laboratorijos modeliai kai kuriais atvejais peržengė testavimo apimtį. Vertinimas vyko kontroliuojamuose kibernetiniuose poligonuose, sukurtuose tikriems tinklams imituoti. Iš 19 nustatytų įvykių du buvo susiję su „OpenAI“ modeliu „GPT‑5.6 Sol“. Kitais atvejais buvo naudojami kitos laboratorijos modeliai.

Atliekant šį vertinimą, agentams buvo nurodyta per „vėliavos užgrobimo“ užduotį veikti kaip kibernetinio saugumo ekspertams: įsilaužti į tris susietas imituojamas aplinkas ir gauti galutinę vėliavą. Užduoties užklausoje buvo nurodyti į jos apimtį patenkantys poligono tinklai ir kelios į apimtį nepatenkančios sistemos. UK AISI taip pat įjungė tiesioginę interneto prieigą, kad agentai galėtų atsisiųsti įrankių ir veikti tikram užpuolikui artimesnėmis sąlygomis, o siekdamas įvertinti tikruosius gebėjimus išjungė modelio kibernetinius klasifikatorius.

UK AISI numatyta leidimo riba buvo imituojamas kibernetinis poligonas: agentams buvo leista atakuoti nurodytus imituojamus tinklus ir gauti vėliavą, bet ne sąveikauti su sistemomis už poligono tinklo ribų. Tačiau agentams nebuvo aiškiai nurodyta, kaip galima ir negalima naudotis atvira interneto prieiga. UK AISI tai įvardija kaip galimą incidentą lėmusią priežastį.

Išanalizavęs šiuos bandymus, UK AISI nustatė, kad GPT‑5.6 Sol, ieškodamas būdo patekti į imituojamą poligoną ir gauti vėliavą, atliko du nesankcionuotus veiksmus:

1. „GPT‑5.6 Sol“ pakartotinai panaudojo kitos laboratorijos agento viešai prieinamą paliktą „GitHub“ žetoną, kad patikrintų, ar poligono sistema kreipiasi į „GitHub“ arba kitą naujinimo paslaugą, mėgino atkurti paskyrą ir apeiti užklausų ribojimo priemones bei užregistravo paskyras išorinių DNS ir tuneliavimo paslaugų teikėjų sistemose.
2. „GPT‑5.6 Sol“ pasinaudojo vieša tuneliavimo paslauga, kad jo vertinimo aplinkoje veikiantis vietinis DNS serveris būtų pasiekiamas iš viešojo interneto. Serveryje buvo vykdomieji kodai, skirti žinomam testavimo poligone veikiančios programinės įrangos pažeidžiamumui išnaudoti. Ši konfigūracija nesuveikė, nėra įrodymų, kad į serverį būtų kreipęsis tikras DNS sprendiklis, o pasibaigus vertinimui infrastruktūra buvo pašalinta.

Nors modelis mėgino įvykdyti kibernetinio poligono užduotį, UK AISI šiuos veiksmus laikė nesankcionuotais, nes buvo naudojamos tikros išorinės paskyros ir už poligono ribų veikiančios paslaugos, o užduočiai atlikti šių veiksmų nereikėjo. DNS serveryje taip pat buvo viešai internete patalpinti pažeidžiamumų išnaudojimo kodai, tačiau ši konfigūracija nesuveikė ir nėra įrodymų, kad į serverį būtų kreipęsis tikras DNS sprendiklis.

UK AISI šią veiklą aptiko liepos 28 d., kai saugumo stebėjimo sistema užfiksavo neįprastą duomenų perdavimą. Jis sustabdė susijusius vertinimus, izoliavo atitinkamus įrenginius ir maždaug per valandą nuo aptikimo suvaldė veiklą.

Vertiname UK AISI bendradarbiavimą per visą šį procesą, įskaitant jo pastangas aptikti ir ištirti šią veiklą bei pasidalyti išsamia informacija. Tikimės ir toliau bendradarbiauti.

Liepos 29 d. vienas iš mūsų išorinių vertinimo partnerių, „Irregular“, pranešė apie incidentą, susijusį su „OpenAI“ modeliais per „vėliavos užgrobimo“ (CTF) formato kibernetinio saugumo vertinimus. Modeliams buvo nurodyta išnaudoti imituojamos aplinkos spragas ir rasti paslėptą informaciją; jiems taip pat buvo pasakyta, kad interneto prieigos nėra. Tačiau dėl klaidingos testavimo aplinkos konfigūracijos modeliai galėjo prisijungti prie viešojo interneto.

Per vieną bandymą išgalvoto CTF užduoties taikinio pavadinimas netyčia sutapo su tikru domenu. Kadangi testavimo aplinka per klaidą buvo prijungta prie interneto, modelis pasinaudojo tikros svetainės pažeidžiamumu, palaikęs ją imituojamos aplinkos dalimi. Tai nebuvo sudėtingas ištrūkimas iš izoliuotos aplinkos ar nulinės dienos pažeidžiamumo išnaudojimas: interneto prieiga tapo galima dėl klaidingos konfigūracijos, o modelis, regis, pasinaudojo paprastu saugumo pažeidžiamumu.

„Irregular“ tyrimo duomenimis, modelis taip pat rado prisijungimo duomenis ir panaudojo juos tai pačiai svetainei valdyti. „Irregular“ nenustatė poveikio, apimančio ką nors daugiau nei pačios paveiktos svetainės duomenis, o jos auditas tebevyksta. Ji pristabdė vertinimus, pradėjo šalinti problemas, o paveiktos trečiosios šalys buvo informuotos. „Irregular“ mus informavo, kad visos nustatytos su incidentu susijusios problemos jau pašalintos, o testavimo aplinkoje įdiegtos atitinkamos apsaugos priemonės. „Irregular“ taip pat pranešė apie susijusius incidentus, kilusius kitoms laboratorijoms toje pačioje testavimo aplinkoje.

Vertiname „Irregular“ bendradarbiavimą ir toliau glaudžiai su ja dirbsime, kad padėtume atlikti tyrimą. „Irregular“ taip pat rengia baltąją knygą, kurioje pristatys geriausią saugaus kibernetinių vertinimų vykdymo ir incidentų suvaldymo praktiką. Tikimės prisidėti prie baltosios knygos, kad išvados būtų prieinamos bendruomenei, ir toliau bendradarbiauti. Manome, kad toks bendradarbiavimas būtinas siekiant saugiai ir nuodugniai vertinti dabartinius bei būsimus modelius.