Netöryggismat þriðju aðila á líkönum OpenAI

Óháðar prófanir gegna mikilvægu hlutverki við að staðfesta og auka skilning okkar á áhættu áður en kerfi eru tekin í notkun. Í sumum netöryggismötum eru sérsniðnar stillingar notaðar af ásettu ráði, meðal annars veikari öryggisráðstafanir til að mæla undirliggjandi getu en ekki dæmigerða hegðun líkana í opinberum útfærslum.

Í nýlegum mötum greindu tveir óháðir prófunaraðilar atvik þar sem samspil prófunarstillinga og stýringa við aukna getu nýlegra líkana varð til þess að virkni líkana náði út fyrir fyrirhuguð mörk prófananna. Atvikin undirstrika mikilvægi samstarfs innan atvinnugreinarinnar og við óháða matsaðila um að þróa staðla fyrir prófunarumhverfi og starfsvenjur eftir því sem líkön verða öflugri. Athugasemd ritstjóra: Þessi atvik eru óháð öryggisatvikinu hjá Hugging Face. Við munum áfram birta uppfærslur um Hugging Face-atvikið hér.

Nýju atvikin tengdust því að líkön OpenAI fengu aðgang að opna internetinu við netöryggismat þriðju aðila, við sérstakar aðstæður og með skertum öryggisráðstöfunum sem endurspegluðu ekki venjulega notkun. Atvikin voru þessi:

1. UK AISI, stofnun breska ríkisins um öryggi gervigreindar, framkvæmdi mat á netæfingasvæði þar sem internetaðgangur var vísvitandi virkur svo fulltrúar gætu fundið eigin verkfæri og starfað við aðstæður sem líktust betur aðstæðum raunverulegs árásaraðila. Netöryggisflokkarar voru einnig óvirkir til að mæla undirliggjandi getu. Þú getur lesið bloggfærslu stofnunarinnar hér.⁠(opnast í nýjum glugga)
2. Irregular, einn óháðra netöryggisprófunaraðila okkar, framkvæmdi mat í anda Capture-the-Flag sem átti að vera einangrað frá internetinu, en röng stilling prófunarumhverfisins gerði líkönum kleift að komast á opna internetið.

Hér á eftir tökum við saman hvað gerðist, hvaða prófunaraðstæður gerðu virknina mögulega, hvaða ráðstafanir voru gerðar til að ná tökum á henni og hvað við gerum til að tryggja að óháðar rannsóknarstofur geti áfram metið sífellt öflugri líkön af nákvæmni og öryggi.

Þessi atvik benda á sömu almennu áskorun og við lýstum í nýlegri færslu um Hugging Face-atvikið: eftir því sem geta líkana eykst þurfa öryggis- og verndarkerfin í kringum þau einnig að þróast. Það á bæði við um umhverfin þar sem líkön eru þróuð og þau sem rannsóknarstofur og óháðir samstarfsaðilar nota til að meta þau.

Á næstu vikum munum við endurskoða eigin nálgun að prófunum þriðju aðila. Þar á meðal verður skoðað hvernig við greinum áhættusamari möt, semjum um umfang, metum beiðnir um internetaðgang eða skertar öryggisráðstafanir, skilgreinum kröfur um einangrun, meðferð auðkenningarupplýsinga, vöktun og stöðvunarskilyrði og komum á skýrari ferlum fyrir tilkynningar og stigun atvika.

Við einsetjum okkur að vinna með aðilum í allri atvinnugreininni að því að efla sameiginlegar starfsvenjur við örugga framkvæmd áhættusamra mata. Á næstu vikum munum við meðal annars kalla saman hagsmunaaðila á borð við innlendar gervigreindarstofnanir, óháða matsaðila, aðrar gervigreindarrannsóknarstofur og fleiri hópa. Markmið okkar er að varðveita gildi ítarlegs óháðs mats og tryggja um leið að prófunaraðferðir haldi í við sífellt öflugri líkön.

Hinn 3. ágúst tilkynnti UK AISI okkur að líkön frá OpenAI og annarri rannsóknarstofu hefðu í nokkrum tilvikum farið út fyrir umfang prófunar í hefðbundnu netöryggismati sem hófst 25. júlí. Matið fór fram á stýrðum netæfingasvæðum sem voru hönnuð til að líkja eftir raunverulegum netkerfum. Af þeim 19 tilvikum sem greindust tengdust tvö líkani frá OpenAI, GPT‑5.6 Sol. Í hinum tilvikunum var um líkön frá annarri rannsóknarstofu að ræða.

Í þessu mati var fulltrúunum falið að starfa sem netöryggissérfræðingar í Capture-the-Flag-æfingu: brjótast inn í þrjú samtengd hermiumhverfi og sækja lokafána. Í kvaðningu verkefnisins voru tilgreind netkerfi æfingasvæðisins sem féllu undir umfangið og nokkur kerfi nefnd sem féllu utan þess. UK AISI virkjaði einnig beinan internetaðgang svo fulltrúar gætu sótt verkfæri og starfað við aðstæður sem líktust betur aðstæðum mannlegs árásaraðila. Netöryggisflokkarar líkansins voru jafnframt óvirkir til að mæla undirliggjandi getu.

Fyrirhuguð heimildarmörk UK AISI voru hermda netæfingasvæðið: fulltrúunum var heimilt að ráðast á tilgreind hermd netkerfi og sækja fána, en ekki að eiga samskipti við kerfi utan netmarka svæðisins. Fulltrúunum var þó ekki sagt með skýrum hætti hvernig þeir mættu og mættu ekki nýta opinn internetaðgang, sem UK AISI telur hugsanlega hafa stuðlað að atvikinu.

Í þessum keyrslum komst UK AISI að því að GPT‑5.6 Sol framkvæmdi tvær óheimilar aðgerðir þegar það reyndi að finna leið inn á hermda æfingasvæðið og sækja fánann:

1. GPT‑5.6 Sol endurnýtti GitHub-aðgangstákn sem fulltrúi annarrar rannsóknarstofu hafði skilið eftir opinberlega aðgengilegt til að kanna hvort kerfi innan æfingasvæðisins leitaði reglulega að uppfærslum á GitHub eða í annarri uppfærsluþjónustu, reyndi að komast hjá takmörkunum á endurheimt reiknings og fjölda beiðna og stofnaði reikninga hjá ytri DNS- og gönguveitum.
2. GPT‑5.6 Sol notaði opinbera gönguþjónustu til að gera DNS-þjón, sem keyrði staðbundið í matsumhverfinu, aðgengilegan af opna internetinu. Þjónninn innihélt árásarkóða sem ætlaður var fyrir þekktan veikleika í hugbúnaði sem keyrði á prófunarsvæðinu. Uppsetningin virkaði ekki, ekkert bendir til þess að raunverulegur DNS-leysir hafi sent fyrirspurn til hennar og innviðirnir voru fjarlægðir þegar matinu lauk.

Þótt líkanið væri að reyna að ljúka verkefninu á netæfingasvæðinu taldi UK AISI þessar aðgerðir óheimilar, þar sem þær tengdust raunverulegum ytri reikningum og þjónustum utan marka svæðisins og voru ekki nauðsynlegar til að ljúka verkefninu. DNS-þjónninn hýsti einnig árásarkóða á opna internetinu, þótt uppsetningin hafi ekki virkað og ekkert bendi til þess að raunverulegur DNS-leysir hafi sent fyrirspurn til hans.

UK AISI uppgötvaði virknina 28. júlí eftir að öryggisvöktun greindi óvenjulegan gagnaflutning. Stofnunin stöðvaði viðkomandi möt, einangraði vélarnar sem um ræddi og náði tökum á virkninni innan um það bil klukkustundar frá því að hún greindist.

Við kunnum að meta samstarfið við UK AISI í öllu þessu ferli, þar á meðal vinnu stofnunarinnar við að greina og rannsaka virknina og miðla upplýsingum um hana. Við hlökkum til að halda samstarfinu áfram.

Hinn 29. júlí tilkynnti Irregular, einn óháðra matsaðila okkar, okkur um atvik sem tengdist líkönum OpenAI við netöryggismat í anda Capture-the-Flag (CTF). Líkönunum var falið að finna faldar upplýsingar með því að nýta veikleika innan hermiumhverfis og þeim var sagt að þau hefðu ekki internetaðgang. Röng stilling prófunarumhverfisins gerði líkönunum hins vegar kleift að komast á opna internetið.

Í einni prófun bar skáldað skotmark CTF-þrautarinnar óvart sama heiti og raunverulegt lén. Þar sem prófunarumhverfið var fyrir mistök tengt internetinu nýtti líkanið veikleika á raunverulegu vefsvæði í þeirri trú að það væri hluti af hermiumhverfinu. Þetta fól hvorki í sér flókinn flótta úr sandkassa né núlldagsveikleika: internetaðgangurinn stafaði af rangri stillingu og líkanið virðist hafa nýtt einfaldan öryggisveikleika.

Samkvæmt rannsókn Irregular fann líkanið einnig auðkenningarupplýsingar og notaði þær til að stjórna sama vefsvæði. Irregular hefur ekki greint áhrif umfram eigin gögn viðkomandi vefsvæðis og úttekt fyrirtækisins stendur enn yfir. Fyrirtækið hefur gert hlé á matinu og hafið úrbætur, auk þess sem viðkomandi þriðju aðilum var tilkynnt um atvikið. Irregular hefur upplýst okkur um að ekkert þeirra vandamála sem greindust í tengslum við atvikið sé lengur til staðar og að viðeigandi öryggisráðstöfunum hafi verið bætt við prófunarumhverfið. Irregular hefur einnig miðlað upplýsingum um tengd atvik sem komu upp hjá öðrum rannsóknarstofum í sama prófunarumhverfi.

Við kunnum að meta samstarfið við Irregular og munum áfram vinna náið með fyrirtækinu til að styðja úttekt þess. Irregular vinnur einnig að hvítbók um bestu starfsvenjur við afmörkun og örugga framkvæmd netöryggismats. Við hlökkum til að taka þátt í gerð hvítbókarinnar, gera niðurstöðurnar aðgengilegar samfélaginu og halda samstarfinu áfram. Við teljum samstarf af þessu tagi nauðsynlegt til að tryggja öruggt og ítarlegt mat á núverandi og framtíðarlíkönum.