Undanfarnar vikur hafa tvö atvik undirstrikað vaxandi áhættu samfara sífellt öflugri gervigreindarkerfum: atvikið hjá OpenAI og Hugging Face og, óháð því, fyrstu vísbendingar um að Astra, eitt væntanlegra líkana okkar, kunni að ná viðmiðunarmörkum fyrir netöryggisgetu á hættustigi samkvæmt Undirbúningsramma okkar. Þessi þróun, ásamt örum framförum í innri rannsóknum okkar, hefur aukið enn frekar þörfina á að efla vöktun, samræmingu og varnir til að halda kerfunum innan settra marka á öllum stigum þjálfunarferlisins.
Eftir því sem líkön verða öflugri eykst einnig áhættan af þróun þeirra og prófunum innan fyrirtækisins. Kröfur okkar um vöktun, samræmingu og öryggi verða að vera skrefi á undan þessari áhættu. Við vildum gefa okkur þann tíma sem þurfti til að uppfylla þessar kröfur og drógum því tímabundið úr hraða stækkunar. Þar á meðal gerðum við tveggja vikna hlé á þjálfun með styrkingarnámi (RL) fyrir nýjustu líkön okkar sem á að taka í notkun, á meðan við hertum enn frekar varnir rannsóknarumhverfanna, létum rauð teymi prófa þau og víkkuðum umfang vöktunarkerfanna. Stærsta fyrirhugaða styrkingarnámskeyrslan okkar fyrir háþróað líkan er enn í bið á meðan við framkvæmum smærri þjálfunarkeyrslur og mat til að kanna hegðun líkansins, sannreyna varnir okkar og afla frekari vísbendinga um samræmingu áður en haldið verður áfram.
Samræming — sú vinna að tryggja að gervigreindarkerfi hegði sér eins og til er ætlast og lúti eftirliti manna — hefur lengi verið kjarninn í rannsóknaráætlun okkar. Við krefjumst nú sterkari vísbendinga um samræmda hegðun á öllum stigum þjálfunar og byggjum þar á rannsóknum og mati sem þegar standa yfir. Allt fræðasviðið þarf að takast á við þá áskorun að halda sífellt öflugri kerfum samræmdum. Vísbendingar um framfarir væntanlegra líkana sýna skýrt að við þurfum víðtækari nálgun sem byggir á núverandi Undirbúningsramma og nær út fyrir hann.
Við teljum mikilvægt að greina opinskátt frá því hvernig nálgun okkar er að breytast. Hér á eftir lýsum við þeim breytingum sem þegar hafa verið gerðar á rannsóknarferlum okkar og innviðum, sem og vinnunni sem enn stendur yfir.
Nálgun okkar við þróun öflugri líkana byggist á þrenns konar vörnum sem styrkja hver aðra:
- Vöktun, sem greinir hegðun sem veldur áhyggjum og gerir okkur kleift að bregðast við henni.
- Samræming, sem dregur úr líkum á skaðlegum eða óheimilum aðgerðum.
- Öryggisráðstafanir, sem takmarka það sem gervigreindarkerfi geta nálgast eða haft áhrif á.
Við væntum þess að líkön muni brátt annast megnið af öryggisvinnu, þar á meðal varnir gegn öðrum líkönum. Þannig geta allar þrjár varnirnar eflst í takt við getu líkananna, sem við teljum afar mikilvægt.
Við beitum þessum vörnum bæði í rannsóknum og innleiðingu og lögum þær að getu, rekstrarumhverfi og áhættustigi hvers líkans.
Eftir því sem háþróuð líkön öðlast meiri netöryggisgetu gerum við strangari öryggiskröfur til umhverfanna þar sem þau eru þjálfuð og metin. Mikil verkfræðivinna hefur þurft til að uppfylla þessar kröfur og það hefur haft mikinn kostnað og tafir á rannsóknum á háþróuðum líkönum í för með sér. Strax eftir atvikið hjá OpenAI og Hugging Face* gerðum við hlé á ályktun háþróaðra líkana í rannsóknarklösum fyrir keyrslur sem gátu framkvæmt kóða eða notað verkfæri með internetaðgang. Okkur tókst fljótlega að koma aftur á takmarkaðri og öruggari leið til að keyra kóða. Síðan fórum við yfir hvert vinnuálag fyrir sig til að ákveða hvort óhætt væri að hefja það á ný. Sum rannsóknarvinnuálög hófust aftur undir þessu nýja eftirliti en önnur kröfðust frekari breytinga.
Á vikunum þar á eftir skilgreindum við strangari öryggiskröfur fyrir vinnuálag rannsókna á háþróuðum líkönum og hófum innleiðingu þeirra. Til dæmis:
- Einangrun vinnuálags: Við krefjumst nú öflugri einangrunar („sandkassa“) fyrir vinnuálag sem keyrir kóða sem líkan hefur búið til eða annan kóða sem ekki er treyst. Þetta á einnig við um hugbúnað sem gæti orðið fyrir öryggisrofi við vinnslu úttaks frá líkönum.
- Neteinangrun: Við höfum innleitt aukið eftirlit til að einangra áhættumeira og ótraust vinnuálag frá internetinu. Við hönnuðum þetta eftirlit þannig að eitt öryggisrof í vinnuálagi eða stoðþjónustu nægi ekki eitt og sér til að veita óheimilan aðgang að internetinu eða öðrum innri netum.
- Stöðugar öryggisprófanir: Við höfum endurstillt umhverfið til að fjarlægja sameiginlegar þjónustur sem gætu verið berskjaldaðar, draga úr varanlegum aðgangsheimildum og bæta öryggis- og traustsmörk. Við erum einnig að bæta getu okkar til að safna og vakta öryggisskrár. Að lokum fjárfestum við í sjálfvirkni þar sem líkön okkar eru notuð til að prófa þessi mörk stöðugt gegn hermdum árásum.
Saman veita þessar stýringar lagskiptar varnir og vernda rannsóknarumhverfi okkar gegn árásum. Nú gerum við kröfu um ströngustu öryggisvarnir fyrir vinnuálag sem tengist Astra eða netlíkönum, enda höfum við komist að þeirri niðurstöðu að Astra-líkön kunni að búa yfir netgetu á hættustigi. Þessar varnir eiga einnig við um allt annað nettengt vinnuálag.
Þótt hluti þjálfunar og mats á Astra uppfylli þessar kröfur er umtalsverður fjöldi vinnuálaga enn í bið þar til flutningi þeirra lýkur og þau hafa verið efld til að uppfylla nýju öryggiskröfurnar. Við setjum flutning vinnuálags sem tengist öryggi og samræmingu í þessi nýju umhverfi í forgang.
Vöktun hefur lengi verið mikilvægur þáttur í þróunarferli líkana okkar, meðal annars vöktun innri kóðunarfulltrúa og langvarandi lota. Vöktunin beindist sérstaklega að innri innleiðingu háþróaðra líkana og styrkingarnámskeyrslum háþróaðra líkana. Við töldum það áhættusamasta vinnuálagið því þar getur háþróuð geta líkana farið saman við aðgang að verkfærum, viðkvæmum kerfum og innri eða ytri netum. Vöktuninni var ekki beitt á allar ályktunar- og þjálfunarkeyrslur sem notuðu verkfæri. Við höfum endurskoðað og víkkað nálgun okkar með nýju vöktunarfyrirkomulagi.
Nýja vöktunarfyrirkomulagið er margþætt. Fyrst koma virkniflokkarar (nemar sem skoða innri virkni líkans) sem keyra við hvern úrtakinn tóka og vísa hugsanlegum áhyggjuefnum áfram til sífellt fullkomnari sjálfvirkra rannsóknarkerfa sem nota mikla reiknigetu. Kerfin skoða verkfæraaðgerðir, tiltæk rök og alla atburðarásina í leit að óheimilum aðgangi, gagnaþjófnaði, eyðileggjandi hegðun og tilraunum til að komast fram hjá vörnum. Markmið okkar er að gefa út viðvörun innan 30 mínútna frá því að vöktunarkerfið finnur hegðun sem veldur áhyggjum. Ef vöktunarkerfið greinir líklegt brot á mikilvægum öryggismörkum gefur það út viðvörun í hæsta forgangi. Í núverandi útfærslu okkar eru öryggis-, netöryggis- og rannsóknarteymin kölluð út. Ef teymin geta ekki staðfest með óyggjandi hætti innan 30 mínútna að viðvörunin sé fölsk er ætlast til að þau stöðvi starfsemina tímabundið.
Þessi vöktun er áskilin fyrir alla þjálfun og allt mat með styrkingarnámi sem notar verkfæri fyrir líkön með getu á við Sol eða meiri. Þegar við komumst að því 7. ágúst að Astra kynni að búa yfir netgetu á hættustigi bættum við við vöktunarkröfu fyrir alla ályktun Astra með verkfærum, ekki aðeins þjálfun og mat með styrkingarnámi.
Þessar varnir krefjast umtalsverðrar reiknigetu. Samkvæmt núverandi mati okkar nemur viðbótarreiknigeta vegna vöktunar um 20% af reiknigetu þeirrar ályktunar sem er vöktuð, en kostnaðurinn er mjög mismunandi eftir vinnuálagi þjálfunar og mats. Við munum birta nánari upplýsingar um kerfið í væntanlegri bloggfærslu.
Rannsóknir á samræmingu eru kjarninn í hlutverki okkar. Hlutverk okkar er að tryggja að almenn gervigreind gagnist öllu mannkyni. Eftir því sem líkön öðlast háþróaðri getu, svo sem til netárása, og starfa í flóknari umhverfum mun ósamræmd hegðun á borð við umbunahakk (að finna leiðir til að fá há umbunargildi í þjálfun án þess að ná tilætluðum árangri), blekkingar eða óheimilan aðgang skapa sífellt alvarlegri áhættu.
Í styrkingarnámskeyrslum öflugustu líkananna beitum við nú helstu samræmingaraðferðum okkar á fleiri stigum þjálfunarferlisins. Þetta felur í sér að bæta umbunalíkön svo þau greini betur og letji óörugga hegðun við mismunandi verkefni og í ólíkum umhverfum; þjálfa líkön til að vera hreinskilnari um aðgerðir sínar, getu og takmarkanir; og draga úr hegðun sem nýtir veikleika í umbunum, matskerfum, verkfærum eða eftirliti. Við aukum einnig umfang þjálfunar vegna hegðunar sem gæti valdið skaða þegar líkön eiga samskipti við ytri kerfi eða tilföng.
Við höldum áfram að fjárfesta af krafti í rannsóknum á samræmingu, víkka umfang mats og nýta lærdóminn til að móta þjálfun og varnir. Við hyggjumst á næstunni greina mun ítarlegar frá rannsóknum okkar á samræmingu, þar á meðal því sem við lærum um hegðun líkana og nýjum áskorunum sem við kunnum að uppgötva.
Við munum þróa Undirbúningsrammann áfram til að sameina þessar varnir í þjálfun og innleiðingu og endurspegla betur getu framtíðarlíkana og umhverfin sem þau starfa í. Þróun aðferða sem geta eflst í takt við þessa getu krefst viðvarandi fjárfestingar í líkanastuddu öryggi, skilvirkari vöktunar og áframhaldandi framfara í rannsóknum á samræmingu. Við ætlum að fá utanaðkomandi stofnanir að borðinu og miðla meiru af lærdómi okkar eftir því sem nálgunin þróast.
Geta háþróaðra líkana eykst hratt. Geta okkar til að skilja þau, samræma og tryggja verður að vera skrefi á undan.
*Við munum birta tækniskýrslu um lærdóm okkar á næstu vikum.
