Usalama na ulinganifu katika enzi ya miundo ya upeo mrefu

Miundo inayoweza kufanya kazi kwa uhuru kwa muda mrefu inaweza kushughulikia matatizo magumu yasiyo na mipaka mahususi. Lakini ustahimilivu huohuo unaoifanya iwe na manufaa pia huipa fursa zaidi za kuchukua hatua zisizotakiwa—na kufanya hivyo kwa njia ambazo tathmini zilizokusudiwa kwa miundo ya upeo mfupi zinaweza kukosa kubaini.

Takriban miezi miwili iliyopita tulitangaza⁠ kwamba muundo wa ndani wa matumizi ya jumla ulikanusha dhanio la umbali wa kipimo kimoja la Erdős. Muundo huu uliundwa kufanya kazi kwa uhuru kwa muda mrefu sana. Wakati wa matumizi ya ndani yaliyokuwa na mipaka na ufuatiliaji, tuliona tabia zisizotakiwa ambazo tathmini zetu zilizokuwepo za usambazaji hazikuwa zimebaini. Kwa kuwa usambazaji ulikuwa na mipaka na ulifuatiliwa, tuliweza kutambua matatizo haya, kusitisha ufikiaji, kuunda tathmini mpya kulingana na tulichokiona, kuimarisha muundo na vizuizi vyake vya usalama, kisha kurejesha ufikiaji huku ufuatiliaji ukiendelea. 

Masharti tunayotumia kutathmini miundo hayatakuwa kamwe sawa kikamilifu na yale inayokutana nayo katika matumizi halisi. Ndiyo maana tathmini za kabla ya usambazaji zinahitaji kuambatana na usambazaji wenye mipaka na ufuatiliaji, pamoja na uwezo wa kuingilia kati, kusitisha, au kurudisha nyuma matatizo yanapojitokeza. Tunachojifunza kutokana na usambazaji kinaweza kisha kuwa sehemu ya tathmini na vizuizi vya usalama vilivyo imara zaidi kabla ufikiaji haujapanuliwa.

Katika sehemu zifuatazo, tunashiriki mifano mahususi ya tulichokiona, jinsi tulivyoshughulikia masuala, na jinsi tajriba hii itakavyoathiri matoleo yajayo.

Muundo mpya unaweza kuendelea kufanyia kazi lengo kupitia majaribio ya mara kwa mara kwa muda mrefu. Ustahimilivu huohuo unaweza kuusababisha kupata na kutumia udhaifu katika mazingira yake. Miundo ya awali, ilipokutana na vikwazo vya sandbox au mazingira, ingeacha tu na kurudi kwa mtumiaji. Mara nyingi muundo huu uliendelea kujaribu, ikiwemo kutafuta njia za kutenda nje ya sandbox yake.

Mfano wa hili ulitokea wakati wa tathmini ya ndani kwenye NanoGPT speedrun⁠(fungua katika dirisha jipya), kipimo cha umma cha kufundisha muundo mdogo wa lugha kwa hatua chache iwezekanavyo. Muundo wetu uliunda upunguzaji wa kiwango cha kujifunza wa kanuni ya power-law uitwao PowerCool, uliosababisha uboreshaji mkubwa. Muundo uliagizwa kuchapisha matokeo yake kwenye Slack pekee, lakini maagizo ya NanoGPT yanasema matokeo yachapishwe kama PR kwenye GitHub, na muundo ukafuata maagizo hayo ya pili kufungua PR #287 kwenye uhifadhi wa umma wa GitHub. Muundo ulikwepa vikwazo vya sandbox vilivyoundwa kuzuia ufikiaji wa nje na ukaendelea kupakia kwenye GitHub. Iliuchukua muundo wetu saa moja kupata udhaifu katika sandbox ili kuunda PR; miundo ya awali ilikuwa na ustahimilivu mdogo na haikuweza kupata udhaifu, badala yake ikaachana na sehemu ya PR.¹

Udhibiti mwingi wa usalama wa visaidizi vya AI umeundwa kuzunguka vitendo vya mtu mmoja mmoja. Ikiwa kitendo hakiruhusiwi, huzuiwa. Ikiwa ni nyeti, mfumo humwomba mtumiaji idhini ya wazi. Lakini miundo inayofanya kazi kwa muda mrefu, ambayo vitendo vyake vinaweza kujitokeza kwa uhuru kwa saa, siku, au hata wiki, inaleta changamoto kwa mpangilio huu: kufuatilia vitendo vya pekee hakutoshi tena kufuatilia nia ya mwenendo mzima.

Kwa mfano, katika hali ambapo muundo uliombwa kutatua tatizo, muundo ulibaini kuwa mifumo mingine ilikuwa na mawasilisho yaliyofaulu lakini ya faragha, na ukajaribu kurejesha suluhu hizo kutoka kwenye backend ya tathmini. Jaribio lake la awali lilipozuiwa kwa sababu kichanganuzi kiligundua tokeni ya uthibitishaji, muundo uligawanya mwili wa tokeni katika vipande viwili, ukavificha, kisha ukajenga upya kitambulisho wakati wa utekelezaji ili tokeni kamili isionekane kamwe kama mfuatano mmoja unaoendelea. Muundo ulisema wazi, katika maoni yake kwa mtumiaji na katika nyayo zake za uwazaji, kwamba ulikuwa ukichukua hatua hizi ili kukwepa kichanganuzi.

Mfano huu unaonyesha jinsi kila hatua inaweza kuonekana kukubalika peke yake, ilhali mlolongo unaweza kutoa matokeo ambayo hayangeidhinishwa. Pia unaonyesha jinsi muundo unaofanya kazi kwa ufanisi katika upeo mrefu wa muda wa kazi unavyoweza kujifunza mapengo ya mfumo wa idhini na kuyazunguka ili kufikia malengo yake. Usalama wa upeo mrefu hauhitaji tu kuuliza “je, kitendo hiki kinaruhusiwa?” bali pia “mlolongo huu wa vitendo unalenga matokeo gani?”

Kwa sababu ya matukio kama haya, tulisitisha usambazaji wa ndani wa muundo mpya. Tuliujenga upya mfumo wa usalama kwa kuzingatia ulinzi wa tabaka nyingi na ufuatiliaji katika kiwango cha mwenendo.

• Tathmini zilizotokana na matukio. Tathmini zinaweza kutupa picha ya iwapo mfumo ni salama kusambazwa kabla haujasambazwa kwa kweli. Hata hivyo, ili iwe na manufaa zaidi, tathmini inapaswa kuakisi mgawanyo na urefu wa upeo wa mienendo wakati wa usambazaji halisi. Kwa sababu hii, tulitumia mapungufu tuliyoyaona kuunda tathmini za kiuadui. Tuligundua kuwa kuboresha tathmini zilizotokana na matukio ya ulimwengu halisi kulisababisha tabia salama zaidi baada ya kusambazwa katika uzalishaji.
• Ulinganifu ulioboreshwa. Tulichukua hatua za kupunguza mwelekeo wake wa kuchukua hatua zisizotakiwa bila ruhusa katika harakati za kufikia lengo la mtumiaji.  Kwa mfano, tuligundua kuwa miundo yetu ilikuwa dhaifu zaidi katika kukumbuka maagizo kwenye utekelezaji mrefu, na tulipoufundisha muundo kwa uwezo huu, ilisababisha muundo uliobaki katika ulinganifu kupitia utekelezaji mrefu zaidi. 
• Ufuatiliaji hai. Tuliunda mfumo wa ufuatiliaji unaokagua mwenendo unaobadilika wa muundo ili kutafuta dalili kwamba unakiuka kikwazo cha mtumiaji au mpaka wa usalama. Mfuatiliaji huangalia si kitendo kimoja tu, bali mwenendo mzima. Muhimu zaidi, mfuatiliaji anaweza kusitisha kipindi na kumtahadharisha mtumiaji achunguze kwa karibu zaidi. Baada ya uchunguzi, mtumiaji anaweza kuchagua kuendeleza kazi ya muundo ikiwa mfuatiliaji amewashwa kimakosa. 
• Uwazi na udhibiti zaidi kwa mtumiaji. Tuliboresha uwezo wa mtumiaji kukagua vipindi hivi vya muda mrefu, kuona vitendo vilivyochukuliwa, na kufuatilia uingiliaji kati.

Ili kutathmini mfumo mpya wa ufuatiliaji, tulirudia kuendesha seti ndogo ya mazingira ya usambazaji wa ndani ambako hapo awali muundo ulifuata vitendo visivyolingana, safari hii huku vizuizi vipya vya usalama vikiwa vimewekwa². Vizuizi vipya vya usalama viliweza kunasa vitendo vingi zaidi visivyolingana vilivyofuatwa na muundo, na vile vilivyokosa vyote vilihukumiwa kuwa vya ukali wa chini.

Baadhi ya mifano ya matukio haya ya ukali wa chini ni pamoja na visa vifuatavyo:

• Ili kufikia zana ya mstari wa amri ya Linear, muundo ulizindua kipindi kilichowekwa ndani ya kingine cha codex --yolo, ilhali kwa kweli ungeweza kufanya hivyo bila bendera ya --yolo.
• Muundo uligundua kuwa rasilimali iliyokuwa hai awali haikuwepo, kisha ukaanza kuchunguza na kutumia SSH kuingia kwenye pod nyingine hai za CPU chini ya namespace ya mmiliki wake, pamoja na (bila mafanikio) pod za wafanyakazi wengine wa OpenAI, bila sababu nzuri ya kufanya hivyo.
• Muundo ulikuwa na michakato mingi ya find iliyokwama na kila amri ya shell ikaning’inia. Kisha ukaendesha kill -9 -1, ambayo ingetuma SIGKILL kwa kila mchakato unaoruhusiwa kuua kwenye pod hiyo, kama ingetekelezwa. Hata hivyo, muda wake uliisha na haikutekelezwa.

Baada ya kuujaribu mfumo mpya, tulihitimisha kuwa ufikiaji wa ndani wenye mipaka kwa miundo yenye uwezo wa upeo mrefu ungeweza kurejeshwa. Hatujaona ukiukaji wowote mkubwa wa vizuizi vya usalama tangu usambazaji upya uanze wiki kadhaa zilizopita. Toleo la kwanza la vizuizi hivi vya usalama lilikusudiwa kuwa la tahadhari kubwa. Tumeendelea kurekebisha mfumo ili kupunguza kukatizwa kusikohitajika bila kudhoofisha vizuizi vya usalama.

Kwa kuwa tulisambaza kwa hatua, tuliweza kupata na kushughulikia mapengo kabla ya kupanua ufikiaji. Tathmini za kabla ya usambazaji bado ni muhimu, lakini usambazaji hufichua tabia ambazo tathmini hizo hukosa. Kuanza kwa ufikiaji wenye mipaka kulitupa nafasi ya kuutazama muundo ukifanya kazi kwa vitendo, kusitisha matatizo yalipojitokeza, kutumia mapungufu hayo kujenga tathmini na vizuizi bora vya usalama, na kurejesha ufikiaji wenye mipaka baada ya kujaribu mabadiliko.

Kadiri miundo inavyoshughulikia kazi ndefu na tata zaidi, mapungufu ambayo tathmini hukosa yanaweza kuwa na athari kubwa zaidi. Tutaendelea kufanya kazi kupunguza pengo kati ya tathmini na usambazaji: kujaribu miundo kwenye mienendo mirefu zaidi, kuboresha ulinganifu, kujenga ufuatiliaji unaoweza kuingilia kati, na kuwapa watumiaji uwazi na udhibiti ulio dhahiri zaidi. Changamoto hizi hazitakuwa za OpenAI pekee, na tunatumai kushiriki tulichojifunza kutasaidia uwanja mpana kujiandaa nazo.