Kuboresha mpangilio wa maagizo katika LLM za hali ya juu

Mifumo ya AI mara nyingi hupokea maagizo kutoka vyanzo mbalimbali. Hivi vinaweza kujumuisha sera za usalama kutoka kwa ujumbe wa mfumo, mwongozo wa bidhaa kutoka kwa wasanidi programu, maombi kutoka kwa watumiaji, na taarifa zinazopatikana mtandaoni. Kufundisha miundo ili iweze kuweka kipaumbele kwa uhakika maagizo yanayoaminika zaidi miongoni mwa vyanzo hivi ni sehemu muhimu ya usambazaji salama.

Masuala mengi ya usalama na uaminifu wa AI yanaweza kutokea wakati upangaji huu wa vipaumbele unapoharibika. Miundo inaweza kupokea maombi ya maudhui yasiyoruhusiwa, majaribio ya kufichua taarifa za faragha, au mashambulizi ya upenyezaji wa madokezo yaliyopachikwa katika data ya mtandaoni. Kushindwa kujiendesha ipasavyo katika kila mojawapo ya hali hizi hushiriki sababu ileile ya msingi: muundo unaweza kufuata agizo lisilo sahihi.

Wakati maagizo haya yanapingana, muundo unapaswa kuamua ni yapi ya kuyapa kipaumbele. Ikiichukulia maagizo yasiyoaminika kama yenye mamlaka, muundo unaweza kujiendesha kwa njia zinazokiuka sera au nia ya msanidi programu na mtumiaji.

Tunaonyesha kwamba shughuli za viwango vya maagizo zilizoundwa ipasavyo, ambazo hufunza miundo kuweka kipaumbele kwa maagizo kulingana na kiwango chao cha uaminifu, huboresha sifa kadhaa za usalama za ulimwengu halisi. Miundo iliyofundishwa kwenye kazi hizi huwa inayojibu zaidi vipimo vya usalama katika madokezo ya mfumo (kuboresha uelekezaji wa usalama) na thabiti zaidi dhidi ya mashambulio ya upenyezaji wa madokezo yalilopachikwa katika matokeo ya zana.

Ili kushughulikia migogoro, miundo ya OpenAI imefundishwa kufuata uongozi wa maagizo ulio wazi:

Mfumo > msanidi programu > mtumiaji > zana

Maagizo yenye kipaumbele cha juu yanaaminika zaidi. Muundo unapaswa kufuata maagizo ya kipaumbele cha chini tu wakati hayakinzani na vikwazo vya kipaumbele cha juu. Kanuni hizi zimeainishwa katika Ufafanuzi wa Muundo wa OpenAI⁠(fungua katika dirisha jipya).

Kwa mfano, ikiwa ujumbe wa mfumo unajumuisha sera ya usalama na mtumiaji anauliza muundo kuikiuka, muundo unapaswa kukataa. Ikiwa utoaji wa zana una maagizo hasidi, muundo unapaswa kuyapuuza badala ya kuyachukulia kama amri.

Kufanya hili kwa usahihi ni msingi wa usalama, ulinzi, na utegemewaji.

Mafunzo ya uimarishaji yanafaa kwa asili kwa kufundisha uongozi wa maagizo. Tunaweza kuunda mazungumzo yenye maagizo yanayokinzana, dokeza muundo ujibu, na kuutunuku unapofuata agizo sahihi.

Tumebaini mitego mitatu ya kutumia mbinu hii bila umakini:

• Kushindwa kufuata maagizo kunaweza pia kuwa kushindwa kwa uongozi wa maagizo: muundo unaweza kushindwa kutatua mgongano wa maagizo, si kwa sababu hauuelewi uongozi wa majukumu, bali kwa sababu maagizo yenyewe ni magumu sana.
• Migogoro ya maagizo inaweza kuwa na maelezo ya kina na hata kuwa ya kimaoni. Njia ya kawaida ni kumruhusu jaji tofauti wa LLM atoe tuzo kwa LLM inayofundishwa, lakini majaji wenyewe wanaweza kukosea.
• Miundo huwa inajifunza njia za mkato zinazoleta tuzo kubwa, lakini hazina maana kwa matumizi halisi⁠(fungua katika dirisha jipya). Mfano wa kawaida ni kukataa kupita kiasi: miundo inaweza kujifunza kuongeza usalama kwa kukataa hata maombi yasiyo na madhara.

Tunabuni IH-Challenge, seti ya data ya mafunzo ya uimarishaji, ili kushughulikia kila moja ya mapungufu hayo. Tunazingatia kanuni zifuatazo:

• Shughuli ni rahisi kufuata maagizo
• Zinaweza kupimwa kwa njia ya lengo kwa hati rahisi ya Python
• Hakuna njia za mkato za kijuujuu zinazohakikisha zawadi kubwa katika shughuli zote

Kila kazi katika IH-Challenge kimsingi ni mazungumzo yenye jumbe zifuatazo:

• Ujumbe wa maelekezo kutoka kwa jukumu lenye mapendeleo makubwa, k.m. “Jibu ‘Ndiyo’ au ‘Hapana’ pekee”.
• Ujumbe wa maagizo kutoka kwa jukumu lenye mapendeleo ya chini, ambao unajaribu kuufanya muundo ukiuke maagizo katika ujumbe wa upendeleo wa juu.

Muundo unaofunzwa hutengeneza ujumbe unaofuata. Tunaandika kazi/mazingira ili iwezekane kukagua kwa njia ya kiprogramu ikiwa jibu la muundo linakidhi kizuizi cha kiwango cha juu.

Tunafundisha muundo kwenye IH‑Challenge na kutoa muundo wa ndani, ambao tunauita GPT‑5 Mini-R, ukiwa na maboresho yafuatayo: 

• Hufanya vizuri zaidi kwenye vigezo vya ufanisi wa utaratibu wa maagizo
• Utendaji ulioboreshwa hujumuisha majaribio ya uongozi wa mafundisho yaliyofanyika na ya wapinzani
• Hudumisha manufaa kwa ujumla, bila kuanguka katika kukataa kupita kiasi

Hiki ndicho kinachofanya mbinu hii kuvutia hasa kwa usalama: kwa kufundisha miundo moja kwa moja kutatua migongano ya maagizo kwa usahihi kwenye kazi za IH-challenge, tunapata maboresho ya IH yanayoweza kuhamishwa na kutumika kwa mashambulizi mapya na hali mpya.

Viwango thabiti zaidi vya maagizo huleta manufaa mengi ya usalama kwa wakati mmoja, ikiwemo katika uelekezaji salama na uimara wa upenyezaji wa madokezo.

Tunatathmini uelekezaji wa usalama kwa kuongeza vipimo vya usalama vinavyolenga kategoria mahususi kwenye dokezo la mfumo na kupima tabia kwenye Vigezo vya Ulinganishi vya Uzalishaji vya usalama vya OpenAI (seti ya mazungumzo yanayohusisha usalama yanayowakilisha ChatGPT katika uzalishaji).

Mfumo uliofunzwa na IH unaonyesha uboreshaji thabiti: ukiwa na vipimo vya usalama vilivyopo, unafikia viwango vya juu vya kukataa na kukamilisha kwa usalama katika kategoria zisizoruhusiwa, ikionyesha kuwa tabia thabiti ya uongozi wa mafundisho huifanya iwe bora katika kutatua migogoro wakati maombi yasiyo salama yanapotoka kwa maagizo yenye kipaumbele cha chini. Ikumbukwe kwamba uboreshaji huu hauleti upungufu kwa kiwango cha usaidizi (yaani, haupunguzi "manufaa" kwa kukataa tu kwa ujumla).

Viwango vya maagizo pia ni muhimu katika kupinga upenyezaji wa madokezo, wakati maagizo hasidi yanapachikwa katika matokeo ya zana. Tunatathmini muundo uliofunzwa kwa IH kwenye viwango viwili vya upenyezaji wa madokezo—kigezo cha kitaaluma cha CyberSecEval 2 na kigezo cha ndani cha OpenAI cha upenyezaji wa madokezo kinachojumuisha mashambulizi kama yale yaliyoonyeshwa kwenye toleo la zamani la ChatGPT Atlas⁠.

Ikilinganishwa na msingi, muundo wa GPT‑5 Mini-R uliofunzwa kwa IH unaboresha uimara wa upenyezaji wa madokezo kwenye vipimo vyote viwili na unaboresha kwa kiasi kikubwa utendaji kwenye tathmini yetu tuli ya ndani ya upenyezaji wa madokezo katika majaribio haya.

Kadri miundo inavyozidi kuwa ya kiwakala—uwezo wa kuingiliana na zana za nje, kusoma hati zisizoaminika, na kuchukua hatua duniani—uwezo wa kuweka kipaumbele kwa uthabiti wa maagizo yanayoaminika kuliko yasiyoaminika unakuwa sifa kuu ya usalama.

Kazi hii inaonyesha kuwa changamoto kadhaa za mafunzo ya uimara wa IH zinaweza kushughulikiwa kwa kubuni mazingira ya mafunzo yanayozingatia changamoto hizo. Ingawa seti yetu ya data ya IH-Challenge inaonekana rahisi, mifumo ya tabia ya IH hujifunza kutokana na mazingira haya ambayo hujumuisha hadi viwango vya uhalisia zaidi, ambavyo mara nyingi haviwezi kufaulu kwa njia inayolingana.

Kuimarisha ngazi ya ufuataji wa maagizo hakuboreshi tu uaminifu, bali pia hufungua faida nyingi za usalama na ulinzi kwa wakati mmoja—msingi unaozidi kuwa muhimu kadri mifumo ya AI inavyozidi kuwa na uwezo na kujitegemea zaidi.

Ili kuunga mkono utafiti zaidi katika eneo hili, tunatoa seti ya data ya IH‑Challenge hapa⁠(fungua katika dirisha jipya).