Përmirësimi i hierarkisë së udhëzimeve në LLM avangardë

Sistemet AI shpesh marrin udhëzime nga burime të shumta. Këto mund të përfshijnë politika sigurie nga mesazhet e sistemit, udhëzime për produktin nga zhvilluesit, kërkesa nga përdoruesit dhe informacion të gjetur online. Trajnimi i modeleve për t’u dhënë me besueshmëri përparësi udhëzimeve më të besuara midis këtyre burimeve është një pjesë kyçe e vendosjes së sigurt.

Shumë çështje të sigurisë dhe besueshmërisë së AI mund të lindin kur ky prioritizim dështon. Modele mund të marrin kërkesa për përmbajtje të ndaluar, përpjekje për të zbuluar informacion privat, ose sulme të injektimit të kërkesave të integruara në të dhëna online. Mossjellja siç duhet në secilin prej këtyre skenarëve ka të njëjtin shkak rrënjësor: model mund të ndjekë udhëzimin e gabuar.

Kur këto udhëzime bien në kundërshtim, modeli duhet të vendosë se cilat duhet të kenë përparësi. Nëse e trajton një udhëzim të pabesueshëm si autoritativ, modeli mund të sillet në mënyra që shkelin politikat ose qëllimet e zhvilluesit dhe përdoruesit.

Ne tregojmë se detyrat e hierarkisë së udhëzimeve të dizajnuara siç duhet, të cilat trajnojnë modelet të prioritizojnë udhëzimet sipas nivelit të tyre të besueshmërisë, përmirësojnë disa aspekte të sigurisë në botën reale. Modelet e trajnuara në këto detyra bëhen më të ndjeshme ndaj specifikimeve të sigurisë në kërkesat e sistemit (duke përmirësuar drejtueshmërinë e sigurisë) dhe më të qëndrueshme ndaj sulmeve të injektim i kërkesave të përfshira në rezultatet e mjeteve.

Për të trajtuar konfliktet, modelet e OpenAI janë trajnuar të ndjekin një hierarki të qartë udhëzimesh:

Sistemi > zhvilluesi > përdoruesi > mjeti

Udhëzimet me prioritet më të lartë janë më të besueshme. Modeli duhet të ndjekë udhëzimet me përparësi më të ulët vetëm kur ato nuk bien ndesh me kufizimet me përparësi më të lartë. Këto parime përshkruhen në specifikim modeli OpenAI⁠(hapet në një dritare të re).

Për shembull, nëse një mesazh sistemi përfshin një politikë sigurie dhe një përdorues i kërkon modelit ta shkelë atë, modeli duhet të refuzojë. Nëse një output i një mjeti përmban udhëzime keqdashëse, modeli duhet t’i injorojë ato në vend që t’i trajtojë si komanda.

Ta bësh këtë siç duhet është themelore për sigurinë, mbrojtjen dhe besueshmërinë.

Trajnimi përforcues është një përshtatje natyrshme për të mësuar hierarkinë e udhëzimeve. Ne mund të gjenerojmë biseda me udhëzime konfliktuale, t’i bëjmë një kërkesë modelit që të përgjigjet dhe ta shpërblejmë kur ndjek udhëzimin e saktë.

Kemi identifikuar tre gracka të zbatimit naiv të asaj recete:

• Dështimet në ndjekjen e udhëzimeve mund të shërbejnë edhe si dështime të hierarkisë së udhëzimeve: model mund të dështojë të zgjidhë një konflikt udhëzimesh, jo sepse nuk e kupton hierarkinë e roleve, por sepse vetë udhëzimet janë shumë të ndërlikuara.
• Konfliktet e udhëzimeve mund të jenë të nuancuara dhe madje subjektive. Një qasje e zakonshme është të lihet një gjyqtar i veçantë LLM të caktojë shpërblime për LLM-në që po trajnohet, por vetë gjyqtarët janë të gabueshëm.
• Modelet priren të mësojnë shkurtore që rezultojnë në shpërblim të lartë, por janë të padobishme në praktikë⁠(hapet në një dritare të re). Shembulli klasik është mbirefuzimi: modelet mund të mësojnë të maksimizojnë sigurinë duke refuzuar edhe kërkesa të padëmshme.

Ne e dizajnojmë IH-Challenge, një dataset trajnimi për trajnim përforcues, për të adresuar secilën prej atyre kurtheve. Ne i përmbahemi parimeve të mëposhtme:

• Detyrat janë të thjeshta në zbatim të udhëzimeve
• Ato janë të vlerësueshme në mënyrë objektive me një skript të thjeshtë Python
• Nuk ka shkurtore të parëndësishme që garantojnë shpërblim të lartë në të gjitha detyrat

Çdo detyrë në IH-Challenge është në thelb një bisedë me mesazhet e mëposhtme:

• Një mesazh udhëzues nga një rol me privilegje të larta, p.sh. “Përgjigju vetëm ‘Po’ ose ‘Jo’”.
• Një mesazh udhëzimi nga një rol me privilegj më të ulët, i cili përpiqet ta bëjë modelin të shkelë udhëzimet në mesazhin me privilegj më të lartë.

Modeli që po trajnohet gjeneron mesazhin tjetër. Ne i shkruajmë detyrat/mjediset në mënyrë që të jetë e mundur të kontrollohet në mënyrë programatike nëse përgjigjja e model plotëson kufizimin e nivelit më të lartë.

Ne trajnojmë një model mbi IH‑Challenge dhe prodhojmë një model të brendshëm, të cilin e quajmë GPT‑5 Mini-R, me përmirësimet e mëposhtme: 

• Ka performancë më të mirë në standardet e krahasimit të hierarkisë së udhëzimeve
• Performanca e përmirësuar përgjithësohet në testet held‑out dhe kundërshtare të hierarkisë së udhëzimeve
• Ruajnë dobishmërinë e përgjithshme, pa u shembur në refuzime të tepërta

Kjo është ajo që e bën qasjen veçanërisht bindëse për sigurinë: duke trajnuar drejtpërdrejt modelet që të zgjidhin saktë konfliktet e udhëzimeve në detyrat IH-challenge, ne marrim përmirësime IH që përgjithësohen në sulme të reja dhe situata të reja.

Një hierarki më e fortë e udhëzimeve sjell njëherësh përfitime të shumta sigurie, përfshirë në manovrimin e sigurisë dhe qëndrueshmërinë ndaj injektimit të kërkesave.

Ne vlerësojmë drejtueshmërinë e sigurisë duke shtuar specifikime të sigurisë për kategori të caktuara në kërkesën e sistemit dhe duke matur sjelljen në Standardet e Prodhimit të Sigurisë të OpenAI (një grup bisedash të ndjeshme ndaj sigurisë që përfaqësojnë ChatGPT në prodhim).

Modeli i trajnuar me IH tregon një përmirësim të qëndrueshëm: me specifikimin e sigurisë të pranishëm, ai arrin norma më të larta refuzimi dhe përfundimi të sigurt nëpër kategori të ndaluara, duke treguar se sjellja më e fortë e hierarkisë së udhëzimeve e bën atë më të mirë në zgjidhjen e konflikteve kur kërkesat e pasigurta vijnë nga udhëzime me prioritet më të ulët. Veçanërisht, ky përmirësim nuk shoqërohet me një ulje përkatëse të shkallës së dobishmërisë (i.e., nuk po bëhet më pak “i dobishëm” thjesht duke refuzuar më shumë në përgjithësi).

Hierarkia e udhëzimeve është gjithashtu qendrore në rezistimin ndaj injektimit të kërkesave, kur udhëzime keqdashëse janë të integruara në rezultatet e mjeteve. Ne e vlerësojmë modelin e trajnuar me IH në dy standarde të injektimit të kërkesave — një standard akademik CyberSecEval 2 dhe një standard të brendshëm të OpenAI për injektimin e kërkesave që përbëhet nga sulme si ai i demonstruar në një version më të vjetër të ChatGPT Atlas⁠.

Në krahasim me bazën, modeli GPT‑5 Mini-R i trajnuar me IH përmirëson qëndrueshmërinë ndaj injektim i kërkesave në të dy standardet dhe përmirëson ndjeshëm performancën në vlerësimin tonë të brendshëm statik të injektim i kërkesave gjatë këtyre eksperimenteve.

Ndërsa modelë bëhen më agjentike — duke thirrur mjete, duke lexuar dokumente të pabesueshme dhe duke ndërmarrë veprime në botë — aftësia për t’i dhënë përparësi në mënyrë të qëndrueshme udhëzimeve të besueshme mbi ato të pabesueshme bëhet një veti thelbësore e sigurisë.

Kjo punë tregon se disa gabime të zakonshme të trajnimit të qëndrueshmërisë IH mund të shmangen duke projektuar mjedise trajnimi që i adresojnë ato. Edhe pse grupi ynë i të dhënave IH-Challenge duket i thjeshtë, modelet e sjelljes IH që mësojnë nga këto mjedise përgjithësohen në standarde krahasimi më realiste, shpesh jo të vlerësueshme në mënyrë objektive.

Forcimi i hierarkisë së udhëzimeve jo vetëm që përmirëson besueshmërinë, por zhbllokon njëherësh përfitime të shumta në siguri dhe mbrojtje — një bazë që bëhet gjithnjë e më e rëndësishme ndërsa sistemet e AI-së bëhen më të afta dhe autonome.

Për të mbështetur kërkime të mëtejshme në këtë fushë, po publikojmë setin e të dhënave IH‑Challenge këtu⁠(hapet në një dritare të re).