Juhiste hierarhia parandamine tipptasemel suurtes keelemudelites

Tehisintellektisüsteemid saavad sageli juhiseid mitmest allikast. Nende hulka võivad kuuluda süsteemisõnumite ohutuspoliitikad, arendajate tootejuhised, kasutajate päringud ja veebist leitud teave. Mudelite treenimine nende allikate hulgast kõige usaldusväärsemate juhiste usaldusväärseks prioritiseerimiseks on turvalise kasutuselevõtu kriitiline osa.

Paljud tehisintellekti ohutuse ja töökindluse probleemid võivad tekkida siis, kui see prioritiseerimine lakkab töötamast. Mudelid võivad saada päringuid keelatud sisu kohta, katseid avaldada privaatset teavet või veebiandmetesse peidetud viipade süstimise rünnakuid. Ebasobival käitumisel igas neist stsenaariumidest on sama algpõhjus: mudel võib järgida valet juhist.

Kui need juhised on omavahel vastuolus, peab mudel otsustama, milliseid neist prioritiseerida. Kui see peab ebausaldusväärset juhist autoriteetseks, võib mudel käituda viisil, mis rikub poliitikaid või arendaja ja kasutaja kavatsusi.

Näitame, et õigesti kavandatud juhiste hierarhia ülesanded, mis treenivad mudeleid juhiseid nende usaldustaseme järgi prioritiseerima, parandavad mitmeid reaalmaailma ohutusparameetreid. Nende ülesannete peal treenitud mudelid reageerivad paremini süsteemiviipade ohutusnõuetele (parandades ohutuse suunatavust) ja on vastupidavamad tööriistade väljunditesse peidetud viipade süstimise rünnakutele.

Konfliktide lahendamiseks on OpenAI mudelid treenitud järgima selget juhiste hierarhiat:

Süsteem > arendaja > kasutaja > tööriist

Kõrgema prioriteediga juhised on usaldusväärsemad. Mudel peaks järgima madalama prioriteediga juhiseid ainult siis, kui need ei lähe vastuollu kõrgema prioriteediga piirangutega. Need põhimõtted on välja toodud OpenAI mudeli spetsifikatsioonis⁠(avaneb uues aknas).

Näiteks kui süsteemisõnum sisaldab ohutuspoliitikat ja kasutaja palub mudelil seda rikkuda, peaks mudel keelduma. Kui tööriista väljund sisaldab pahatahtlikke juhiseid, peaks mudel neid eirama, mitte käsitlema neid käskudena.

Selle õigesti tegemine on ohutuse, turvalisuse ja töökindluse aluseks.

Kinnistav õppimine sobib loomulikult juhiste hierarhia õpetamiseks. Saame luua vastuoluliste juhistega vestlusi, paluda mudelil vastata ja premeerida teda siis, kui ta järgib õiget juhist.

Oleme tuvastanud kolm lõksu selle soovituse naiivsel rakendamisel:

• Juhiste järgimise tõrked võivad toimida ka juhiste hierarhia tõrgetena: mudel ei pruugi juhiste konflikti lahendada mitte seetõttu, et ta ei mõista rollide hierarhiat, vaid seetõttu, et juhised ise on liiga keerulised.
• Juhiste konfliktid võivad olla nüansirikkad ja isegi subjektiivsed. Levinud lähenemisviis on lasta eraldiseisval suurel keelemudelil hinnata ja määrata treenitavale keelemudelile tasusid, kuid hindajad ise on samuti ekslikud.
• Mudelid kipuvad ära õppima otseteid, mis toovad kaasa suure tasu, kuid on praktikas kasutud⁠(avaneb uues aknas). Klassikaline näide on ülemäärane keeldumine: mudelid võivad õppida ohutust maksimeerima, keeldudes isegi ohututest päringutest.

Loome IH-Challenge’i, kinnistava õppimise treeningandmestiku, et tegeleda iga nimetatud lõksuga. Järgime järgmisi põhimõtteid:

• Ülesanded on juhiste järgimise mõttes lihtsad
• Need on lihtsa Pythoni skriptiga objektiivselt hinnatavad
• Ei ole olemas lihtsaid otseteid, mis tagaksid kõrge tasu kõikide ülesannete lõikes

Iga ülesanne IH-Challenge'is on olemuselt vestlus järgmiste sõnumitega:

• Juhisesõnum kõrgete õigustega rollilt, nt „Vasta ainult ‘Jah’ või ‘Ei’“.
• Juhisesõnum madalamate õigustega rollilt, mis püüab panna mudelit rikkuma kõrgemate õigustega sõnumis toodud juhiseid.

Treenitav mudel genereerib järgmise sõnumi. Kirjutame ülesanded/keskkonnad nii, et oleks võimalik programmiliselt kontrollida, kas mudeli vastus vastab kõrgema taseme piirangule.

Treenime mudelit IH‑Challenge'i peal ja loome sisemise mudeli, mida nimetame GPT‑5 Mini-R-iks, millel on järgmised täiustused: 

• Toimib paremini juhiste hierarhia jõudlustestides
• Paranenud jõudlus laieneb ka treeningust kõrvale jäetud ja võistlevatele juhiste hierarhia testidele
• Säilitab üldise kasulikkuse, ilma et see taanduks liigseks keeldumiseks

See teebki sellise lähenemise ohutuse seisukohalt eriti ahvatlevaks: treenides mudeleid otse juhiste konflikte IH-Challenge'i ülesannetes õigesti lahendama, saame juhiste hierarhia täiustused, mis laienevad uutele rünnakutele ja uutele olukordadele.

Tugevam juhiste hierarhia pakub korraga mitmeid ohutuseeliseid, sealhulgas ohutuse suunatavuses ja vastupidavuses viipade süstimisele.

Hindame ohutuse suunatavust, lisades süsteemi viibale kategooriaspetsiifilised ohutusnõuded ja mõõtes käitumist OpenAI ohutuse tootestandardites (tootmises oleva ChatGPT esinduslik kogum ohutustundlikke vestlusi).

IH-ga treenitud mudel näitab järjepidevat paranemist: ohutusnõuete olemasolul saavutab see keelatud kategooriate lõikes kõrgema keeldumiste ja ohutute lõpetamiste määra, mis näitab, et tugevam juhiste hierarhia käitumine muudab selle konfliktide lahendamisel paremaks, kui ebaturvalised päringud tulevad madalama prioriteediga juhistest. Märkimisväärne on see, et selle paranemisega ei kaasne vastavat kasulikkuse määra langust (st see ei muutu üldiselt rohkem keeldudes lihtsalt vähem „kasulikuks“).

Juhiste hierarhia on samuti keskse tähtsusega viipade süstimisele vastupanu osutamisel, kui pahatahtlikud juhised on peidetud tööriistade väljunditesse. Hindame IH-ga treenitud mudelit kahe viipade süstimise jõudlustesti põhjal—akadeemiline test CyberSecEval 2 ja OpenAI sisemine viipade süstimise test, mis koosneb rünnakutest, mis sarnanevad ChatGPT Atlase⁠ vanemal versioonil demonstreeritud rünnakule.

Võrreldes baasmudeliga parandab IH-ga treenitud mudel GPT‑5 Mini-R viipade süstimisele vastupidavust mõlemas testis ja parandab nendes katsetes oluliselt jõudlust meie sisemises staatilises viipade süstimise hindamises.

Kuna mudelid muutuvad agentsemaks—kutsudes välja tööriistu, lugedes ebausaldusväärseid dokumente ja tehes maailmas toiminguid—muutub võime usaldusväärseid juhiseid ebausaldusväärsete ees järjepidevalt prioritiseerida põhiliseks ohutusomaduseks.

See töö näitab, et juhiste hierarhia vastupidavuse treenimise mitmetest lõksudest on võimalik üle saada, kujundades treeningkeskkonnad, mis neid lõkse käsitlevad. Kuigi meie IH-Challenge'i andmestik tundub lihtne, laieneb mudelite poolt nendest keskkondadest õpitud juhiste hierarhia käitumine realistlikumatele, sageli objektiivselt mittehinnatavatele testidele.

Juhiste hierarhia tugevdamine mitte ainult ei paranda töökindlust, vaid avab korraga mitmeid ohutuse ja turvalisuse eeliseid—see on vundament, mis muutub üha olulisemaks, mida võimekamaks ja autonoomsemaks tehisintellektisüsteemid arenevad.

Et toetada edasisi uuringuid selles valdkonnas, avaldame IH-Challenge'i andmestiku siin⁠(avaneb uues aknas).