Að bæta leiðbeiningarstigveldi í framarlegum LLM-líkönum

Gervigreindarkerfi fá oft leiðbeiningar frá mörgum aðilum. Þetta getur falið í sér öryggisstefnur úr kerfisskilaboðum, leiðbeiningar um vörur frá þróunaraðilum, beiðnir frá notendum og upplýsingar sem finnast á netinu. Að þjálfa líkön til að forgangsraða á áreiðanlegan hátt þeim leiðbeiningum sem mest er treyst meðal þessara heimilda er lykilþáttur í öruggri innleiðingu.

Mörg öryggis- og áreiðanleikavandamál gervigreindar geta komið upp þegar þessi forgangsröðun brestur. Líkön geta fengið beiðnir um óheimilt efni, tilraunir til að afhjúpa persónuupplýsingar eða kvaðningarvörpunarárásir sem eru felldar inn í gögn á netinu. Að hegða sér óviðeigandi í hverjum af þessum aðstæðum á sér sömu rótarástæðu: líkanið gæti fylgt röngum fyrirmælum.

Þegar þessar leiðbeiningar stangast á þarf líkanið að ákveða hverjar þeirra eigi að hafa forgang. Ef líkanið meðhöndlar ótrausta leiðbeiningu sem áreiðanlega, gæti það hagað sér á þann hátt að það brjóti gegn stefnum eða ásetningi þróunaraðila og notanda.

Við sýnum fram á að rétt hönnuð verkefni um leiðbeiningarstigveldi, sem þjálfa líkön til að forgangsraða leiðbeiningum eftir trauststigi þeirra, bæta nokkra öryggiseiginleika í raunverulegum aðstæðum. Líkön sem eru þjálfuð á þessum verkefnum verða móttækilegri fyrir öryggisforskriftum í kerfiskvaðningum (sem bætir stýranleika öryggis) og þolnari gagnvart kvaðningarvörpunarárásum sem eru felldar inn í frálag verkfæra.

Til að takast á við árekstra eru líkön OpenAI þjálfuð til að fylgja skýru leiðbeiningarstigveldi:

Kerfi > forritari > notandi > verkfæri

Leiðbeiningum með hærri forgangi er treyst meira. Líkanið ætti aðeins að fylgja fyrirmælum með lægri forgangi þegar þau stangast ekki á við takmarkanir með hærri forgangi. Þessar meginreglur eru settar fram í OpenAI-líkanslýsing⁠(opnast í nýjum glugga).

Til dæmis, ef kerfisskilaboð innihalda öryggisstefnu og notandi biður líkanið um að brjóta gegn henni, ætti líkanið að hafna. Ef frálag verkfæris inniheldur illgjarnar leiðbeiningar ætti líkanið að hunsa þær frekar en að líta á þær sem skipanir.

Að hafa þetta rétt er undirstaða öryggis, öryggismála og áreiðanleika.

Styrkingarnám hentar náttúrulega til að kenna leiðbeiningarstigveldið. Við getum búið til samtöl með leiðbeiningum sem stangast á, beitt kvaðningu á líkanið til að svara og umbunað því þegar það fylgir réttri leiðbeiningu.

Við höfum greint þrjár gildrur sem fylgja því að beita þeirri forskrift án mikillar umhugsunar:

• Misheppnuð eftirfylgni við leiðbeiningar getur einnig verið misheppnun í leiðbeiningarstigveldi: líkanið gæti ekki leyst úr árekstri milli leiðbeininga, ekki vegna þess að það skilur ekki stigveldi hlutverka, heldur vegna þess að leiðbeiningarnar sjálfar eru of flóknar.
• Árekstrar milli leiðbeininga geta verið blæbrigðaríkir og jafnvel huglægir. Algeng nálgun er að láta sérstakan LLM-dómara úthluta umbunum til LLM sem er í þjálfun, en dómarar sjálfir eru ekki óskeikulir.
• Líkön hafa tilhneigingu til að læra flýtileiðir sem skila mikilli umbun, en eru gagnslausar í reynd⁠(opnast í nýjum glugga). Klassíska dæmið er ofsynjun: líkön geta lært að hámarka öryggi með því að neita jafnvel meinlausum beiðnum.

Við hönnum IH-Challenge, þjálfunargagnasafn fyrir styrkingarnám, til að takast á við hvern þessara annmarka. Við fylgjum eftirfarandi meginreglum:

• Verkefni eru einföld og fylgja fyrirmælum
• Þau eru hlutlægt metanleg með einfaldri Python-forskrift
• Það eru engar einfaldar flýtileiðir sem tryggja mikla umbun yfir öll verkefni

Hvert verkefni í IH-Challenge er í rauninni samtal með eftirfarandi skilaboðum:

• Leiðbeiningaskilaboð frá hlutverki með háar heimildir, t.d. „Svaraðu aðeins með „já“ eða „nei“.
• Leiðbeiningaskilaboð frá hlutverki með lægri forréttindi, sem reynir að fá líkanið til að brjóta gegn leiðbeiningunum í skilaboðunum með hærri forréttindi.

Líkanið sem er í þjálfun býr til næstu skilaboð. Við skrifum verkefnin/umhverfin þannig að hægt sé að athuga með forritun hvort svar líkansins uppfylli takmörkunina á hærra stigi.

Við þjálfum líkan á IH‑Challenge og búum til innra líkan, sem við köllum GPT‑5 Mini-R, með eftirfarandi endurbótum: 

• Stendur sig betur á leiðbeiningarstigveldisviðmiðum
• Bætt frammistaða alhæfist yfir á halda úti og fjandsamlegar prófanir á leiðbeiningarstigveldi
• Viðheldur heildarnytsemi, án þess að detta í ofsynjun

Þetta er það sem gerir nálgunina sérstaklega sannfærandi fyrir öryggi: með því að þjálfa líkön beint til að leysa árekstra í leiðbeiningum rétt á IH-Challenge verkefnum, fáum við IH-endurbætur sem alhæfast yfir á nýjar árásir og nýjar aðstæður.

Öflugara leiðbeiningarstigveldi skilar mörgum öryggisávinningum í einu, þar á meðal í öryggisstýranleika og seiglu gegn kvaðningarvörpun.

Við metum öryggisstýranleika með því að bæta flokkssértækum öryggisforskriftum við kerfiskvaðninguna og mæla hegðun á öryggisviðmiðum OpenAI (sett af öryggisviðkvæmum samtölum sem eru dæmigerð fyrir ChatGPT í framleiðslu).

IH-þjálfaða líkanið sýnir samræmd framför: með öryggisforskriftinni til staðar nær það hærra synjunar- og öruggum lokunarhlutföllum þvert á óleyfilega flokka, sem bendir til þess að sterkari hegðun í leiðbeiningarstigveldi geri það betra í að leysa árekstra þegar óöruggar beiðnir koma frá leiðbeiningum með lægri forgangi. Athygli vekur að þessi bæting fylgir ekki samsvarandi lækkun á hjálpleikahlutfalli (þ.e. það er ekki að verða síður „hjálplegt“ með því einu að hafna oftar í heildina).

Leiðbeiningastigveldi er einnig mikilvægt til að standast kvaðningarvörpun, þegar illgjarnar leiðbeiningar eru felldar inn í úttak verkfæra. Við metum IH-þjálfaða líkanið á tveimur kvaðningarvörpunarviðmiðum—fræðilegu viðmiði CyberSecEval 2 og innra kvaðningarvörpunarviðmiði OpenAI sem inniheldur árásir eins og þá sem var sýnd á eldri útgáfu af ChatGPT Atlas⁠.

Miðað við grunnlínuna bætir IH-trained GPT‑5 Mini-R líkanið viðnámsþol gegn kvaðningarvörpun á báðum viðmiðum og bætir verulega frammistöðu í innra, kyrrstæðu mati okkar á kvaðningarvörpun í þessum tilraunum.

Eftir því sem líkön verða fulltrúar sem kalla meira á verkfæri, lesa óáreiðanleg skjöl og grípa til aðgerða í heiminum verður hæfileikinn til að forgangsraða áreiðanlegum leiðbeiningum fram yfir óáreiðanlegar á stöðugan hátt að kjarnaöryggiseiginleika.

Þessi vinna sýnir að hægt er að yfirstíga nokkrar gildrur IH-seigluþjálfunar með því að hanna þjálfunarumhverfi sem taka á þeim gildrum. Þótt IH-Challenge gagnasafnið okkar virðist einfalt, alhæfist það sem IH-hegðunarlíkönin læra af þessum umhverfum yfir á raunhæfari, oft ekki hlutlægt metanleg viðmið.

Að styrkja leiðbeiningastigveldi bætir ekki aðeins áreiðanleika, heldur opnar einnig fyrir margvíslegan ávinning í öryggi og vernd í einu—grunn sem verður sífellt mikilvægari eftir því sem gervigreindarkerfi verða hæfari og sjálfstæðari.

Til að styðja frekari rannsóknir á þessu sviði erum við að gefa út IH‑Challenge gagnasafnið hér⁠(opnast í nýjum glugga).