Hvernig játningar geta tryggt heiðarleika tungumálalíkana

Gervigreindarkerfi eru að verða sífellt hæfari, og við viljum skilja þau eins djúpt og mögulegt er—þar á meðal hvernig og hvers vegna þau komast að niðurstöðu. Stundum tekur líkan flýtileið eða hagræðir fyrir rangt markmið, en lokaniðurstaðan lítur samt rétt út. Ef við getum greint hvenær það gerist, getum við betur fylgst með innleiddum kerfum, bætt þjálfun og aukið traust á niðurstöðunum.

Rannsóknir OpenAI og annarra hafa sýnt að gervigreindarlíkön geta ofskynjað⁠, svindlað á umbunarkerfum eða verið óheiðarleg. Sem stendur sjáum við mest áhyggjufulla slæma hegðun, eins og ráðabrugg⁠(opnast í nýjum glugga), aðeins í álagsprófum og andstæðingslegu mati. En þegar líkön verða hæfari og sífellt sjálfstæðari, verða jafnvel sjaldgæfar tegundir misræmis afdrifaríkari, sem hvetur okkur til að fjárfesta í aðferðum sem hjálpa okkur að greina, skilja og draga úr þessum áhættum. 

Þessi vinna kannar eina slíka nálgun: þjálfun líkanna til að viðurkenna skýrt þegar þau taka þátt í óæskilegri hegðun—aðferð sem við köllum játningar. 

Játning er annað frálag, aðskilið frá aðalsvari líkansins til notandans. Aðalsvarið er metið út frá mörgum þáttum—réttmæti, stíl, hjálpsemi, samræmi, öryggi og fleira, og þessi fjölþættu merki eru notuð til að þjálfa líkön til að skila betri svörum. Játningin, aftur á móti, er metin og þjálfuð á aðeins einu: heiðarleika. Með því að nýta sér uppbyggingu skriftastóls, er ekkert sem líkanið segir í játningu sinni notað gegn því á meðan á þjálfun stendur. Ef líkanið viðurkennir heiðarlega að hafa hakkað próf, stundað sandbagging eða brotið gegn leiðbeiningum, þá eykur sú viðurkenning umbun þess frekar en að minnka hana. Markmiðið er að hvetja líkanið til að skýra áreiðanlega frá því sem það gerði í raun. 

Í prófunum okkar komumst við að því að játningaraðferðin bætir verulega sýnileika á slæmri hegðun líkans. Meðaltal yfir mat okkar sem er hannað til að framkalla slæma hegðun, sýnir að líkur á „rangri neikvæðni“ (þ.e. að líkanið fylgi ekki fyrirmælum og játi það síðan ekki) eru aðeins 4,4%.

Nákvæmni „sönnun á gildi hugmyndar“ játningarlíkans okkar á fjölda andstæðra gagnasafna. Niðurstöður eru flokkaðar sem fylgdu og játuðu ekki (jákvæð neikvæðni), fylgdu og játuðu (röng jákvæðnit), fylgdu ekki og játuðu ekki (röng neikvæðni), og fylgdu ekki og játuðu (rétt jákvæðni).

Játning er sjálfsskýrslugjöf líkansins um hversu vel það fylgdi bæði anda og bókstaf beinna og óbeinna leiðbeininga eða stefna sem því voru gefnar, og hvort það hafi verið einhver tilvik þar sem það „skautaði framhjá“ eða „hakkaði“, braut gegn stefnum, eða á einhvern hátt stóðst ekki væntingar. Í rannsóknum okkar komumst við að því að hægt er að þjálfa líkön til að vera hreinskilin í að greina frá eigin veikleikum. Við þjálfuðum útgáfu af GPT‑5 Thinking til að framleiða játningar og metum hana á fjölda álagsprófunargagnasetta utan dreifingar sem eru hönnuð til að kalla fram hegðun eins og að leggja á ráðin, hakk, brjóta gegn leiðbeiningum og ofskynjanir. Við fundum út að jafnvel þegar líkanið tekur þátt í þessari óæskilegu hegðun, er mjög líklegt að það játi hana á sig. Myndin hér að ofan sýnir að játningaraðferðin er almennt áhrifarík yfir fjölbreytt úrval gagnasafna og verkefna. 

Eftir samskipti milli notanda og líkans sem enda með svari frá líkaninu, er hægt að biðja um játningarskýrslu með því að senda líkaninu „kerfisskilaboð“ sem leiðbeina því um að veita slíka skýrslu. Skýrslan fjallar um síðasta svar líkansins og inniheldur (1) lista yfir allar beinar og óbeinar leiðbeiningar, takmarkanir og markmið sem þetta svar átti að uppfylla, (2) heiðarlega og hlutlæga greiningu á því hvort svarið uppfyllti í raun hvert af þessum markmiðum, og (3) lista yfir óvissu, tvíræðni eða „erfiðar dómgreindarákvarðanir“ sem líkanið mætti við að framleiða svarið. Á meðan á þjálfun stendur er játning metin af sérstöku umbunarlíkani sem metur eingöngu játninguna út frá því hversu vel markmiðin eru uppfyllt, nákvæmni samræmisgreiningar og umfangi óvissu. Þessar umbanir eru eingöngu beittar á frálag játninga og hafa aldrei áhrif á umbunina fyrir aðalsvarið. Þetta tryggir eiginleikann, sem fjallað var um hér að ofan, að ekkert sem líkanið segir í játningu getur skaðað (eða hjálpað) umbun þess fyrir aðalsvarið.

Kenningin á bak við játningar er einföld. Margar tegundir af óæskilegri hegðun líkansins koma fram vegna þess að við biðjum líkanið um að fínstilla fyrir mörg markmið í einu. Í styrkingarnámi sér líkanið kvaðningu, býr til svar og fær umbun. Með tímanum lærir það að búa til þær tegundir svara sem fá góðar einkunnir. Áskorunin er að umbunarmerkið þarf að sameina mörg mismunandi atriði á sama tíma: hversu rétt svarið er, hvort það sé hjálplegt, hvort það fylgi vöru- og stefnumörkunarskilmálum, hvort það uppfylli öryggisskilyrði, og hvort það passi við það sem notendur kjósa. Þegar þessi merki hafa samskipti geta þau óvart ýtt líkaninu í átt að hegðun sem við viljum ekki.

Til dæmis sýndi rannsókn okkar á ofskynjunum⁠ að sum gagnasöfn umbuna öruggri ágiskun meira en heiðarlegri viðurkenningu á óvissu. Rannsóknir okkar á smjaðri⁠ sýndu að líkön geta orðið of samvinnuþýð þegar valmerkið er of sterkt. Og verk⁠(opnast í nýjum glugga) frá öðrum hópum hafa sýnt að líkön geta „umbunarhakkað“—fundið glufur í þjálfunaruppsetningunni sem leyfa þeim að fá háa einkunn án þess að gera raunverulega það sem við ætluðum. Í sumum tilfellum geta þessar flýtileiðir alhæfst⁠(opnast í nýjum glugga) til enn skaðlegri hegðunar við innleiðingu.

Játningar forðast þetta vandamál með því að aðskilja markmiðin að fullu. Aðalsvarið heldur áfram að fínstillast fyrir alla venjulega þætti. Játningin byggir á einu: heiðarleika. Ekkert sem líkanið segir í játningunni er notað gegn því, og játningin hefur ekki áhrif á umbunina fyrir aðalsvarið. Það þýðir að jafnvel þótt líkanið blekki eða nýti sér styttri leiðir í upphaflegu frálagi sínu, hefur það samt hvata til að viðurkenna það í játningunni. Svona lítur þetta út í reynd: líkön eru tilbúin að viðurkenna slæma hegðun í játningunni, jafnvel þegar þau fela hana í aðalsvarinu. Og þegar játningar mistakast, er það venjulega vegna þess að líkanið er raunverulega ruglað—vegna þess að leiðbeiningarnar voru óljósar eða vegna þess að það áttaði sig ekki á að mistök höfðu verið gerð—frekar en að það væri viljandi að reyna að villa um fyrir. Mikilvægt er að fyrstu niðurstöður sýna að játningar haldist áhrifaríkar jafnvel þegar upprunalega svarið er myndað án nokkurs hugsanaferlis, sem bendir til þess að heiðarleiki játninga byggist ekki á sýnileika innri röksemdafærslu og gæti alhæfst yfir framtíðar líkanahögun.

Játningaþjálfun virkar jafnvel án raunverulegra merkimiða um reglufylgni. Með „raunverulegum gögnum“ meinum við endanlega, utanaðkomandi veitta merkingu sem gefur til kynna hvort líkanið hafi í raun fylgt fyrirmælum eða brotið gegn þeim. Í mörgum raunverulegum verkefnum eru þessi merki ekki tiltæk—ef við vissum með fullvissu að líkanið hefði brotið gegn reglu, gætum við beint refsað fyrir það brot frekar en að treysta á játningu. Í staðinn er líkanið umbunað fyrir að búa til skipulega útskýringu studda með sönnunargögnum á því sem það telur að það hafi gert. Greinin sýnir að heiðarleiki hefur tilhneigingu til að koma fram í þessari uppsetningu. Við hugsum að þetta sé vegna þess að það er almennt auðveldara fyrir líkanið að veita sannleiksríka frásögn studda sönnunargögnum en að búa til samhangandi tilbúna frásögn sem getur staðist ályktun. Þetta er lykilforsenda sem er könnuð í greininni, sem fjallar einnig um tilfelli þar sem játningar mistakast—röng neikvæðni og röng jákvæðni—og hvernig þau koma upp.

Greinin veitir fyrstu vísbendingar um að játningar virki, en ætti ekki að túlka sem óyggjandi sönnun. Þó að við notuðum frontier-líkan (GPT‑5 Thinking), voru tilraunir okkar takmarkaðar í umfangi, með tiltölulega litla útreikninga og gögn. Við erum spennt að færa þessa vinnu á áfram stig og sjá hvort heiðarleiki játninga muni halda áfram þegar við aukum umfang þjálfunar hennar.

Sem hluta af tilraunum okkar þjálfuðum við viljandi líkön gegn „hakkvænni“ umbunarsvörun sem reiknuð var út af veikara líkani. Þessi uppsetning átti við bæði aðalumbun og játningarumbun. Líkanið lærði að nýta sér veikt umbunarmerki: sýnileg nákvæmni þess (þegar metið af veiku líkani) batnaði, á meðan raunveruleg nákvæmni þess (þegar metið af sterkari matsaðila) minnkaði. 

Hins vegar, þrátt fyrir að játningarrásin hafi verið þjálfuð á sama veika merki, fór nákvæmni hennar í gagnstæða átt. Líkanið komst að því að besta leiðin til að hámarka umbun fyrir játningu var einfaldlega að viðurkenna þegar það hafði hakkað aðalumbunina. Játningar urðu nákvæmari með tímanum, jafnvel þegar aðalhegðunin breyttist.

Greinin⁠(opnast í nýjum glugga) inniheldur fleiri tilraunir og niðurstöður. Við bárum saman líkan sem var þjálfað með játningarrás við samanburðarlíkan sem var þjálfað á sama hátt en án játningarrásar. Við skoðuðum einnig tilvikin þar sem játningar mistókust. Næstum öll „mistökin“ áttu sér stað þegar líkanið var raunverulega ringlað—þegar leiðbeiningarnar voru óljósar eða þegar það einfaldlega áttaði sig ekki á að það hafði gert mistök. (Sjáðu dæmi um ranga neikvæðni⁠ hér að ofan.)

Játningar hafa sínar takmarkanir. Þær koma ekki í veg fyrir slæma hegðun; þær leiða hana í ljós. Aðalvirði þeirra er sem vöktunar- og greiningartæki, bæði á meðan á þjálfun stendur og við dreifingu. Játningar gegna svipuðu hlutverki og hugsanaþráðareftirlit⁠: bæði gera falin röksemdafærsluferli sýnilegri. Játningar einblína á hvort líkanið hafi brotið gegn leiðbeiningum; hugsanaþráður getur varpað ljósi á hvernig það komst þangað.

Þessi vinna er einnig sönnun á hugmyndafræði. Við höfum ekki þjálfað játningakerfi í stórum stíl, og nákvæmni játninga er enn ófullkomin. Það er meira verk fyrir höndum til að gera nálgunina áreiðanlegri, öflugri og víðtækari yfir líkanfjölskyldur og verkefni.

Þessi vinna fellur innan víðtækari nálgunar okkar á öryggi gervigreindar⁠. Játningar eru einn þáttur í stærri stafla sem inniheldur ígrundaða samræmingu⁠, hugsanaþráðareftirlit⁠, leiðbeiningarstigveldi⁠, og fleira. Engin ein aðferð er nægileg; markmiðið er marglaga kerfi af eftirlits- og gagnsæistólum sem styrkja hvert annað. Játningar geta hjálpað við að greina vandamál í hegðun líkans á meðan á þjálfun og mati stendur, sem og við vöktun á meðan á útfærslu stendur. Játningar einar og sér leysa ekki vandamálið við að samræma margar víddir. En með því að búa til „sannleiksserum“ stillingu þar sem líkön einblína eingöngu á heiðarleika, bætist við dýrmætt verkfæri í verkfærakistuna okkar til að bæta heiðarleika og öryggi á öllum sviðum.

Eftir því sem líkön verða öflugri og eru notuð í aðstæðum þar sem mikið er í húfi, þurfum við betri verkfæri til að skilja hvað þau eru að gera og hvers vegna. Játningar eru ekki fullkomin lausn, en þær bæta þýðingarmiklu lagi við gagnsæi okkar og eftirlitskerfi. Í framtíðarvinnu áætlum við að auka umfang játninga og para þær við viðbótar gagnsæis- og öryggistækni, þar á meðal vöktun hugsanaþráðar og ígrundandi samræmingu, til að ná frekari framförum í að tryggja að líkönin okkar hlýði trúlega öllum leiðbeiningum og stefnum (eins og forskrift líkans⁠(opnast í nýjum glugga) okkar), og skýri sannarlega frá aðgerðum sínum.