Af hverju tungumálalíkön fá ofskynjanir

Við hjá OpenAI erum að vinna hörðum höndum að því að gera gervigreindarkerfi okkar gagnlegri og áreiðanlegri. Jafnvel þegar tungumálalíkön verða hæfari er ein áskorun enn þrálátlega erfið að leysa að fullu: ofskynjanir. Með þessu meinum við tilvik þar sem líkan býr til svar sem er ekki satt. Í nýju rannsóknargreininni okkar⁠(opnast í nýjum glugga) er því haldið fram að tungumálalíkön fái ofskynjanir vegna þess að hefðbundnar þjálfunar- og matsaðferðir umbuni ágiskanir frekar en að viðurkenna óvissu.

ChatGPT fær einnig ofskynjanir. GPT‑5 hefur marktækt færri ofskynjanir, sérstaklega þegar kemur að rökhugsun⁠, en þær koma samt fyrir. Ofskynjanir eru áfram grundvallaráskorun fyrir öll stór tungumálalíkön, en við erum að vinna hörðum höndum að því að draga enn frekar úr þeim.

Ofskynjanir eru trúverðugar en rangar fullyrðingar sem tungumálalíkön búa til. Þau geta birst á óvæntan hátt, jafnvel fyrir spurningar sem virðast einfaldar. Þegar við spurðum til dæmis útbreitt spjallmenni um titil doktorsritgerðar eftir Adam Tauman Kalai (höfund þessarar greinar), gaf það af öryggi þrjú mismunandi svör — ekkert þeirra var rétt. Þegar við spurðum um afmælisdaginn hans, voru gefnar upp þrjár mismunandi dagsetningar, allar jafn rangar. 

Ofskynjanir halda áfram að hluta til vegna þess að núverandi matsaðferðir skapa ranga hvata. Þó að mötin sjálf valdi ekki beint ofskynjunum mæla flest möt frammistöðu líkans þannig að hvatt er til ágiskana frekar en heiðarleika um óvissu.

Hugsaðu um þetta eins og fjölvalsspurningarpróf. Ef þú veist ekki svarið en giskar út í bláinn gætirðu verið heppin(n) og haft rétt fyrir þér. Að skilja það eftir autt tryggir núll. Á sama hátt, þegar líkön eru eingöngu metin út frá nákvæmni, hlutfalli spurninga sem þau svara nákvæmlega rétt, eru þau hvött til að giska frekar en að segja „ég veit það ekki“.

Sem annað dæmi, segjum að tungumálalíkan sé spurt um afmæli einhvers en viti það ekki. Ef það giskar á „10. september“ eru líkurnar 1 á móti 365 að það hafi rétt fyrir sér. Að segja „ég veit það ekki“ tryggir núll stig. Yfir þúsundir prófspurninga virðist gisklíkanið skora hærra á stigatöflum en vandað líkan sem viðurkennir óvissu.

Fyrir spurningar þar sem aðeins eitt „rétt svar“ er til má hugsa sér þrjá flokka svara: nákvæm svör, villur og ekkert svar þar sem líkanið hættir ekki á ágiskun. Að svara ekki er hluti af auðmýkt, einu af grunngildum OpenAI⁠. Flest stigatöflur forgangsraða og raða líkönum eftir nákvæmni, en villur eru verri en að sleppa að svara. Líkanslýsing⁠(opnast í nýjum glugga) okkar segir að það sé betra að gefa til kynna óvissu eða biðja um skýringar heldur en að veita upplýsingar af öryggi sem gætu verið rangar. 

Skoðaðu til dæmis SimpleQA matið sem dæmi úr GPT5 kerfiskortinu⁠(opnast í nýjum glugga).

Hvað varðar nákvæmni, þá stendur eldri OpenAI o4-mini líkanið sig aðeins betur. Hins vegar er villutíðni þess (þ.e. tíðni ofskynjana) marktækt hærri. Að giska á úthugsaðan hátt þegar óvissa er til staðar bætir nákvæmni en eykur villur og ofskynjanir. 

Þegar meðaltal niðurstaðna úr tugum matsferla er reiknað velja flest viðmið nákvæmnimælikvarðann, en það felur í sér falska tvíhyggju milli rétts og rangs. Í einföldum matsaðferðum eins og SimpleQA ná sum líkön næstum 100% nákvæmni og útrýma þar með ofskynjunum. Í erfiðara mati og raunverulegri notkun er nákvæmnin hins vegar undir 100% vegna þess að sumum spurningum er ekki hægt að svara af ýmsum ástæðum, svo sem vegna ótiltækra upplýsinga, takmarkaðrar hugsunarhæfni lítilla líkana eða óvissu sem þarf að skýra.

Engu að síður eru stigatöflur sem einblína eingöngu á nákvæmni ráðandi á topplistum og líkanaspjöldum og hvetja forritara til að smíða líkön sem giska frekar en að halda aftur af sér. Það er ein ástæða þess að jafnvel þegar líkön verða fullkomnari geta þau samt fengið ofskynjanir og gefið röng svör af öryggi í stað þess að viðurkenna óvissu.

Það er einföld leið til að laga þetta. Refsaðu meira fyrir örugg mistök en fyrir óvissu og gefðu hluta af viðurkenningu fyrir viðeigandi tjáningu á óvissu. Þessi hugmynd er ekki ný. Sum stöðluð próf hafa lengi notað útgáfur af neikvæðri einkunnagjöf fyrir röng svör eða hlutaeinkunn fyrir að skilja spurningar eftir auðar til að draga úr blindri ágiskun. Nokkrir rannsóknarhópar hafa einnig kannað mat sem tekur tillit til óvissu og kvörðunar.

Sjónarmið okkar er öðruvísi. Það er ekki nóg að bæta við nokkrum nýjum hliðarprófum þar sem tillit er tekið til óvissu. Uppfæra þarf mikið notuð, nákvæmnisbundin matstæki þannig að stigagjöf þeirra dragi úr ágiskunum. Ef aðalstigatöflurnar halda áfram að verðlauna ágiskanir sem heppnast halda líkönin áfram að læra að giska. Með því að laga stigatöflur er hægt að auka notkun á aðferðum til að draga úr ofskynjunum, bæði nýlega þróuðum og þeim sem byggðar eru á fyrri rannsóknum.

Við höfum talað um hvers vegna ofskynjanir eru svo erfiðar að losna við, en hvaðan koma þessar mjög sértæku staðreyndavillur upphaflega? Eftir allt saman sýna stór forþjálfuð líkön sjaldan aðrar tegundir villna eins og stafsetningarvillur og sviga sem ekki passa saman. Munurinn snýst um hvers konar mynstur eru í gögnunum.

Tungumálalíkön læra fyrst með forþjálfun, ferli þar sem spáð er fyrir um næsta orð í gríðarlegu magni af texta. Ólíkt hefðbundnum vélnámsvandamálum eru engin „satt/ósatt“ merki tengd við hverja fullyrðingu. Líkanið sér aðeins jákvæð dæmi um reiprennandi tungumál og þarf að áætla heildardreifinguna. 

Það er tvöfalt erfitt að greina á milli gildra fullyrðinga og ógildra þegar þú hefur engin dæmi merkt sem ógild. En jafnvel með merkimiðum eru sumar villur óhjákvæmilegar. Til að sjá hvers vegna skaltu skoða einfaldari samlíkingu. Í myndgreiningu, ef milljónir katta- og hundamynda eru merktar sem “köttur” eða “hundur,” geta reiknirit lært að flokka þær áreiðanlega. En ímyndaðu þér að merkja hverja mynd af gæludýri með afmælisdegi þess í staðinn. Þar sem afmælisdagar eru í raun handahófskenndir myndi þetta verkefni alltaf valda villum, sama hversu háþróað reikniritið er.

Sama meginregla gildir í forþjálfun. Stafsetning og svigar fylgja samræmdu mynstri þannig að villur þar hverfa með aukinni stærð. En handahófskenndar lágtíðnistaðreyndir, eins og afmælisdagur gæludýrs, er ekki hægt að spá fyrir um út frá mynstrum einum saman og því leiða þær til ofskynjana. Greining okkar útskýrir hvaða tegundir ofskynjana ættu að koma upp við spá um næsta orð. Helst ættu frekari stig eftir forþjálfun að fjarlægja þau, en það tekst ekki að fullu af ástæðum sem lýst er í hlutanum hér á undan. 

Við vonum að tölfræðilega sjónarhornið í grein okkar skýri eðli ofskynjana og leiðrétti algengan misskilning:

• Fullyrðing: Ofskynjanir verða útrýmdar með því að bæta nákvæmni, því 100% nákvæmt líkan fær aldrei ofskynjanir. Niðurstaða: Nákvæmni nær aldrei 100% vegna þess að óháð stærð líkansins, leitar- og rökhugsunargetu eru sumar spurningar úr raunveruleikanum í eðli sínu ósvaranlegar. 
• Fullyrðing: Ofskynjanir eru óhjákvæmilegar.
  Niðurstaða: Þær eru það ekki, vegna þess að tungumálalíkön geta sleppt því að svara þegar óvissa ríkir.
• Fullyrðing: Til að forðast ofskynjanir þarf greindarstig sem eingöngu er hægt að ná með stærri líkönum.
  Niðurstaða: Það getur verið auðveldara fyrir lítið líkan að þekkja sín eigin takmörk. Þegar beðið er um að svara spurningu um maórí-tungumálið getur lítið líkan sem kann ekkert maórí einfaldlega sagt „ég veit það ekki“ á meðan líkan sem kann eitthvað maórí þarf að meta hversu öruggt það er. Eins og fjallað er um í greininni krefst það að vera „kvarðaður“ mun minni útreikninga en að vera nákvæmur.
• Fullyrðing: Ofskynjanir eru dularfullir gallar í nútím tungumálalíkönum.
  Niðurstaða: Við skiljum tölfræðilegu ferlana sem valda því að ofskynjanir koma fram og eru verðlaunaðar í mati.
• Fullyrðing: Til að mæla ofskynjanir þurfum við bara gott ofskynjunarmat.
  Niðurstaða: Ofskynjunarmat hefur verið birt. Hins vegar hefur gott mat á ofskynjunum lítil áhrif gegn hundruðum hefðbundinna nákvæmnismata sem refsa auðmýkt og verðlauna ágiskanir. Í staðinn þarf að endurskoða alla helstu matsmælikvarða til að verðlauna það þegar óvissa er tjáð.

Nýjustu líkönin okkar hafa lægri tíðni ofskynjana og við höldum áfram hörðum höndum að því að minnka enn frekar tíðni villna sem tungumálalíkönin okkar setja fram af öryggi.