Físeán brostaithe de GPT‑5.6 Sol ag iarraidh puzail i dtagarmharc ARC-IGS-3 a réiteach, leis an gcreat oifigiúil (ar chlé) agus lenár gcreat Responses API (ar dheis), a choinníonn an réasúnaíocht agus a chumasaíonn comhdhlúthú. Ar chlár ceann riain an chluiche seo(osclaíonn i bhfuinneog nua), ní réitíonn aon samhail cheannródaíoch leibhéal ar bith tar éis an chéad cheann. Lenár gcreat, réitíonn GPT‑5.6 Sol na sé cinn ar fad.
Nuair a chonaiceamar scóir ísle GPT‑5.6 Sol ar thagarmharc ARC-IGS-3(osclaíonn i bhfuinneog nua) den chéad uair, bhí mearbhall orainn.
Tá fadhbanna oscailte seanbhunaithe sa mhatamaitic réitithe ag GPT‑5.6 Sol, amhail tuairimíocht an chlúdaigh dhúbailte timthrialla(osclaíonn i bhfuinneog nua), agus tá cluichí amhail Pokémon FireRed sáraithe aige. Ach ar ARC-IGS-3, tagarmharc de chluichí puzail 2T, ní bhfuair GPT‑5.6 Sol ach 7.8%, agus is ar éigean a bhí GPT‑5.5 in ann na cluichí a imirt ar chor ar bith, agus gan aige ach 0.4%.
An raibh cluichí puzail 2T thar a bheith deacair dár samhlacha? Nó an raibh rud éigin eile ar siúl?
Is annamh a thomhaiseann tagarmharcanna samhlacha AI astu féin. Tomhaiseann siad freisin roghanna nach bhfuil chomh feiceálach maidir le socruithe API, dearadh creata agus leideanna. I gcás ARC-IGS-3, fuaireamar amach gur mhéadaigh dhá shocrú API a úsáidimid in ChatGPT agus Codex—réasúnaíocht choinnithe agus comhdhlúthú—na scóir faoi thrí agus gur laghdaigh siad líon na téacschomharthaí aschuir sé oiread ar an tacar tascanna poiblí.
Leis an gcreat oifigiúil, fuair GPT‑5.6 Sol 13.3% ar thacar poiblí ARC-IGS-3. Le réasúnaíocht choinnithe agus comhdhlúthú, fuair sé 38.3%. Tomhaiseann na scóir Éifeachtúlacht Choibhneasta Gníomhartha Daonna (RHAE(osclaíonn i bhfuinneog nua))—méadracht a chuireann feidhmíocht samhla i gcomparáid le bonnlíne dhaonna. Bunaithe ar logaí oifigiúla imeartha(osclaíonn i bhfuinneog nua), measaimid gur ghnóthaigh an gnáth-thástálaí daonna 48%. Ní insítear do na samhlacha conas a scórálfar iad, agus ní fheiceann siad a scór le linn na tástála—ní fhilleann gníomhartha ach léiriú téacs ar gach fráma agus an leibhéal ar a bhfuil siad.
Is tagarmharc é ARC-IGS-3 atá ceaptha lena thomhas cé chomh maith agus a fhoghlaimíonn agus a réasúnaíonn gníomhairí AI. Déanann gníomhairí cluichí neamhaithnidiúla 2T a iniúchadh agus oibríonn siad amach conas a fheidhmíonn siad gan treoracha follasacha. Is féidir leat 25 cluiche taispeána a imirt ag arcprize.org/tasks(osclaíonn i bhfuinneog nua).
Úsáideann ARC-IGS-3 creat cineálach d'aon ghnó, gan uirlisí ná gnéithe speisialta. Ba í réasúnaíocht ARC go ndéanann creat simplí laigí samhla níos feiceálaí agus comparáidí idir samhlacha níos cothroime. Os a choinne sin, déanann forbróirí tráchtála creataí a bharrfheabhsú do ghnéithe agus do shaintréithe gach samhla.
I gcúrsaí cluichí, sháraigh GPT‑5.6 Sol Pokémon FireRed le creat radhairc amháin (arna shruthú ag GPT_Plays_Pokemon(osclaíonn i bhfuinneog nua)), Slay the Spire trí úsáid ríomhaire Codex (arna shruthú ag EpochAI(osclaíonn i bhfuinneog nua)), agus na chéad chéimeanna de Baba Is You (arna roinnt ag Piotr Migdał & Piotr Grabowski(osclaíonn i bhfuinneog nua)). Cad a bhí chomh difriúil sin faoi ARC-IGS-3?
Taispeánann Ethan Mollick GPT‑5.6 Sol(osclaíonn i bhfuinneog nua) in Codex ag sárú dúshlán laethúil randamach in Slay the Spire 2, cluiche a eisíodh tar éis scoithphointe eolais GPT‑5.6 Sol.
Spreagtha ag anailís ARC ar laigí GPT‑5.5(osclaíonn i bhfuinneog nua), scrúdaíomar cuid d'iarrachtaí GPT‑5.6 Sol. Cosúil le ARC, ba chosúil dúinne nach raibh an tsamhail ró-éirimiúil. Chaith sí tamall fada ag machnamh ar gach gníomh agus ba dheacair di dul chun cinn a dhéanamh.
Ach nuair a rinneamar iniúchadh níos doimhne, fuaireamar amach nár bhain cuid mhór de mhearbhall na samhla leis an tsamhail féin, ach le socruithe sa chreat.
Ar dtús, thugamar faoi deara gur scriosadh an réasúnaíocht phríobháideach ar fad tar éis gach gnímh sa chluiche. Dá bhrí sin, iarradh ar GPT‑5.6 Sol an cluiche a oibriú amach as an nua le gach gníomh, gan cuimhne aige ar a chuid smaointe roimhe sin. Bhí an tsamhail fós in ann taifead de na bearta roimhe sin agus nótaí gairide a ghabh leo a fheiceáil, ach ní raibh sí in ann na pleananna, na léargais ná na smaointe ba chúis leo a fheiceáil.
Ar an dara dul síos, chonaiceamar gur úsáid an creat fuinneog theascála rollach, rud a d'fhág nach raibh gníomhartha níos sine le feiceáil de réir mar a d'fhás an stair. Mar sin, ní hamháin nach raibh GPT‑5.6 Sol in ann cuimhneamh ar a chuid smaointe roimhe sin, bhí cuimhne a ghníomhartha roimhe sin á cailleadh aige freisin.
Le chéile, mhínigh an dá ghné seo den chreat—réasúnaíocht a scriosadh agus teascáil rollach—cén fáth a raibh sé deacair ar GPT‑5.6 Sol foghlaim le himeacht ama.
Cuirtear oiliúint ar ár samhlacha chun smaoineamh trí theachtaireachtaí réasúnaíochta príobháideacha sula n-aschuireann siad freagraí nó glaonna uirlisí. Coinnítear na teachtaireachtaí smaointeoireachta príobháideacha seo mar chuid de stair an chomhrá. Má éiríonn comhrá rófhada, déanaimid achoimre air agus leanaimid ar aghaidh.
Seo mar a chuirtear oiliúint ar ár samhlacha, agus mar a chuirtear i bhfeidhm iad in ChatGPT agus Codex freisin. Chun teacht níos fearr lenár gcóras táirgthe, chuireamar creat ARC-IGS-3 i bhfeidhm lenár Responses API(osclaíonn i bhfuinneog nua). Éascaíonn ár API bainistiú comhthéacs: i gcás GPT‑5.6, coinnítear an réasúnaíocht go huathoibríoch idir glaonna uirlisí agus sealanna nuair a chuirtear aitheantas an fhreagra roimhe seo ar aghaidh.
Agus an réasúnaíocht coinnithe, thugamar dhá athrú mhóra faoi deara. Ar dtús, chaith GPT‑5.6 Sol níos lú ama ag smaoineamh roimh gach gníomh, mar nár ghá dó an cluiche a thuiscint as an nua gach seal a thuilleadh. Ar an dara dul síos, nuair a bhí sé in ann cuimhneamh ar a chuid smaointe roimhe sin, bhí GPT‑5.6 Sol i bhfad níos fearr ag foghlaim le himeacht ama agus ag úsáid straitéisí comhleanúnacha.
Tháinig an chéad fheabhsú eile nuair a chuireamar comhdhlúthú(osclaíonn i bhfuinneog nua), socrú eile in Responses API, in áit na teascála rollaí.
Téann creat ARC-IGS-3 i ngleic le teorainneacha comhthéacs trí theascáil rollach. Nuair a sháraíonn comhthéacs an chomhrá 175,000 carachtar, scriostar na teachtaireachtaí is sine.
Tá dhá mhíbhuntáiste ag baint le teascáil rollach. Ar dtús, cailleann an tsamhail breathnuithe agus gníomhartha níos luaithe. Ar an dara dul síos, caitheann sí cuid mhór de na tascanna ag feidhmiú le fuinneog chomhthéacs níos iomláine, rud a d'fhéadfadh dochar beag a dhéanamh don fheidhmíocht.
Nuair a chumasaíomar comhdhlúthú ar ARC-IGS-3, bhí GPT‑5.6 Sol níos fearr in ann an méid a bhí foghlamtha aige faoi gach cluiche a chaomhnú thar rití níos faide, agus ghnóthaigh sé scór níos airde le níos lú téacschomharthaí aschuir.
Chun éifeacht na réasúnaíochta coinnithe agus an comhdhlúthú a léiriú, seo beochan d'fhuinneog chomhthéacs 175K GPT‑5.6 Sol agus é ag réiteach sraith puzal ARC-IGS-3 le gach creat.
Léiríonn an dá cholún láir an chaoi a n-úsáideann gach creat fuinneog chomhthéacs na samhla ar bhealach difriúil. Agus cuimhne níos fearr aige ar a stair, déanann GPT‑5.6 Sol níos lú machnaimh in aghaidh gach gnímh agus téann sé ar aghaidh i bhfad níos tapúla. Nóta: úsáideann ár gcur chun feidhme teorainn de 175,000 téacschomhartha seachas carachtar, ach bíonn an toradh an-chosúil sa deireadh, ós rud é gur eangacha gníomhartha iad formhór mór an téacs agus go ndéantar iad a théacschomharthaigh ag cóimheas 1:1 lenár dtéacschomharthóir.
Le chéile, ligeann réasúnaíocht choinnithe agus comhdhlúthú do GPT‑5.6 Sol (Max) scór tuairim is trí oiread níos airde a bhaint amach le sé oiread níos lú téacschomharthaí aschuir.
Tá súil againn go meabhróidh na turgnaimh seo gur annamh a thomhaiseann measúnuithe samhlacha astu féin—tomhaiseann siad freisin cnuasach roghanna nach bhfuil chomh feiceálach maidir le socruithe API, dearadh creata agus leideanna. Ní hé seo an chéad uair a chuir scóir ísle ar thagarmharc poiblí iontas orainn, sular fuaireamar amach go raibh creat cineálach á úsáid ag an riteoir measúnaithe a chaith teachtaireachtaí réasúnaíochta i leataobh.
Más forbróir API thú atá ag iarraidh an fheidhmíocht is fearr a bhaint amach, molaimid na socruithe céanna a úsáidimid inár dtáirgí féin:
- Úsáid ár Responses API, seachas ár API críochnuithe comhráite oidhreachta
- Coinnigh an réasúnaíocht
- Úsáid comhdhlúthú
Agus má tá samhlacha á gcur i gcomparáid agat, molaimid brath ar mheasúnuithe a úsáideann na socruithe thuas, arb iad is fearr a léiríonn úsáid iarbhír in ChatGPT agus Codex.
Táimid buíoch de ARC as na blianta d'obair chruthaitheach a rinne siad ar mheasúnú IGS, agus as an anailís a spreag sinn chun scrúdú níos géire a dhéanamh anseo.
Más mian leat do chumas féin a thástáil in aghaidh samhlacha ceannródaíocha, bain triail as na cluichí poiblí ag arcprize.org/tasks(osclaíonn i bhfuinneog nua).
