Coincheapa a bhaint as GPT‑4

Ní thuigimid faoi láthair conas ciall a bhaint as an ngníomhaíocht néarach laistigh de shamhlacha teanga. Inniu, táimid ag roinnt modhanna feabhsaithe chun líon mór “gnéithe” a aimsiú—patrúin ghníomhaíochta a bhfuil súil againn atá inléirmhínithe ag daoine. Scálaíonn ár modhanna níos fearr ná an obair atá ann cheana, agus úsáidimid iad chun 16 milliún gné a aimsiú in GPT‑4. Táimid ag roinnt páipéir⁠(osclaíonn i bhfuinneog nua), cód⁠(osclaíonn i bhfuinneog nua), agus léirshamhluithe gnéithe⁠(osclaíonn i bhfuinneog nua) leis an bpobal taighde chun tuilleadh taiscéalaíochta a chothú.

Murab ionann agus formhór chruthuithe an duine, ní thuigimid i ndáiríre conas a oibríonn líonraí néaracha go hinmheánach. Mar shampla, is féidir le hinnealtóirí gluaisteáin a dhearadh, a mheas agus a dheisiú go díreach bunaithe ar shonraíochtaí a gcomhpháirteanna, rud a chinntíonn sábháilteacht agus feidhmíocht. Ní dheartar líonraí néaracha go díreach, áfach; ina ionad sin dearann muid na halgartaim a chuireann oiliúint orthu. Ní thuigtear na líonraí a eascraíonn as seo go maith agus ní féidir iad a mhiondealú go héasca ina bpáirteanna inaitheanta. Ciallaíonn sé sin nach féidir linn réasúnú a dhéanamh faoi shábháilteacht AI ar an mbealach céanna a dhéanaimid faoi rud cosúil le sábháilteacht gluaisteán.

Chun líonraí néaracha a thuiscint agus a léirmhíniú, ní mór dúinn ar dtús bloic thógála úsáideacha a aimsiú do ríomhanna néaracha. Ar an drochuair, gníomhaíonn na gníomhachtuithe néaracha laistigh de shamhail teanga le patrúin dothuartha, agus is cosúil go léiríonn siad go leor coincheap ag an am céanna. Gníomhaíonn siad go dlúth freisin, rud a chiallaíonn go mbíonn gach gníomhachtú ag lámhach ar gach ionchur i gcónaí. Ach tá coincheapa an fhíorshaoil an-tanaí—i gcomhthéacs ar bith ar leith, ní bhíonn ach codán beag de na coincheapa uile ábhartha. Spreagann sé seo úsáid uathchódóirí tanaí, modh chun dornán “gnéithe” sa líonra néarach a aithint atá tábhachtach chun aon aschur ar leith a tháirgeadh, ar aon dul leis an tacar beag coincheap a d’fhéadfadh a bheith i gcuimhne ag duine agus é ag déanamh réasúnaíochta faoi chás. Léiríonn a ngnéithe patrúin ghníomhachtaithe thanaí a ailíníonn go nádúrtha le coincheapa atá éasca do dhaoine a thuiscint, fiú gan dreasachtaí díreacha don inléirmhínitheacht.

Mar sin féin, tá dúshláin thromchúiseacha fós ann maidir le huathchódóirí tanaí a thraenáil. Léiríonn samhlacha móra teanga líon ollmhór coincheap, agus b’fhéidir go gcaithfidh ár n-uathchódóirí a bheith chomh mór céanna chun teacht gar do chlúdach iomlán na gcoincheap i samhail teorainn. Is dúshlán é líon mór gnéithe tanaí a fhoghlaim, agus níor léiríodh go scálaíonn obair roimhe seo go maith.

D’fhorbraíomar modheolaíochtaí nua den chéad scoth a ligeann dúinn ár n-uathchódóirí tanaí a scálú go deicheanna milliún gnéithe ar shamhail AI teorainn. Fuaireamar go léiríonn ár modheolaíocht scálú mín intuartha, le torthaí scála níos fearr ná teicnící roimhe seo. Tugaimid isteach freisin roinnt méadrachtaí nua chun cáilíocht gnéithe a mheas.

D’úsáideamar ár n-oideas chun éagsúlacht uathchódóirí a thraenáil ar ghníomhachtuithe GPT‑2 small agus GPT‑4, lena n-áirítear uathchódóir 16 milliún gné ar GPT‑4. Chun inléirmhínitheacht na ngnéithe a sheiceáil, déanaimid gné ar leith a shamhlú trí cháipéisí a thaispeáint ina ngníomhaíonn sí. Seo cuid de na gnéithe inléirmhínithe a fuaireamar:

Fuaireamar go leor gnéithe spéisiúla eile, ar féidir leat brabhsáil anseo⁠(osclaíonn i bhfuinneog nua).

Táimid ar bís go méadóidh inléirmhínitheacht iontaofacht agus inrialaitheacht samhlacha sa deireadh. Mar sin féin, is obair luath í seo fós agus tá go leor teorainneacha aici:

• Cosúil le hobair roimhe seo, tá go leor de na gnéithe a aimsíodh fós deacair a léirmhíniú, agus gníomhaíonn go leor acu gan phatrún soiléir nó léiríonn siad gníomhachtuithe fánacha nach mbaineann leis an gcoincheap is cosúil a ionchódaíonn siad de ghnáth. Ina theannta sin, níl bealaí maithe againn chun bailíocht na léirmhínithe a sheiceáil.
• Ní ghabhann an t-uathchódóir tanaí iompar uile na samhla bunaidh. Faoi láthair, bíonn feidhmíocht atá comhionann le samhail a traenáladh le thart ar 10x níos lú ríomha nuair a chuirtear gníomhachtuithe GPT‑4 tríd an uathchódóir tanaí. Chun coincheapa i LLManna teorainn a mhapáil go hiomlán, b’fhéidir go mbeadh orainn scálú go billiúin nó trilliúin gnéithe, rud a bheadh dúshlánach fiú lenár dteicnící scálaithe feabhsaithe.
• Is féidir le huathchódóirí tanaí gnéithe a aimsiú ag pointe amháin sa tsamhail, ach níl ansin ach céim amháin i dtreo léirmhíniú na samhla. Tá i bhfad níos mó oibre de dhíth chun tuiscint a fháil ar conas a ríomhann an tsamhail na gnéithe sin agus conas a úsáidtear na gnéithe sin níos faide síos sa chuid eile den tsamhail.

Cé go bhfuil taighde ar uathchódóirí tanaí spreagúil, tá bóthar fada romhainn fós agus go leor dúshlán gan réiteach ann. Sa ghearrthéarma, tá súil againn gur féidir leis na gnéithe a d’aimsíomar a bheith úsáideach go praiticiúil chun monatóireacht agus stiúradh a dhéanamh ar iompraíochtaí samhlacha teanga agus tá sé beartaithe againn é seo a thástáil inár samhlacha teorainn. Sa deireadh thiar, tá súil againn go dtabharfaidh inléirmhínitheacht bealaí nua dúinn lá éigin chun réasúnú a dhéanamh faoi shábháilteacht agus stóinseacht samhlacha, agus chun ár muinín i samhlacha cumhachtacha AI a mhéadú go suntasach trí dhearbhuithe láidre a thabhairt faoina n-iompar.

Inniu, táimid ag roinnt páipéir⁠(osclaíonn i bhfuinneog nua) a mhíníonn ár dturgnaimh agus ár modhanna, rud a bhfuil súil againn a fhágfaidh go mbeidh sé níos éasca do thaighdeoirí uathchódóirí a thraenáil ar scála. Tá sraith iomlán uathchódóirí do GPT‑2 small á scaoileadh againn, mar aon le cód⁠(osclaíonn i bhfuinneog nua) chun iad a úsáid, agus an léirshamhlóir gnéithe⁠(osclaíonn i bhfuinneog nua) chun tuiscint a fháil ar a bhféadfadh gnéithe GPT‑2 agus GPT‑4 freagairt dóibh.