Líonraí néaracha a thuiscint trí chiorcaid thearca
Rinneamar samhlacha a oiliúint chun smaoineamh i gcéimeanna níos simplí, níos inrianaithe—ionas gur féidir linn tuiscint níos fearr a fháil ar an gcaoi a n-oibríonn siad.
Cumhachtaíonn líonraí néaracha na córais IS is cumasaí sa lá atá inniu ann, ach tá siad deacair fós a thuiscint. Ní scríobhaimid na samhlacha seo le treoracha follasacha céim ar chéim. Ina ionad sin, foghlaimíonn siad trí na billiúin nasc inmheánach, nó “meáchain”, a choigeartú go dtí go máistiríonn siad tasc. Dearaimid rialacha na hoiliúna, ach ní na hiompraíochtaí sonracha a thagann chun cinn, agus is é an toradh gréasán dlúth nascanna nach féidir le haon duine a dhíchódú go héasca.
De réir mar a éiríonn córais IS níos cumasaí agus a mbíonn tionchar fíorshaoil acu ar chinntí san eolaíocht, san oideachas agus sa chúram sláinte, tá sé riachtanach tuiscint a fháil ar an gcaoi a n-oibríonn siad. Tagraíonn intreoraitheacht do mhodhanna a chuidíonn linn a thuiscint cén fáth ar tháirg samhail aschur áirithe. Tá go leor bealaí ann ina bhféadfaimis é seo a bhaint amach.
Mar shampla, spreagtar samhlacha réasúnaíochta chun a gcuid oibre a mhíniú ar an mbealach chuig freagra deiridh. Baineann intreoraitheacht shlabhra smaointe leas as na mínithe seo chun monatóireacht a dhéanamh ar iompar na samhla. Tá sé seo úsáideach láithreach: is cosúil go bhfuil slabhraí smaointe samhlacha réasúnaíochta reatha faisnéiseach maidir le hiompraíochtaí imníocha amhail meabhlaireacht. Mar sin féin, is straitéis leochaileach é brath go hiomlán ar an airí seo, agus d’fhéadfadh sé sin titim as a chéile le himeacht ama.
Ar an taobh eile de, féachann intreoraitheacht mheicníoch, arb é fócas na hoibre seo í, le ríomhanna samhla a aisiompú agus a innealtóireacht go hiomlán. Go dtí seo níl sí chomh húsáideach láithreach, ach i bprionsabal d’fhéadfadh sí míniú níos iomláine a thairiscint ar iompar na samhla. Trí iarracht a dhéanamh iompar na samhla a mhíniú ag an leibhéal is gráinní, is féidir le hidiroraitheacht mheicníoch níos lú toimhdí a dhéanamh agus níos mó muiníne a thabhairt dúinn. Ach tá an bealach ó mhionsonraí íseal-leibhéil go mínithe ar iompraíochtaí casta i bhfad níos faide agus níos deacra.
Tacaíonn intreoraitheacht le roinnt cuspóirí tábhachtacha, mar shampla maoirseacht níos fearr a chumasú agus comharthaí luatha rabhaidh a sholáthar maidir le hiompar neamhshábháilte nó straitéiseach mí-ailínithe. Comhlánaíonn sí ár n-iarrachtaí eile ar shábháilteacht freisin, amhail maoirseacht inscálaithe, oiliúint naimhdeach agus red-teaming.
San obair seo, léirímid gur féidir linn samhlacha a oiliúint go minic ar bhealaí a fhágann go bhfuil siad níos éasca a intreorú. Feicimid ár gcuid oibre mar chomhlánú geallta ar anailís iarbhreathnaitheach ar líonraí dlútha.
Geall an-uaillmhianach é seo; tá bealach fada le dul ónár gcuid oibre go tuiscint iomlán ar iompraíochtaí casta ár samhlacha is cumhachtaí. Fós féin, i gcás iompraíochtaí simplí, feicimid go mbíonn ciorcaid bheaga dhícheangailte i samhlacha tearca a oileadh lenár modh atá intuigthe agus leordhóthanach chun an t-iompar a chur i gcrích. Tugann sé seo le fios go bhféadfadh bealach indéanta a bheith ann chun córais níos mó a oiliúint a bhfuil a meicníochtaí intuigthe againn.
Thosaigh obair roimhe seo ar intreoraitheacht mheicníoch ó líonraí dlútha, casta, agus rinne sí iarracht iad a dhícheangal. Sna líonraí seo, tá gach néarón aonair ceangailte le mílte néarón eile. Is cosúil go ndéanann formhór na néarón go leor feidhmeanna ar leith, rud a fhágann gur cosúil nach féidir iad a thuiscint.
Ach cad dá n-oileofaí líonraí néaracha dícheangailte, le i bhfad níos mó néarón, ach nach mbeadh ach cúpla dosaen nasc ag gach néarón? Ansin b’fhéidir go mbeadh an líonra a thiocfadh as níos simplí agus níos éasca a thuiscint. Is é seo geall taighde lárnach ár gcuid oibre.
Agus an prionsabal seo inár n-intinn, d’oileamar samhlacha teanga le hailtireacht an-chosúil le samhlacha teanga atá ann cheana amhail GPT‑2, le modhnú beag amháin: cuirimid iallach ar fhormhór ollmhór mheáchain na samhla a bheith ina nialais. Chuir sé seo srian ar an tsamhail gan ach fíorbheagán de na nascanna féideartha idir a néaróin a úsáid. Is athrú simplí é seo a mhaímid a dhícheanglaíonn ríomhanna inmheánacha na samhla go suntasach.
I ngnáthlíonraí néaracha dlútha, tá gach néarón ceangailte le gach néarón sa chéad chiseal eile. Inár samhlacha tearca, ní nascann gach néarón ach le cúpla néarón sa chéad chiseal eile. Tá súil againn go ndéanann sé seo na néaróin, agus an líonra ina iomláine, níos éasca le tuiscint.
Ba mhaith linn an méid a bhfuil ríomhanna ár samhlacha tearca dícheangailte a thomhas. Rinneamar breithniú ar iompraíochtaí simplí éagsúla samhla, agus sheiceálamar an bhféadfaimis na codanna den tsamhail atá freagrach as gach iompar a leithlisiú—ar a dtugaimid ciorcaid.
Chuireamar le chéile de láimh sraith de thascanna simplí algartamacha. I gcás gach ceann acu, ghearramar an tsamhail siar go dtí an ciorcad is lú atá fós in ann an tasc a dhéanamh, agus scrúdaíomar cé chomh simplí is atá an ciorcad sin. (Le haghaidh sonraí, féach ár bpáipéar(osclaíonn i bhfuinneog nua).) Fuaireamar amach, trí oiliúint a chur ar shamhlacha níos mó agus níos tearc, go bhféadfaimis samhlacha a bhí ag éirí níos cumasaí a tháirgeadh le ciorcaid a bhí ag éirí níos simplí.
Breacaimid intreoraitheacht i gcoinne cumais trasna samhlacha (is fearr an bun ar chlé). I gcás méid seasta samhla tearca, laghdaíonn méadú ar thearcacht—níos mó meáchain a chur ar nialas—an cumas ach méadaíonn sé an intreoraitheacht. Nuair a mhéadaítear méid na samhla, aistríonn an teorainn seo amach, rud a thugann le fios gur féidir linn samhlacha níos mó a thógáil atá cumasach agus intreoraithe araon.
Chun é seo a dhéanamh nithiúil, smaoinigh ar thasc ina gcaithfidh samhail a oileadh ar chód Python teaghrán a chomhlánú leis an gcineál ceart comhartha athfhriotail. I Python, caithfidh ‘hello’ críochnú le comhartha athfhriotail aonair, agus caithfidh “hello” críochnú le comhartha athfhriotail dúbailte. Is féidir leis an tsamhail é seo a réiteach trí chuimhneamh ar an gcineál comhartha athfhriotail a d’oscail an teaghrán agus é a atáirgeadh ag an deireadh.
Is cosúil go bhfuil ciorcaid dhícheangailte inár samhlacha is intreoraithe a chuireann i bhfeidhm go díreach an algartam sin.

Sampla de chiorcad i dtrasfhoirmitheoir tearc a thuarann ar cheart deireadh a chur le teaghrán le comhartha athfhriotail aonair nó dúbailte. Ní úsáideann an ciorcad seo ach cúig chainéal iarmharacha (na línte liatha ingearacha), dhá néarón MLP i gciseal 0, agus cainéal iarratais-eochrach airde amháin agus cainéal luacha amháin i gciseal 10. Déanann an tsamhail (1) comharthaí athfhriotail aonair a ionchódú i gcainéal iarmharach amháin agus comharthaí dúbailte i gceann eile; (2) úsáideann sí ciseal MLP chun é seo a thiontú ina chainéal amháin a bhraitheann aon chomhartha athfhriotail agus ceann eile a aicmíonn idir comharthaí aonair agus dúbailte; (3) úsáideann sí oibríocht airde chun neamhaird a dhéanamh ar théacschomharthaí eatramhacha, an comhartha athfhriotail roimhe sin a aimsiú, agus a chineál a chóipeáil chuig an téacschomhartha deiridh; agus (4) tuarann sí an comhartha athfhriotail deiridh comhoiriúnach.
Inár sainmhíniú, is leor na nascanna beachta a thaispeántar thuas chun an tasc a dhéanamh—má bhaintear an chuid eile den tsamhail, oibríonn an ciorcad beag seo fós. Tá siad riachtanach freisin—má scriostar an cúpla imeall seo, teipeann ar an tsamhail.
D’fhéachamar freisin ar roinnt iompraíochtaí níos casta. Tá sé níos deacra ár gciorcaid do na hiompraíochtaí seo (mar shampla ceangal athróige a thaispeántar thíos) a mhíniú go hiomlán. Fiú ansin, is féidir linn míniúcháin pháirteacha réasúnta simplí a bhaint amach atá tuarthach ar iompar na samhla.
Sampla eile de chiorcad, le níos lú sonraí. Chun cineál athróige darb ainm current a chinneadh, cóipeálann oibríocht airde amháin ainm na hathróige isteach sa téacschomhartha set() nuair a shainmhínítear é, agus níos déanaí cóipeálann oibríocht eile an cineál ón téacschomhartha set() isteach in úsáid ina dhiaidh sin den athróg, rud a ligeann don tsamhail an chéad téacschomhartha ceart eile a bhaint amach.
Is céim luath í an obair seo i dtreo sprice níos mó: ríomhanna samhla a dhéanamh níos éasca a thuiscint. Ach tá bealach fada fós le dul. Tá ár samhlacha tearca i bhfad níos lú ná samhlacha teorann, agus tá codanna móra dá ríomh fós gan intreorú.
Ansin, tá súil againn ár dteicnící a inscálú chuig samhlacha níos mó, agus níos mó d’iompar na samhlacha a mhíniú. Trí mhóitífeanna ciorcaid atá mar bhonn le réasúnaíocht níos casta i samhlacha tearca cumasacha a liostú, d’fhéadfaimis tuiscint a fhorbairt a chabhródh linn imscrúduithe ar shamhlacha teorann a dhíriú níos fearr.
Chun neamhéifeachtúlacht oiliúint samhlacha tearca a shárú, feicimid dhá bhealach chun cinn. Ceann amháin ná ciorcaid tearca a bhaint as samhlacha dlútha atá ann cheana, seachas samhlacha tearca a oiliúint ón tús. Tá samhlacha dlútha i bhfad níos éifeachtaí le himscaradh ná samhlacha tearca. Is é an bealach eile teicnící níos éifeachtaí a fhorbairt chun samhlacha a oiliúint ar mhaithe le hidiroraitheacht, rud a d’fhéadfadh a bheith níos éasca a chur i dtáirgeadh.
Tabhair faoi deara nach ráthaíocht ar bith iad ár dtorthaí anseo go leathnóidh an cur chuige seo chuig córais níos cumasaí, ach tá na torthaí luatha seo geallta. Is é ár gcuspóir leathnú de réir a chéile ar an méid de shamhail is féidir linn a intreorú go hiontaofa, agus uirlisí a thógáil a fhágann go mbeidh córais amach anseo níos éasca le hanailísiú, le dífhabhtú agus le meastóireacht.
Údair
Leo Gao, Achyuta Rajaram, Jacob Coxon, Soham V. Govande, Bowen Baker, Dan Mossing


