Il-qawwa tat-tagħlim kontinwu

L-intelliġenza artifiċjali ġenerali (AGI) għandha taqbeż lill-bnedmin fil-biċċa l-kbira tax-xogħol b’valur ekonomiku. Ninsab ħerqana nara lill-AGI tgħin lis-soċjetà umana b’dawn il-modi:

1. Tawtomatizza kompletament jew tnaqqas b’mod sinifikanti l-isforzi umani fuq kompiti ripetittivi u mhux innovattivi. Fi kliem ieħor, l-AGI għandha żżid drastikament il-produttività tal-bniedem.
2. Tħaffef ħafna l-iskoperta ta’ skoperti xjentifiċi ġodda, inkluż iżda mhux limitat għall-faċilitazzjoni tal-proċess tat-teħid ta’ deċiżjonijiet tal-bniedem billi tipprovdi analiżijiet u informazzjoni addizzjonali.
3. Tifhem u tinteraġixxi mad-dinja fiżika b’mod effettiv, effiċjenti u sigur.

Matul l-ewwel 2.5 snin tiegħi f’OpenAI, ħdimt fit-tim tar-Robotika fuq idea moonshot: ridna ngħallmu id waħda robotika, bħal ta’ bniedem, issolvi l-kubu ta’ Rubik. Kienet esperjenza eċċitanti immens, ta’ sfida, u emozzjonali. Aħna solvejna⁠ l-isfida bl-apprendiment profond ta' tisħiħ (RL), ammonti tal-ġenn ta’ randomizzazzjoni tad-dominju, u mingħajr data ta’ taħriġ mid-dinja reali. Aktar importanti minn hekk, irbaħna l-isfida bħala tim.

Mis-simulazzjoni u t-taħriġ bl-RL sal-perċezzjoni tal-vista u l-firmware tal-hardware, ikkollaborajna b’mod tant qrib u koerenti. Kien esperiment mill-aqwa u matul dak iż-żmien, spiss ħsibt fil-kamp ta’ distorsjoni tar-realtà⁠(jinfetaħ f’tieqa ġdida) ta’ Steve Jobs: meta temmen f’xi ħaġa tant bis-saħħa u tibqa’ timbuttaha b’tant persistenza, b’xi mod tista’ tagħmel l-impossibbli possibbli.

Mill-bidu tal-2021, bdejt immexxi t-tim tal-AI Applikata għar-Riċerka. Il-ġestjoni ta’ tim tippreżenta sett differenti ta’ sfidi u teħtieġ bidliet fl-istil tax-xogħol. Ninsab l-aktar kburija b’diversi proġetti relatati mas-sigurtà tal-mudelli tal-lingwa fi ħdan l-AI Applikata:

1. Iddisinjajna u bnejna sett ta’ data ta’ evalwazzjoni u kompiti biex nivvalutaw it-tendenza ta’ mudelli tal-lingwa mħarrġa minn qabel li jiġġeneraw kontenut mimli mibegħda, sesswali, jew vjolenti.
2. Ħloqna tassonomija dettaljata u bnejna klassifikatur b’saħħtu biex nidentifikaw kontenut mhux mixtieq⁠ kif ukoll ir-raġuni għaliex il-kontenut mhuwiex xieraq.
3. Qed naħdmu fuq diversi tekniki biex il-mudell ikun inqas probabbli li jiġġenera outputs mhux siguri.

Hekk kif it-tim tal-AI Applikata qed jipprattika l-aħjar mod kif jintużaw tekniki tal-AI fuq quddiem nett, bħal mudelli kbar tal-lingwa mħarrġa minn qabel, naraw kemm huma qawwija u utli għal kompiti tad-dinja reali. Aħna wkoll konxji tal-importanza li dawn it-tekniki jitqiegħdu fis-seħħ b’mod sigur, kif enfasizzat fil-Karta tagħna⁠.

Il-mudelli attwali ta’ apprendiment profond mhumiex perfetti. Huma mħarrġa b’ammont ġigantesk ta’ data maħluqa mill-bnedmin (eż. fuq l-Internet, ikkurata, u fil-letteratura) u inevitabbilment jassorbu ħafna difetti u preġudizzji li ilhom jeżistu fis-soċjetà tagħna. Pereżempju, meta DALL·E intalbet turi infermier(a), kienet tiġġenera biss karattri nisa, jew għal professur, kienet tiġġenera biss nies bojod. Il-mudell jaqbad preġudizzji fl-istatistika tad-dinja reali jew preġudizzji fid-data tat-taħriġ tagħna.

Kelli motivazzjoni nfassal metodu biex innaqqas dan it-tip ta’ preġudizzju soċjali u nevalwa kemm hu effiċjenti l-metodu. Mat-tim, iddisinjajna pipeline biex innaqqsu tali preġudizzju kif ukoll workflow biex inwettqu evalwazzjoni b’bniedem fiċ-ċirku. It-tnaqqis tal-preġudizzju soċjali mhuwiex problema faċli, għax jidher f’ħafna aspetti ta’ ħajjitna u xi drabi jista’ jkun diffiċli tindunaha. Iżda ninsab kuntenta li t-tim ta’ DALL·E jieħu l-problema bis-serjetà u jaġixxi fi stadju bikri ħafna. Dak li għandna bħalissa huwa biss bidu u se nibqgħu nagħmlu progress. Ninsab kburija naħdem f’dan il-qasam u ferħana nara kif, pass pass, qed nagħmlu l-AI moderna aktar sigura u aħjar.

Nemmen fil-qawwa tat-tagħlim u qatt mhu tard wisq biex titgħallem. Li nżomm il-blog personali tiegħi huwa mod tajjeb biex inżomm din il-kurżità ħajja u nitgħallem regolarment dwar progress ġdid fil-komunità tal-apprendiment profond. Inħeġġeġ ukoll lit-tim tiegħi jkompli jitgħallem, kemm jekk relatat jew mhux relatat mal-proġetti attwali tagħhom. Ideat f’suġġetti jew oqsma differenti ħafna drabi jistgħu jispiraw ideat ġodda u jwessgħu l-ispazju ta’ soluzzjonijiet possibbli.

Jien ukoll nemmen ħafna fil-ħidma f’tim. Jekk kulħadd jiddi fl-aqwa saħħa tiegħu, niksbu 1+1 > 2. Fl-istess ħin, spiss nistgħu niltaqgħu ma’ xogħol “maħmuġ” u personalment jien lesta ħafna nieħu dawn il-kompiti fuqi, għax sakemm dak ikun l-akbar ostaklu jew dak il-kompitu jista’ jżid l-akbar valur lill-proġett, xejn m’għandu jitqies bħala “maħmuġ” jew “trivjali”. Inħeġġeġ lin-nies ta’ madwari jagħmlu l-istess, ikunu players tat-tim u jaħdmu flimkien biex iħaffu l-produttività tat-tim.

Kollox jibda bħala sett ta’ noti personali tat-tagħlim. Jien ma dħaltx fil-qasam tal-apprendiment profond kmieni ħafna u kont għadni nqis lili nnifsi bħala “newbie”. Fil-bidu, hekk kif bdejt nidħol f’tant papers, bqajt impressjonata bil-kunċett li ma tiddisinjax algoritmu biex issolvi problema, iżda tħarreġ mudell biex jitgħallem l-algoritmu li jsolvi problema. Aktar ma qrajt, aktar sirt kurjuża. Fil-prattika, sar diffiċli ħafna norganizza l-papers kollha li qrajt u l-kunċetti ġodda kollha li tgħallimt. Għalhekk iddeċidejt nibda blog biex niddokumenta u norganizza n-noti tat-tagħlim tiegħi. Nemmen ukoll li l-aħjar mod biex titgħallem xi ħaġa huwa li tiżgura li tista’ tgħallimha lil oħrajn b’mod korrett u ċar. Il-kitba tgħinni nasal hemm.

Ma kontx nistenna li jsir popolari fil-komunità tal-ML, imma kull meta nirċievi email ta’ ringrazzjament jew xi ħadd jgħidli personalment li tgħallem ħafna billi qara l-blog tiegħi, inħossni onorata u grat ħafna. Għaddew kważi 6 snin minn meta bdejt il-blog fl-2017 u se nkompli bih sakemm nista’.

Il-komunità tal-AI għamlet tant progress f’dawn l-aħħar snin. L-avvanz fil-hardware, fl-arkitettura tal-mudelli u fid-data jagħmilha possibbli li jitħarrġu mudelli ġiganteski u, bħala riżultat, nibqgħu naraw kapaċitajiet dejjem akbar. Nemmen li qegħdin fit-triq it-tajba lejn l-AGI, iżda l-iskalar mhuwiex l-unika riċetta. Fl-opinjoni tiegħi, l-aktar sfidi urġenti bħalissa huma l-allinjament u s-sigurtà. Sa ċertu punt, jistgħu jkunu l-istess kwistjoni dwar il-kontrollabbiltà jew l-isterjabbiltà.

L-ewwel nett, anke jekk diġà kellna sistema tal-AI estremament qawwija f’idejna, jekk ma nkunux nistgħu nikkomunikaw b’mod effiċjenti l-għanijiet tagħna u niżguraw li l-mudell ikun allinjat ma’ dak li rridu, ma jkunx possibbli noħolqu kemm għandna bżonn valur. L-aktar mudell qawwi attwali jitgħallem minn ammont ġigantesk ta’ data u s-sett tad-data inevitabbilment jaqbad difetti u preġudizzji imperfetti tad-dinja reali. Fuq dan il-front, mudelli mhux allinjati jġorru tħassib dwar is-sigurtà, peress li ma jkunux konxji ta’ dak li għandu jiġi evitat.

Dan mhuwiex parir partikolari li tani xi ħadd, iżda huwa bbażat fuq l-esperjenza tiegħi f’OpenAI s’issa. Jiġifieri, aħseb kbir. Qed noħolqu xi ħaġa ġdida u għandna nkunu ambizzjużi, kuraġġużi, u nżommu biżżejjed perseveranza biex inkomplu bl-isforzi.

Kotba. Normalment naqra kotba barra mill-qasam tal-apprendiment profond u nieħu ispirazzjoni minn varjetà ta’ oqsma; pereżempju, kemm hu kruċjali għal kittieb li jkun perseveranti għal 50 sena, għal kirurgu li jkun perfettament iffukat fuq id-dettall, u għal intraprenditur li jkollu “ideat miġnunin”.

In-nies ta’ madwari. Ninsab onorata li naħdem ma’ grupp kbir ta’ kollegi b’talent straordinarju f’OpenAI. Kulħadd għandu xi ħaġa li tispikka, tispira, jew li jistħoqqilha rispett, u nieħu gost nitgħallem minnhom.