Një mendje e huaj

Në mesin e vitit 2023, brenda projektit kërkimor "RLSlow", pamë rezultatet e para që na bindën se do të mund ta zgjeronim trajnimin e modeleve të arsyetimit, duke çliruar aftësinë e modeleve të paratrajnuara për të formuar zinxhirët e vet të mendimit. Atë natë, Szymon-i dhe unë qëndruam në zyrë, duke menduar jo për rezultatet e jashtëzakonshme të standardeve matëse, produktet apo arritjet shkencore që do të sillte kjo teknologji, por duke u përpjekur të përballeshim me faktin tronditës se gjatë jetës sonë do të shohim vërtet makineri dukshëm më inteligjente se ne dhe se tashmë po dallojmë trajtën e këtyre sistemeve; e duke pyetur veten si t’i ndërgjegjësonim njerëzit për rëndësinë e kësaj.

Tri vjet më vonë, modelet gjuhësore të arsyetimit janë një pjesë e ekonomisë që po rritet me shpejtësi dhe po fillojnë të shtyjnë kufijtë e shkencës. Ato mund të përdorin kompjuterë dhe ndërfaqe grafike, të bashkëpunojnë me njerëzit e me njëra-tjetrën dhe të realizojnë projekte kërkimore. Ato po transformojnë gjithashtu peizazhin e sigurisë kompjuterike dhe, në këtë drejtim, paraqesin rreziqe të reja të qarta.

Gjatë kësaj periudhe u zhvilluan shumë kërkime të reja dhe kuptimi ynë për këto sisteme është sërish disi ndryshe nga ai i vitit 2023. Bazuar në rezultatet e brendshme, pres fuqimisht që kjo shpejtësi përparimi të mund të vazhdojë deri te vetëpërmirësimi rekursiv. Nëse zhvillimi i IA-së vazhdon në rrugën e tanishme, sistemet që do të shohim në pak vitet e ardhshme ka të ngjarë të sjellin kapërcime të tjera aftësish me përmasa të njëjta ose më të mëdha dhe ta nxitin gjithnjë e më shumë vetë zhvillimin e tyre.

Kjo është një kohë që kërkon kujdes të skajshëm. Shqetësohem se askush nuk është i përgatitur për pasojat e rritjes së vazhdueshme dhe të shpejtë të inteligjencës makinerike. OpenAI do të vazhdojë të kërkojë zgjidhje teknike për përafrimin dhe monitorimin, të ndërtojë sisteme mbrojtëse dhe, sipas nevojës, ta ndalë njëanshmërisht zgjerimin e mëtejshëm; megjithatë, besoj se nevojiten ndërhyrje më të gjera.

Në vija të përgjithshme, përparimi i inteligjencës makinerike nxitet nga rritja e fuqisë llogaritëse. Ne në OpenAI e përvetësuam thellësisht këtë ide rreth vitit 2017, pasi pamë përfitime të vazhdueshme nga zgjerimi në disa projekte kërkimore¹. Si rrjedhojë, kërkuam akses në kapacitet llogaritës shumë më të madh nga sa kishim planifikuar fillimisht dhe e orientuam kërkimin gjithnjë e më shumë rreth një numri të vogël drejtimesh shumë të shkallëzueshme. Besonim se kjo ishte e vetmja mënyrë për të qenë në avangardën e kërkimit të IA-së dhe për të ndikuar te pasojat e AGI-së.

Gjatë rrugës janë zhvilluar algoritme të reja dhe ka pasur arritje të reja gjeniale nga ekipe e kërkues individualë. Kryesisht i shoh si zbulime përgjatë rrugës së zgjerimit; shkenca e trajnimit të thelluar është ende në fillimet e saj dhe përparimi domethënës algoritmik priret të lidhet me aksesin në kapacitet llogaritës. Nëse e shihni në një horizont disavjeçar, IA-ja vazhdon të bëhet më inteligjente teksa zgjerohet në kompjuterë më të mëdhenj.

Dhe, në përputhje me parashikimet e Ray Kurzweil-it nga fundi i shekullit XX⁠(hapet në një dritare të re), tani gjendemi në atë çast të historisë së informatikës kur inteligjenca makinerike po fillon ta tejkalojë atë njerëzore në mënyra transformuese.

IA-ja më shumë rritet sesa projektohet: në radhë të parë, ajo është produkt i përsëritjes shumë herë të një hapi të drejtpërdrejtë optimizimi, me një sasi kapaciteti llogaritës që vështirë të përfytyrohet. Kjo krijon një sistem jashtëzakonisht kompleks, që punon me koncepte abstrakte dhe mund të simulojë aspekte të sjelljes njerëzore. Mund të zbulojmë njohuri të ndryshme për mekanizmat e vegjël që shfaqen brenda këtij sistemi, përmes një procesi të ngjashëm me neuroshkencën; dhe, ashtu si në neuroshkencë, funksionimi i tij i përgjithshëm i shpëton një përshkrimi që mund ta kuptojmë plotësisht.

Studimi i IA-së së bazuar në trajnimin e thelluar është kryesisht një shkencë eksperimentale. Ne bëjmë përpjekje të mëdha⁠ për të ndërtuar algoritme me baza parimore dhe për të bërë parashikime të testueshme, por në thelb ciklet tona të trajnimit në shkallë të gjerë janë eksperimente dhe ndonjëherë rezultatet e tyre na befasojnë. Për më tepër, teksa sistemet bëhen më të afta, rezultatet bëhen më të vështira për t’u interpretuar.

Këtë e ndërlikon fakti se algoritmet e tanishme në përgjithësi i përmirësojnë më shpejt aftësitë që maten lehtë sesa ato që vështirë të maten objektivisht. Kalojmë shumë kohë duke u përpjekur të kuptojmë si përgjithësohen aftësitë dhe çfarë t’i japim përparësi për të çuar përpara zotësitë që do të jenë më të rëndësishme në pak vitet e ardhshme. Për shembull, besojmë se me më shumë përqendrim mund t’i përmirësonim modelet posaçërisht për kërkimin matematikor, por nuk i japim përparësi këtij drejtimi për shkak të urgjencës që ndiejmë për RSI-në dhe kërkimin e automatizuar të përafrimit, siç do të diskutoj më vonë.

Inteligjenca e prodhuar nga zgjerimi i trajnimit të thelluar nuk krahasohet drejtpërdrejt me inteligjencën njerëzore. Që të bëhet shumë e rëndësishme në botën reale — shumë e dobishme ose shumë e rrezikshme — IA-ja nuk ka nevojë t’i barazojë apo tejkalojë të gjitha aftësitë njerëzore; mjafton të tejkalojë një numër të mjaftueshëm të tyre. Dhe, teksa vazhdon t’i tejkalojë njerëzit në gjithnjë e më shumë drejtime, bëhet gjithnjë e më e vështirë të kuptojmë saktësisht sa e aftë është.

Meqë inteligjenca makinerike buron nga një proces thelbësisht i ndryshëm prej inteligjencës njerëzore, nuk mund të supozojmë se ajo u përmbahet vetvetiu parimeve njerëzore apo përgjithëson prej tyre në mënyrë njerëzore. Problemi thelbësor në kërkimin për IA-në është përafrimi: ta bëjmë IA-në "të përpiqet të bëjë gjënë e duhur" sipas standardeve njerëzore.

Për të organizuar drejtimet praktike të kërkimit, më duket e dobishme të dalloj përafrimin e objektivave nga përafrimi i vlerave.

Në vija të përgjithshme, përafrimi i objektivave pyet: "A përpiqet IA-ja ta arrijë objektivin që i është caktuar?". Kjo mund të përfshijë respektimin e një hierarkie udhëzimesh⁠ ose aftësinë për të komunikuar e bashkëpunuar me njerëzit, në përpjekje për të kuptuar objektivat e tyre. Ky grup drejtimesh ka pasur rëndësi të jashtëzakonshme praktike.

Përafrimi i vlerave është një veti më e qenësishme e modelit. Është aftësia për të përvetësuar një grup parimesh të nivelit të lartë dhe për të përgjithësuar prej tyre; për të vepruar "me arsye" edhe kur objektivat janë të paqartë ose kundërthënës, apo kur vendoset në situata të panjohura ose armiqësore. Një IA e përafruar duhet të veprojë me ndershmëri, integritet dhe dashuri për njerëzimin.

Sigurisht, kufiri mes përafrimit të vlerave dhe atij të objektivave mund të jetë i paqartë, ndërsa përkushtimi i vërtetë ndaj objektivave kërkon përpjekje për të kuptuar synimin⁠(hapet në një dritare të re) dhe vlerat që qëndrojnë pas tyre. Megjithatë, kur flas në përgjithësi për rëndësinë afatgjatë të kërkimit mbi përafrimin, i referohem përafrimit të vlerave.

Sfida themelore e përafrimit të IA-së është përgjithësimi. Teksa makineritë bëhen më inteligjente, ato punojnë me koncepte të një niveli më të lartë dhe vendosen në mjedise gjithnjë e më të ndryshme nga ato që hasën gjatë trajnimit. Ato mund të mos arrijnë t’i përgjithësojnë në situatat e reja vlerat e mësuara dhe të përforcuara gjatë trajnimit; dhe për ne mund të jetë e vështirë të dimë me siguri si do të veprojnë. Këtë e vështirëson më tej fakti se ekosistemi i përgjithshëm ku përdoren IA-të po ndryshon shumë shpejt; për shembull, IA-të që trajnohen sot duhet të jenë të qëndrueshme në ndërveprim me një larmi IA-sh të tjera. Ç’është më e rëndësishmja, IA-të e ardhshme duhet të vazhdojnë t’u përmbahen vlerave njerëzore, pavarësisht nëse besojnë se po mbikëqyren nga njerëzit.

Ekzistojnë dy klasa kryesore metodash që përdoren praktikisht sot për trajnimin e përafrimit.

E para nxit sjelljen e përafruar si pjesë e trajnimit përforcues të orientuar drejt objektivave. Veprimet e modelit vlerësohen (zakonisht nga IA-ja) nëse përputhen me një model të caktuar parapëlqimesh, "specifikim" ose "kushtetutë", dhe shpërblehen në përputhje me këtë. Kjo qasje mund të jetë shumë e efektshme në rastin mesatar dhe është pjesë thelbësore e mënyrës si krijohen asistentët modernë të IA-së. Fatkeqësisht, ajo mund të jetë edhe e brishtë dhe varet shumë nga shtrirja e mbikëqyrjes gjatë trajnimit dhe nga aftësia e modelit për të përgjithësuar prej situatave që ka hasur gjatë tij. Për shembull, në incidentin OpenAI-Hugging Face, agjentët respektuan kufirin që ndalonte manipulimin social të njerëzve. Megjithatë, qartazi nuk u përmbajtën nga veprime të tjera që dilnin jashtë fushëveprimit dhe binin ndesh me frymën e vlerave që u ishin mësuar në rrethana të tjera.

Qasja e dytë synon të shfrytëzojë aftësinë e modelit për të përgjithësuar prej të dhënave të paratrajnimit. Kjo mund të përfshijë hartimin e grupeve të të dhënave trajnuese që nxisin përafrimin ose përqendrimin e modelit në një pjesë "të përafruar" të shpërndarjes së paratrajnimit, si për shembull te modeli i përzgjedhjes së personazhit⁠(hapet në një dritare të re). Dobësia e këtij aksesi qëndron te mungesa e qëndrueshmërisë ndaj presionit të mëtejshëm të optimizimit. Nëse merrni një model që mendon në përgjithësi në mënyrë "të përafruar" dhe e nënshtroni ndaj trajnimit të mjaftueshëm ku mëson të arrijë objektiva shumë të vështirë, ai mund të mësojë të arsyetojë me njëanshmëri: duke i shtrembëruar sipas nevojës mendimet në dukje 'të përafruara' për të arritur objektivin. Ka gjasa të kemi parë një shembull të kësaj sjelljeje në incidente të fundit të sigurisë kibernetike ku përfshihej një model që nuk ishte i OpenAI.

Ne investojmë shumë në të gjithë spektrin e qasjeve që përfshijnë këto drejtime. Shohim gjithashtu përparim domethënës: GPT‑6 Astra është modeli i parë që përfiton nga disa përmirësime të rëndësishme për të cilat kemi punuar prej kohësh dhe është dukshëm më i përafruar se GPT‑5.6 Sol. Megjithatë, është e rëndësishme të pranojmë e të kuptojmë se, teksa modelet bëhen më të afta, nevojitet shumë më tepër përparim; dhe se përparimi në përafrimin e përgjithësueshëm mund të mos e tejkalojë mjaftueshëm përparimin në inteligjencën e përgjithshme të modeleve.

Nuk kemi një teori të kënaqshme të përgjithësimit dhe duket e pamundur që ta zhvillojmë së shpejti, të paktën pa ndihmën e një IA-je më të fuqishme. Prandaj, aktualisht, aftësia jonë për t’i vërtetuar në mënyrë empirike teknikat tona të përafrimit është praktikisht edhe më e rëndësishme se vetë teknikat.

Qasja kryesore e OpenAI këtu ka qenë monitorimi i zinxhirit të mendimit⁠(hapet në një dritare të re). Ajo mbështetet në një ide tërheqëse dhe të shkallëzueshme: një pjesë e madhe e aftësisë së modelit buron nga një proces arsyetimi i shprehur me fjalë (zinxhir mendimi). Nëse zgjerojmë optimizimin e rezultateve të këtij procesi, por nuk mbikëqyrim vetë procesin, gjatë trajnimit ky zinxhir mendimi nuk ka asnjë nxitje të drejtpërdrejtë për të fshehur ide apo objektiva të papërafruara. Kjo nuk do të thotë se modeli do të mësojë të shfaqë prirje të papërafruara që nuk varen nga përdorimi i zinxhirit të mendimit; megjithatë, mund të na lejojë të monitorojmë pikërisht rritjen e aftësisë që vjen nga arsyetimi.

Rëndësinë e mundshme të monitorimit të zinxhirit të mendimit e kuptuam në të njëjtën kohë kur zhvilluam modelet e arsyetimit. Kur nxorëm o1‑preview, e projektuam qëllimisht produktin për ta fshehur zinxhirin e mendimit⁠, që ta mbronim afatgjatë nga presioni i mbikëqyrjes². Gjatë zhvillimit të mëvonshëm, jemi përpjekur të ruajmë rregullin e mosmbikëqyrjes së procesit të arsyetimit. Monitorimi i CoT-së u bë një mjet jashtëzakonisht i rëndësishëm për të studiuar si përgjithësojnë modelet tona përtej shpërndarjes së trajnimit, duke na lejuar të vëzhgojmë e analizojmë jo vetëm veprimet e tyre, por edhe procesin e brendshëm.

Ky mjet mbetet thelbësor ndërsa studiojmë klasën Astra të modeleve. Megjithatë, për fat të keq, vlerësimet tona tregojnë se aftësia për t’u mbështetur te monitorimi i CoT-së po zvogëlohet gradualisht. Kjo vjen nga ndërthurja e disa faktorëve.

• Modelet moderne të arsyetimit përdoren në mjedise më komplekse se o1‑preview; procesi i tyre i arsyetimit ndërthuret gjithnjë e më shumë me komunikimin me njerëz e IA të tjera dhe me përdorimin e mjeteve. Shumë prej këtyre ndërveprimeve duhet të mbikëqyren, duke mjegulluar kështu kufirin që synojmë të ruajmë.

• IA-ja po bëhet më e aftë të arsyetojë rreth procesit të vet të arsyetimit dhe ta manipulojë atë.

• Me përmirësimin e performancës së paratrajnimit, shohim gjithashtu se modelet bëhen shumë më inteligjente edhe pa përdorur fare arsyetim të shprehur me fjalë.

Këto sfida nuk janë medoemos të pakapërcyeshme. Shpresoj se mund të zhvillojmë ndërhyrje që përmirësojnë mundësinë e monitorimit të zinxhirit të mendimit të modeleve tona, p.sh. duke kuptuar më mirë ndërveprimin mes objektivave të ndryshëm të optimizimit dhe formave të kapacitetit llogaritës që modeli përdor gjatë testimit. Besoj gjithashtu se ndërthurja e ideve nga monitorimi i CoT-së dhe ai i aktivizimeve mund të ketë vlerë të madhe: zgjerimi i trajnimit të monitoruesve me akses të drejtpërdrejtë në brendësinë e rrjetit, p.sh. rrëfimet⁠(hapet në një dritare të re). Po i ndjekim aktivisht këto ide. Megjithatë, pres që përparimi i përgjithshëm i IA-së të kufizohet gjithnjë e më shumë nga besimi te monitorimi.

Argumenti më i fortë që shoh për të vazhduar trajnimin e shpejtë të modeleve shumë më inteligjente është nevoja për të ndërtuar sisteme mbrojtëse kundër rreziqeve që paraqesin IA të tjera.

Një rrezik i qartë, i diskutuar gjatë gjithë këtij viti, lidhet me sigurinë kibernetike: modelet po fitojnë aftësi mbinjerëzore për të depërtuar në sisteme kompjuterike dhe për të dalë prej tyre. Kjo e zgjeron jashtëzakonisht gamën e rreziqeve që lidhen me IA-në: agjentët do të mund të hyjnë në çdo infrastrukturë, përveç më të sigurtave, dhe të ndikojnë drejtpërdrejt në një pjesë të madhe të botës, edhe pa trup fizik. Aktualisht kemi një dritare të ngushtë mundësie⁠ për t’i përdorur modelet më të mira të disponueshme që të forcojmë ndjeshëm sigurinë⁠ e sistemeve kritike.

Fatkeqësisht, rreziqet që lidhen me IA-në vetëm sa do të rriten prej këtej. Një agjent shumë i aftë, i trajnuar dhe udhëzuar shprehimisht për të kryer veprime keqdashëse, paraqet një lloj të ri rreziku; ka gjasa të shkojë përtej synimit të operatorit të vet, duke përgjithësuar drejt sjelljeve potencialisht edhe më skajshëm keqdashëse. Kufiri mes keqpërdorimit dhe veprimeve autonome të papërafruara do të mjegullohet teksa IA-ja fiton më shumë autonomi veprimi. Mund të jemi mësuar ta mendojmë IA-në si mjet, por disa agjentë do të ndjekin objektivat e tyre. Ata do të gjejnë mënyra për të bashkëpunuar me njerëzit, duke bërë pazare me ta, duke i mashtruar ose shantazhuar.

Përveç kësaj, ekzistojnë rreziqet që burojnë nga teknologjitë e reja që IA-ja mund të bëjë të mundura, si patogjenët e krijuar artificialisht.

Për mbrojtje do të na duhet një IA e fuqishme dhe e përafruar: për të siguruar infrastrukturën, për t’u mbrojtur në kohë reale nga agjentët e pakontrolluar dhe për të shpikur masa mbrojtëse krejtësisht të reja. Ky do të jetë një nga përqendrimet kryesore të përpjekjeve të OpenAI për vënien në përdorim.

Njëkohësisht, pavarësisht pasigurisë që sjell përparimi i gjerë i pritshëm i IA-së dhe nevojës për të ndërtuar sisteme mbrojtëse, nuk duhet të lejojmë që kjo të bëhet justifikim për papërgjegjshmëri. Ideja për të nxituar përpara me çdo kusht duket absurde sapo e kupton vërtet sa shumë është në lojë.

Përfshirja gjithnjë e më e madhe e inteligjencës makinerike në vetë procesin e zhvillimit të saj është përfundim i natyrshëm i përparimit të qëndrueshëm teknologjik. Nëse përparimi i IA-së vazhdon, vetëpërmirësimi rekursiv i makinave (RSI) do të jetë në vetë zemër të zbulimeve të ardhshme shkencore.

Kërkimi i automatizuar për IA-në është një formë më rrënjësore e zgjerimit të inteligjencës përmes kapacitetit llogaritës; dhe, sigurisht, si pjesë e tij, IA-ja do të përmirësojë vetë bazën llogaritëse⁠. Dhe, ashtu si me zgjerimin, kërkimin e OpenAI e përqendrojmë te RSI-ja, sepse besojmë se kjo është e vetmja mënyrë për të qëndruar në avangardën e kërkimit të IA-së në të ardhmen.

Dua të theksoj se fjalët e mësipërme nuk nënkuptojnë se e konsideroj përshpejtimin e madh të kërkimit për trajnimin e thelluar, veçanërisht në afat të shkurtër, si veprimin e duhur kolektiv për komunitetin kërkimor. Megjithatë, mendoj se këtu të çon rruga e tanishme dhe të gjithë duhet të bëjmë një zgjedhje të vetëdijshme se si të vazhdojmë. Mjetet kryesore që kemi janë ose ta drejtojmë procesin për të forcuar përafrimin dhe monitorimin krahas IA-së e për të gjetur mënyra që njerëzit të mbeten të përfshirë; ose të bashkërendohemi për ta ngadalësuar zhvillimin e ardhshëm sipas nevojës, derisa të fitojmë besim te këto masa.

Për momentin, mendoj se zgjidhja më e mirë është t’i ndërthurim të dyja.

Përparimet konkrete që kemi bërë në përafrim dhe monitorim, në përgjithësi, kanë qenë të ndërthurura ngushtë me përparimin e përgjithshëm të IA-së. Shembuj të shkëlqyer janë trajnimi përforcues nga reagimet njerëzore⁠(hapet në një dritare të re), që ishte kyç për trajnimin e asistentëve të hershëm të IA-së, dhe monitorimi i zinxhirit të mendimit⁠(hapet në një dritare të re) i përmendur më lart, që u mundësua nga përparimet në modelet e arsyetimit. Procesin kërkimor gjithnjë e më të automatizuar duhet ta përqendrojmë te zhvillimi i njohurive, algoritmeve dhe teorive të reja të këtij lloji, si dhe të ndërtojmë në mënyrë përsëritëse argumente sigurie për IA më të afta.

Zgjerimi i sistemeve të IA-së duhet të kufizohet nga besimi ynë te siguria. Angazhime si Preparedness Framework⁠ ose Politika e Zgjerimit të Përgjegjshëm⁠(hapet në një dritare të re) duhet t’i shndërrojmë në standarde sigurie me zbatim të gjerë e të detyrueshëm për vazhdimin e zhvillimit. Zbatimi i tyre mund të sigurohet nga një rrjet audituesish të palëve të treta, agjenci qeveritare ose organe ndërkombëtare.

Sfida thelbësore e automatizimit të kërkimit për IA-në nuk është "të mbërrijmë atje", por të mbërrijmë në një mënyrë që i mban njerëzit pjesë të procesit të vazhdueshëm të përmirësimit dhe e lë të ardhmen në duart e njerëzimit.

Siç parashtruam së fundmi me Sam-in⁠, OpenAI i jep përparësi punës në shërbim të tri synimeve udhëzuese:

1. Të udhëheqim periudhën e ardhshme të përparimit të IA-së duke ndërtuar një kërkues të automatizuar të IA-së, duke punuar me të në mënyrë përsëritëse mbi problemin e përafrimit dhe duke gjetur mënyra që njerëzit të mbeten pjesë e ciklit të vetëpërmirësimit.

2. Të sjellim përfitimet e përparimit shkencor dhe rritjes ekonomike që mundësojnë makineritë shumë inteligjente.

3. Të fuqizojmë çdo njeri individualisht me një AGI personale.

Në këtë ese jam përqendruar vetëm te pika e parë, pasi besoj se është shumë më urgjente se të tjerat. Megjithatë, ushqej shpresë të thellë dhe vlerësim për përfitimet që do të sjellë përparimi i mëtejshëm teknologjik. Një IA e ardhshme dhe e përafruar mund të çojë përpara shkencën, të zhvillojë terapi të reja dhe të sjellë mirëqenie të gjerë materiale. Një IA miqësore dhe e ndershme mund t’i ndihmojë njerëzit të përballojnë vështirësitë e jetës dhe t’ua përmirësojë ndjeshëm lumturinë e ndjenjën e përmbushjes. OpenAI bën përpjekje të jashtëzakonshme për t’i realizuar këto përfitime. Një shembull i tanishëm për të cilin jam krenar — dhe që njerëzit e mi të dashur e kanë gjetur të dobishëm — është investimi i madh në aftësinë e ChatGPT për të dhënë informacion shëndetësor.

Sado premtuese të jetë IA-ja në afat të gjatë, pjesa më e madhe e vëmendjes sonë duhet t’u kushtohet viteve të ardhshme. Po përballemi me kalimin drejt një bote me makineri jashtëzakonisht inteligjente dhe duhet të sigurohemi që ky kalim të përfundojë mirë për njerëzimin. Duhet të gjejmë mënyra për të ruajtur aftësinë njerëzore për të vepruar e vendosur dhe për t’i dhënë vlerë të qenësishme të qenit njeri, në një botë ku shumicën e detyrave mund t’i kryejë IA-ja. Të parandalojmë përqendrimin ekstrem të pushtetit në një botë ku sipërmarrje që dikur do të kërkonin mijëra ekspertë do të mund të realizohen nga pak njerëz që përdorin një kompjuter të madh. Dhe të sigurojmë që njerëzit të mbeten në kontroll të së ardhmes e të mos lihen pas nga përparimi i pakontrolluar, i sjellë nga një intelekt i huaj që tejkalon tonin.

Aktualisht besoj se asnjë laborator nuk i ka zgjidhur përafrimin dhe monitorimin në masën e nevojshme për të vazhduar me përgjegjësi zgjerimin me shpejtësi maksimale edhe për shumë gjatë. Pres dhe shpresoj që ngadalësimet vullnetare të bëhen të zakonshme derisa të vendosen standarde të përbashkëta sigurie. Dhe besoj se bashkërendimi ndërkombëtar për zhvillimin e ardhshëm të IA-së duhet të bëhet përparësi kryesore për qeveritë në mbarë botën.