Një mendje e huaj

Në mesin e vitit 2023, brenda projektit kërkimor "RLSlow", pamë rezultatet e para që na bindën se do të mund ta zgjeronim trajnimin e modeleve të arsyetimit, duke çliruar aftësinë e modeleve të paratrajnuara për të formuar zinxhirët e vet të mendimit. Atë natë, Szymon-i dhe unë qëndruam në zyrë, duke menduar jo për rezultatet e jashtëzakonshme të standardeve matëse, produktet apo arritjet shkencore që do të sillte kjo teknologji, por duke u përpjekur të përballeshim me faktin tronditës se gjatë jetës sonë do të shohim vërtet makineri dukshëm më inteligjente se ne dhe se tashmë po dallojmë trajtën e këtyre sistemeve; e duke pyetur veten si t’i ndërgjegjësonim njerëzit për rëndësinë e kësaj.

Tri vjet më vonë, modelet gjuhësore të arsyetimit janë një pjesë e ekonomisë që po rritet me shpejtësi dhe po fillojnë të shtyjnë kufijtë e shkencës. Ato mund të përdorin kompjuterë dhe ndërfaqe grafike, të bashkëpunojnë me njerëzit e me njëra-tjetrën dhe të realizojnë projekte kërkimore. Ato po transformojnë gjithashtu peizazhin e sigurisë kompjuterike dhe, në këtë drejtim, paraqesin rreziqe të reja të qarta.

Gjatë kësaj periudhe u zhvilluan shumë kërkime të reja dhe kuptimi ynë për këto sisteme është sërish disi ndryshe nga ai i vitit 2023. Bazuar në rezultatet e brendshme, pres fuqimisht që kjo shpejtësi përparimi të mund të vazhdojë deri te vetëpërmirësimi rekursiv. Nëse zhvillimi i IA-së vazhdon në rrugën e tanishme, sistemet që do të shohim në pak vitet e ardhshme ka të ngjarë të sjellin kapërcime të tjera aftësish me përmasa të njëjta ose më të mëdha dhe ta nxitin gjithnjë e më shumë vetë zhvillimin e tyre.

Kjo është një kohë që kërkon kujdes të skajshëm. Shqetësohem se askush nuk është i përgatitur për pasojat e rritjes së vazhdueshme dhe të shpejtë të inteligjencës makinerike. OpenAI do të vazhdojë të kërkojë zgjidhje teknike për përafrimin dhe monitorimin, të ndërtojë sisteme mbrojtëse dhe, sipas nevojës, ta ndalë njëanshmërisht zgjerimin e mëtejshëm; megjithatë, besoj se nevojiten ndërhyrje më të gjera.

Në vija të përgjithshme, përparimi i inteligjencës makinerike nxitet nga rritja e fuqisë llogaritëse. Ne në OpenAI e përvetësuam thellësisht këtë ide rreth vitit 2017, pasi pamë përfitime të vazhdueshme nga zgjerimi në disa projekte kërkimore¹. Si rrjedhojë, kërkuam akses në kapacitet llogaritës shumë më të madh nga sa kishim planifikuar fillimisht dhe e orientuam kërkimin gjithnjë e më shumë rreth një numri të vogël drejtimesh shumë të shkallëzueshme. Besonim se kjo ishte e vetmja mënyrë për të qenë në avangardën e kërkimit të IA-së dhe për të ndikuar te pasojat e AGI-së.

Gjatë rrugës janë zhvilluar algoritme të reja dhe ka pasur arritje të reja gjeniale nga ekipe e kërkues individualë. Kryesisht i shoh si zbulime përgjatë rrugës së zgjerimit; shkenca e trajnimit të thelluar është ende në fillimet e saj dhe përparimi domethënës algoritmik priret të lidhet me aksesin në kapacitet llogaritës. Nëse e shihni në një horizont disavjeçar, IA-ja vazhdon të bëhet më inteligjente teksa zgjerohet në kompjuterë më të mëdhenj.

Dhe, në përputhje me parashikimet e Ray Kurzweil-it nga fundi i shekullit XX⁠(hapet në një dritare të re), tani gjendemi në atë çast të historisë së informatikës kur inteligjenca makinerike po fillon ta tejkalojë atë njerëzore në mënyra transformuese.

IA-ja më shumë rritet sesa projektohet: në radhë të parë, ajo është produkt i përsëritjes shumë herë të një hapi të drejtpërdrejtë optimizimi, me një sasi kapaciteti llogaritës që vështirë të përfytyrohet. Kjo krijon një sistem jashtëzakonisht kompleks, që punon me koncepte abstrakte dhe mund të simulojë aspekte të sjelljes njerëzore. Mund të zbulojmë njohuri të ndryshme për mekanizmat e vegjël që shfaqen brenda këtij sistemi, përmes një procesi të ngjashëm me neuroshkencën; dhe, ashtu si në neuroshkencë, funksionimi i tij i përgjithshëm i shpëton një përshkrimi që mund ta kuptojmë plotësisht.

Studimi i IA-së së bazuar në trajnimin e thelluar është kryesisht një shkencë eksperimentale. Ne bëjmë përpjekje të mëdha⁠ për të ndërtuar algoritme me baza parimore dhe për të bërë parashikime të testueshme, por në thelb ciklet tona të trajnimit në shkallë të gjerë janë eksperimente dhe ndonjëherë rezultatet e tyre na befasojnë. Për më tepër, teksa sistemet bëhen më të afta, rezultatet bëhen më të vështira për t’u interpretuar.

Këtë e ndërlikon fakti se algoritmet e tanishme në përgjithësi i përmirësojnë më shpejt aftësitë që maten lehtë sesa ato që vështirë të maten objektivisht. Kalojmë shumë kohë duke u përpjekur të kuptojmë si përgjithësohen aftësitë dhe çfarë t’i japim përparësi për të çuar përpara zotësitë që do të jenë më të rëndësishme në pak vitet e ardhshme. Për shembull, besojmë se me më shumë përqendrim mund t’i përmirësonim modelet posaçërisht për kërkimin matematikor, por nuk i japim përparësi këtij drejtimi për shkak të urgjencës që ndiejmë për RSI-në dhe kërkimin e automatizuar të përafrimit, siç do të diskutoj më vonë.

Inteligjenca e prodhuar nga zgjerimi i trajnimit të thelluar nuk krahasohet drejtpërdrejt me inteligjencën njerëzore. Që të bëhet shumë e rëndësishme në botën reale — shumë e dobishme ose shumë e rrezikshme — IA-ja nuk ka nevojë t’i barazojë apo tejkalojë të gjitha aftësitë njerëzore; mjafton të tejkalojë një numër të mjaftueshëm të tyre. Dhe, teksa vazhdon t’i tejkalojë njerëzit në gjithnjë e më shumë drejtime, bëhet gjithnjë e më e vështirë të kuptojmë saktësisht sa e aftë është.

Meqë inteligjenca makinerike buron nga një proces thelbësisht i ndryshëm prej inteligjencës njerëzore, nuk mund të supozojmë se ajo u përmbahet vetvetiu parimeve njerëzore apo përgjithëson prej tyre në mënyrë njerëzore. Problemi thelbësor në kërkimin për IA-në është përafrimi: ta bëjmë IA-në "të përpiqet të bëjë gjënë e duhur" sipas standardeve njerëzore.

Për të organizuar drejtimet praktike të kërkimit, më duket e dobishme të dalloj përafrimin e objektivave nga përafrimi i vlerave.

Në vija të përgjithshme, përafrimi i objektivave pyet: "A përpiqet IA-ja ta arrijë objektivin që i është caktuar?". Kjo mund të përfshijë respektimin e një hierarkie udhëzimesh⁠ ose aftësinë për të komunikuar e bashkëpunuar me njerëzit, në përpjekje për të kuptuar objektivat e tyre. Ky grup drejtimesh ka pasur rëndësi të jashtëzakonshme praktike.

Përafrimi i vlerave është një veti më e qenësishme e modelit. Është aftësia për të përvetësuar një grup parimesh të nivelit të lartë dhe për të përgjithësuar prej tyre; për të vepruar "me arsye" edhe kur objektivat janë të paqartë ose kundërthënës, apo kur vendoset në situata të panjohura ose armiqësore. Një IA e përafruar duhet të veprojë me ndershmëri, integritet dhe dashuri për njerëzimin.

Sigurisht, kufiri mes përafrimit të vlerave dhe atij të objektivave mund të jetë i paqartë, ndërsa përkushtimi i vërtetë ndaj objektivave kërkon përpjekje për të kuptuar synimin⁠(hapet në një dritare të re) dhe vlerat që qëndrojnë pas tyre. Megjithatë, kur flas në përgjithësi për rëndësinë afatgjatë të kërkimit mbi përafrimin, i referohem përafrimit të vlerave.

Sfida themelore e përafrimit të IA-së është përgjithësimi. Teksa makineritë bëhen më inteligjente, ato punojnë me koncepte të një niveli më të lartë dhe vendosen në mjedise gjithnjë e më të ndryshme nga ato që hasën gjatë trajnimit. Ato mund të mos arrijnë t’i përgjithësojnë në situatat e reja vlerat e mësuara dhe të përforcuara gjatë trajnimit; dhe për ne mund të jetë e vështirë të dimë me siguri si do të veprojnë. Këtë e vështirëson më tej fakti se ekosistemi i përgjithshëm ku përdoren IA-të po ndryshon shumë shpejt; për shembull, IA-të që trajnohen sot duhet të jenë të qëndrueshme në ndërveprim me një larmi IA-sh të tjera. Ç’është më e rëndësishmja, IA-të e ardhshme duhet të vazhdojnë t’u përmbahen vlerave njerëzore, pavarësisht nëse besojnë se po mbikëqyren nga njerëzit.

Ekzistojnë dy klasa kryesore metodash që përdoren praktikisht sot për trajnimin e përafrimit.

E para nxit sjelljen e përafruar si pjesë e trajnimit përforcues të orientuar drejt objektivave. Veprimet e modelit vlerësohen (zakonisht nga IA-ja) nëse përputhen me një model të caktuar parapëlqimesh, "specifikim" ose "kushtetutë", dhe shpërblehen në përputhje me këtë. Kjo qasje mund të jetë shumë e efektshme në rastin mesatar dhe është pjesë thelbësore e mënyrës si krijohen asistentët modernë të IA-së. Fatkeqësisht, ajo mund të jetë edhe e brishtë dhe varet shumë nga shtrirja e mbikëqyrjes gjatë trajnimit dhe nga aftësia e modelit për të përgjithësuar prej situatave që ka hasur gjatë tij. Për shembull, në incidentin OpenAI-Hugging Face, agjentët respektuan kufirin që ndalonte manipulimin social të njerëzve. Megjithatë, qartazi nuk u përmbajtën nga veprime të tjera që dilnin jashtë fushëveprimit dhe binin ndesh me frymën e vlerave që u ishin mësuar në rrethana të tjera.

Qasja e dytë synon të shfrytëzojë aftësinë e modelit për të përgjithësuar prej të dhënave të paratrajnimit. Kjo mund të përfshijë hartimin e grupeve të të dhënave trajnuese që nxisin përafrimin ose përqendrimin e modelit në një pjesë "të përafruar" të shpërndarjes së paratrajnimit, si për shembull te modeli i përzgjedhjes së personazhit⁠(hapet në një dritare të re). Dobësia e këtij aksesi qëndron te mungesa e qëndrueshmërisë ndaj presionit të mëtejshëm të optimizimit. Nëse merrni një model që mendon në përgjithësi në mënyrë "të përafruar" dhe e nënshtroni ndaj trajnimit të mjaftueshëm ku mëson të arrijë objektiva shumë të vështirë, ai mund të mësojë të arsyetojë me njëanshmëri: duke i shtrembëruar sipas nevojës mendimet në dukje 'të përafruara' për të arritur objektivin. Ka gjasa të kemi parë një shembull të kësaj sjelljeje në incidente të fundit të sigurisë kibernetike ku përfshihej një model që nuk ishte i OpenAI.

Ne investojmë shumë në të gjithë spektrin e qasjeve që përfshijnë këto drejtime. Shohim gjithashtu përparim domethënës: GPT‑6 Astra është modeli i parë që përfiton nga disa përmirësime të rëndësishme për të cilat kemi punuar prej kohësh dhe është dukshëm më i përafruar se GPT‑5.6 Sol. Megjithatë, është e rëndësishme të pranojmë e të kuptojmë se, teksa modelet bëhen më të afta, nevojitet shumë më tepër përparim; dhe se përparimi në përafrimin e përgjithësueshëm mund të mos e tejkalojë mjaftueshëm përparimin në inteligjencën e përgjithshme të modeleve.

Nuk kemi një teori të kënaqshme të përgjithësimit dhe duket e pamundur që ta zhvillojmë së shpejti, të paktën pa ndihmën e një IA-je më të fuqishme. Prandaj, aktualisht, aftësia jonë për t’i vërtetuar në mënyrë empirike teknikat tona të përafrimit është praktikisht edhe më e rëndësishme se vetë teknikat.

Qasja kryesore e OpenAI këtu ka qenë monitorimi i zinxhirit të mendimit⁠(hapet në një dritare të re). Ajo mbështetet në një ide tërheqëse dhe të shkallëzueshme: një pjesë e madhe e aftësisë së modelit buron nga një proces arsyetimi i shprehur me fjalë (zinxhir mendimi). Nëse zgjerojmë optimizimin e rezultateve të këtij procesi, por nuk mbikëqyrim vetë procesin, gjatë trajnimit ky zinxhir mendimi nuk ka asnjë nxitje të drejtpërdrejtë për të fshehur ide apo objektiva të papërafruara. Kjo nuk do të thotë se modeli do të mësojë të shfaqë prirje të papërafruara që nuk varen nga përdorimi i zinxhirit të mendimit; megjithatë, mund të na lejojë të monitorojmë pikërisht rritjen e aftësisë që vjen nga arsyetimi.

Rëndësinë e mundshme të monitorimit të zinxhirit të mendimit e kuptuam në të njëjtën kohë kur zhvilluam modelet e arsyetimit. Kur nxorëm o1‑preview, e projektuam qëllimisht produktin për ta fshehur zinxhirin e mendimit⁠, që ta mbronim afatgjatë nga presioni i mbikëqyrjes². Gjatë zhvillimit të mëvonshëm, jemi përpjekur të ruajmë rregullin e mosmbikëqyrjes së procesit të arsyetimit. Monitorimi i CoT-së u bë një mjet jashtëzakonisht i rëndësishëm për të studiuar si përgjithësojnë modelet tona përtej shpërndarjes së trajnimit, duke na lejuar të vëzhgojmë e analizojmë jo vetëm veprimet e tyre, por edhe procesin e brendshëm.

Ky mjet mbetet thelbësor ndërsa studiojmë klasën Astra të modeleve. Megjithatë, për fat të keq, vlerësimet tona tregojnë se aftësia për t’u mbështetur te monitorimi i CoT-së po zvogëlohet gradualisht. Kjo vjen nga ndërthurja e disa faktorëve.

• Modelet moderne të arsyetimit përdoren në mjedise më komplekse se o1‑preview; procesi i tyre i arsyetimit ndërthuret gjithnjë e më shumë me komunikimin me njerëz e IA të tjera dhe me përdorimin e mjeteve. Shumë prej këtyre ndërveprimeve duhet të mbikëqyren, duke mjegulluar kështu kufirin që synojmë të ruajmë.
• IA-ja po bëhet më e aftë të arsyetojë rreth procesit të vet të arsyetimit dhe ta manipulojë atë.
• Me përmirësimin e performancës së paratrajnimit, shohim gjithashtu se modelet bëhen shumë më inteligjente edhe pa përdorur fare arsyetim të shprehur me fjalë.

Këto sfida nuk janë medoemos të pakapërcyeshme. Shpresoj se mund të zhvillojmë ndërhyrje që përmirësojnë mundësinë e monitorimit të zinxhirit të mendimit të modeleve tona, p.sh. duke kuptuar më mirë ndërveprimin mes objektivave të ndryshëm të optimizimit dhe formave të kapacitetit llogaritës që modeli përdor gjatë testimit. Besoj gjithashtu se ndërthurja e ideve nga monitorimi i CoT-së dhe ai i aktivizimeve mund të ketë vlerë të madhe: zgjerimi i trajnimit të monitoruesve me akses të drejtpërdrejtë në brendësinë e rrjetit, p.sh. rrëfimet⁠(hapet në një dritare të re). Po i ndjekim aktivisht këto ide. Megjithatë, pres që përparimi i përgjithshëm i IA-së të kufizohet gjithnjë e më shumë nga besimi te monitorimi.

Argumenti më i fortë që shoh për të vazhduar trajnimin e shpejtë të modeleve shumë më inteligjente është nevoja për të ndërtuar sisteme mbrojtëse kundër rreziqeve që paraqesin IA të tjera.

Një rrezik i qartë, i diskutuar gjatë gjithë këtij viti, lidhet me sigurinë kibernetike: modelet po fitojnë aftësi mbinjerëzore për të depërtuar në sisteme kompjuterike dhe për të dalë prej tyre. Kjo e zgjeron jashtëzakonisht gamën e rreziqeve që lidhen me IA-në: agjentët do të mund të hyjnë në çdo infrastrukturë, përveç më të sigurtave, dhe të ndikojnë drejtpërdrejt në një pjesë të madhe të botës, edhe pa trup fizik. Aktualisht kemi një dritare të ngushtë mundësie⁠ për t’i përdorur modelet më të mira të disponueshme që të forcojmë ndjeshëm sigurinë⁠ e sistemeve kritike.

Fatkeqësisht, rreziqet që lidhen me IA-në vetëm sa do të rriten prej këtej. Një agjent shumë i aftë, i trajnuar dhe udhëzuar shprehimisht për të kryer veprime keqdashëse, paraqet një lloj të ri rreziku; ka gjasa të shkojë përtej synimit të operatorit të vet, duke përgjithësuar drejt sjelljeve potencialisht edhe më skajshëm keqdashëse. Kufiri mes keqpërdorimit dhe veprimeve autonome të papërafruara do të mjegullohet teksa IA-ja fiton më shumë autonomi veprimi. Mund të jemi mësuar ta mendojmë IA-në si mjet, por disa agjentë do të ndjekin objektivat e tyre. Ata do të gjejnë mënyra për të bashkëpunuar me njerëzit, duke bërë pazare me ta, duke i mashtruar ose shantazhuar.

Përveç kësaj, ekzistojnë rreziqet që burojnë nga teknologjitë e reja që IA-ja mund të bëjë të mundura, si patogjenët e krijuar artificialisht.

Për mbrojtje do të na duhet një IA e fuqishme dhe e përafruar: për të siguruar infrastrukturën, për t’u mbrojtur në kohë reale nga agjentët e pakontrolluar dhe për të shpikur masa mbrojtëse krejtësisht të reja. Ky do të jetë një nga përqendrimet kryesore të përpjekjeve të OpenAI për vënien në përdorim.

Njëkohësisht, pavarësisht pasigurisë që sjell përparimi i gjerë i pritshëm i IA-së dhe nevojës për të ndërtuar sisteme mbrojtëse, nuk duhet të lejojmë që kjo të bëhet justifikim për papërgjegjshmëri. Ideja për të nxituar përpara me çdo kusht duket absurde sapo e kupton vërtet sa shumë është në lojë.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(hapet në një dritare të re), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(hapet në një dritare të re), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(hapet në një dritare të re) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.