Akili Geni

Katikati ya 2023, katika mradi wa utafiti wa “RLSlow”, tuliona matokeo ya kwanza yaliyotupa imani kwamba tutaweza kupanua mafunzo ya miundo ya uwazaji, na kufungua uwezo wa miundo iliyofunzwa awali kuunda misururu yake yenyewe ya mawazo. Mimi na Szymon tulikesha ofisini usiku huo, bila kuwaza takwimu za ajabu za vipimo linganishi, bidhaa au matokeo ya kisayansi ambayo teknolojia hii ingeleta, bali tukijaribu kuelewa ukweli mzito kwamba katika maisha yetu tutaona mashine zenye akili inayotuzidi kwa kiasi kikubwa, na tayari tunaona mifumo hii itakavyokuwa; tukijiuliza jinsi ya kuwatahadharisha watu kuhusu umuhimu wa jambo hili.

Miaka mitatu baadaye, miundo ya lugha ya uwazaji ni sehemu ya uchumi inayokua haraka na inaanza kusogeza mipaka ya sayansi. Inaweza kuendesha kompyuta na violesura vya picha, kushirikiana na watu na miundo mingine, na kutekeleza miradi ya utafiti. Pia inabadilisha mazingira ya usalama wa kompyuta, na kwa kufanya hivyo inaleta hatari mpya zilizo wazi.

Utafiti mwingi mpya ulifanyika katika kipindi hiki, na uelewa wetu wa mifumo hii kwa mara nyingine ni tofauti kidogo na ulivyokuwa mwaka 2023. Kulingana na matokeo ya ndani, ninatarajia sana kasi hii ya maendeleo inaweza kudumishwa hadi kufikia uboreshaji unaojirudia wenyewe. Maendeleo ya AI yakiendelea katika mkondo wa sasa, mifumo tutakayoiona katika miaka michache ijayo huenda ikaleta ongezeko jingine la uwezo lenye ukubwa sawa au mkubwa zaidi, na izidi kuendesha maendeleo yake yenyewe.

Huu ni wakati unaohitaji tahadhari kubwa mno. Nina wasiwasi kuwa hakuna aliyejiandaa kwa athari za kuendelea kuongezeka kwa kasi kwa akili ya mashine. OpenAI itaendelea kutafuta suluhisho za kiufundi za upatanishaji na ufuatiliaji, kujenga mifumo ya kujilinda na kusitisha yenyewe upanuzi zaidi kadiri inavyohitajika; hata hivyo, ninaamini hatua pana zaidi zinahitajika.

Kwa ujumla, maendeleo ya akili ya mashine huchochewa na ongezeko la nguvu za ukokotoaji. Sisi katika OpenAI tulielewa hili kwa kina karibu mwaka 2017, baada ya kuona manufaa thabiti ya upanuzi katika miradi kadhaa ya utafiti¹. Kwa sababu hiyo, tulitafuta ufikiaji wa nguvu nyingi zaidi za kompyuta kuliko tulivyopanga awali, na kuzidi kuelekeza utafiti wetu kwenye mielekeo michache inayoweza kupanuliwa sana. Tuliamini hiyo ndiyo njia pekee ya kuwa kwenye mpaka wa utafiti wa AI na kuathiri matokeo ya AGI.

Njiani, algoriti mpya zimeundwa na timu pamoja na watafiti binafsi wameonyesha ubunifu mpya wa hali ya juu. Kwa kiasi kikubwa, ninaziona kama uvumbuzi katika njia ya upanuzi; sayansi ya mafunzo ya kina bado ni changa, na maendeleo muhimu ya algoriti kwa kawaida yanahusiana na ufikiaji wa nguvu za kompyuta. Ukitazama upeo wa miaka kadhaa, AI inaendelea kupata akili zaidi kadiri inavyopanuliwa kwenye kompyuta kubwa zaidi.

Na, kwa mujibu wa utabiri wa Ray Kurzweil wa mwishoni mwa karne ya 20⁠(fungua katika dirisha jipya), sasa tumefikia wakati katika historia ya kompyuta ambapo akili ya mashine inaanza kuzidi ya binadamu kwa njia zinazoleta mabadiliko makubwa.

AI kwa kiasi kikubwa hukuzwa kuliko kubuniwa—kimsingi, ni zao la kurudia hatua rahisi ya uboreshaji mara nyingi kwa kutumia kiasi cha nguvu za kompyuta ambacho ni vigumu kufikiria. Hii huzalisha mfumo tata kupita kiasi unaoshughulikia dhana dhahania na unaweza kuiga vipengele vya tabia ya binadamu. Tunaweza kugundua maarifa mbalimbali kuhusu taratibu ndogo zinazojitokeza ndani ya mfumo huu, katika mchakato unaofanana na sayansi ya neva—na kama ilivyo katika sayansi ya neva, utendaji wake kwa ujumla hauwezi kuelezwa kwa njia tunayoelewa kikamilifu.

Utafiti wa AI inayotegemea mafunzo ya kina kwa kiasi kikubwa ni sayansi ya majaribio. Tunaweka juhudi nyingi⁠ katika kuunda algoriti zenye misingi thabiti na kutoa utabiri unaoweza kupimwa, lakini kimsingi, awamu zetu za ufunzaji mkuu ni majaribio, na wakati mwingine matokeo yake hutushangaza. Zaidi ya hayo, mifumo inapozidi kuwa na uwezo, matokeo yanazidi kuwa magumu kufasiri.

Hili linatatizwa zaidi na algoriti za sasa ambazo kwa ujumla huboresha uwezo unaopimika kwa urahisi haraka kuliko ule ambao ni mgumu kupimwa bila upendeleo. Tunatumia muda mwingi kujaribu kuelewa jinsi uwezo unavyojumlishwa na mambo ya kutanguliza ili kuendeleza ujuzi utakaokuwa muhimu zaidi katika miaka michache ijayo. Kwa mfano, tunaamini tunaweza kuifanya miundo iwe bora hasa katika utafiti wa hisabati kwa kuipa umakini zaidi, lakini hatutangulizi mwelekeo huu kwa sababu ya udharura tunaouona kuhusu RSI na utafiti wa upatanishaji unaojiendesha, kama nitakavyojadili baadaye.

Akili inayozalishwa kwa kupanua mafunzo ya kina haiwezi kulinganishwa moja kwa moja na akili ya binadamu. Ili iwe na umuhimu mkubwa katika ulimwengu halisi—iwe yenye manufaa sana au hatari sana—AI haihitaji kulingana na au kuzidi uwezo wote wa binadamu; inahitaji tu kuzidi uwezo wa kutosha kati yake. Na kadiri inavyoendelea kuwazidi binadamu katika nyanja nyingi zaidi, inazidi kuwa vigumu kuelewa kiwango halisi cha uwezo wake.

Kwa sababu akili ya mashine hutokana na mchakato tofauti kimsingi na akili ya binadamu, hatuwezi kudhani kwamba kwa asili hufuata kanuni za kibinadamu au huzijumlisha kwa namna sawa na binadamu. Tatizo kuu katika utafiti wa AI ni upatanishaji—kuifanya AI “ijaribu kufanya jambo sahihi” kulingana na viwango vya binadamu.

Ili kupanga mielekeo ya utafiti wa vitendo, naona inafaa kutofautisha upatanishaji wa malengo na upatanishaji wa maadili.

Kwa ujumla, upatanishaji wa malengo huuliza: “je, AI inajaribu kutimiza lengo ililopewa?”. Hii inaweza kujumuisha mambo kama kufuata mpangilio wa daraja la maagizo⁠, au uwezo wa kuwasiliana na kushirikiana na watu ili kujaribu kuelewa malengo yao. Mielekeo hii imekuwa na umuhimu mkubwa sana kiutendaji.

Upatanishaji wa maadili ni sifa ya ndani zaidi ya muundo. Ni uwezo wa kushikilia na kujumlisha kanuni za kiwango cha juu; kutenda “kwa busara” hata unapopewa malengo yasiyoeleweka au yanayokinzana, au unapowekwa katika hali ngeni au zenye upinzani. AI iliyopatanishwa inapaswa kutenda kwa uaminifu, uadilifu na upendo kwa wanadamu.

Bila shaka, mpaka kati ya upatanishaji wa maadili na wa malengo unaweza kuwa hafifu, na kujali malengo kwa dhati kunahitaji kujaribu kubaini nia⁠(fungua katika dirisha jipya) na maadili yanayoyachochea. Hata hivyo, kwa kawaida ninapozungumzia umuhimu wa muda mrefu wa utafiti wa upatanishaji, ninarejelea upatanishaji wa maadili.

Changamoto ya msingi ya upatanishaji wa AI ni ujumlishaji. Mashine zinapozidi kuwa na akili, hujikuta zikishughulikia dhana za kiwango cha juu zaidi na kuwekwa katika mazingira yanayozidi kutofautiana na yale yaliyokutana nayo wakati wa mafunzo. Zinaweza kushindwa kujumlisha maadili yaliyofundishwa na kuimarishwa wakati wa mafunzo ili kuyatumia katika hali hizo mpya; na inaweza kuwa vigumu kwetu kuwa na uhakika jinsi zitakavyotenda. Hili linazidi kuwa gumu kwa sababu mfumo mzima ambamo AI hutumiwa unabadilika kwa kasi sana; kwa mfano, AI zinazofunzwa leo zinahitaji kustahimili mwingiliano na aina mbalimbali za AI nyingine. Muhimu zaidi, tunahitaji AI za siku zijazo ziendelee kushikilia maadili ya kibinadamu bila kujali kama zinaamini zinasimamiwa na binadamu.

Kuna makundi mawili makuu ya mbinu zinazotumika kwa sasa katika mafunzo ya upatanishaji.

La kwanza ni kuhimiza tabia iliyopatanishwa kama sehemu ya mafunzo ya uimarishaji yanayolenga malengo. Matendo ya muundo hutathminiwa—kwa kawaida na AI—ili kuona kama yanaafikiana na muundo fulani wa mapendeleo, “vipimo” au “katiba”, kisha hutuzwa ipasavyo. Mbinu hii inaweza kuwa na ufanisi mkubwa katika hali za kawaida, na ni sehemu muhimu ya jinsi wasaidizi wa kisasa wa AI huundwa. Kwa kusikitisha, inaweza pia kuvunjika kwa urahisi na hutegemea sana upana wa usimamizi wa mafunzo na uwezo wa muundo kujumlisha kutokana na hali ulizokutana nazo wakati wa mafunzo. Kwa mfano, katika tukio la OpenAI-Hugging Face, mawakala walidumisha mpaka wa kutotumia ujanja wa kijamii dhidi ya wanadamu. Hata hivyo, ni wazi walishindwa kujizuia kufanya matendo mengine yaliyokuwa nje ya wigo na yaliyokiuka dhamira ya maadili waliyofundishwa katika mazingira mengine.

Mbinu ya pili inalenga kutumia uwezo wa muundo kujumlisha kutokana na data ya mafunzo ya awali. Hii inaweza kuhusisha kuandaa seti za data za mafunzo zinazochochea upatanishaji, au kuelekeza muundo kwenye sehemu “iliyopatanishwa” ya mgawanyo wa mafunzo ya awali, kama vile muundo wa kuchagua haiba⁠(fungua katika dirisha jipya). Udhaifu wa mbinu hii ni kutoweza kustahimili shinikizo zaidi la uboreshaji. Ukichukua muundo unaowaza kwa ujumla mawazo ‘yaliyopatanishwa’, kisha ukaufanyia mafunzo ya kutosha ya kufikia malengo magumu sana, unaweza kujifunza kuwaza kwa upendeleo: kuyapinda mawazo yanayoonekana 'yamepatanishwa' kadiri inavyohitajika ili kufikia lengo. Huenda tuliona mfano wa tabia kama hiyo katika matukio ya hivi karibuni ya usalama wa mtandao yaliyohusisha muundo usio wa OpenAI.

Tunawekeza sana katika wigo mzima wa mbinu zinazojumuishwa na mielekeo hii. Pia tunaona maendeleo yenye maana—GPT‑6 Astra ndiyo muundo wa kwanza kunufaika na baadhi ya hatua muhimu ambazo tumekuwa tukizifanyia kazi kwa muda mrefu, na umepatanishwa vizuri zaidi kuliko GPT‑5.6 Sol. Hata hivyo, ni muhimu kukubali na kuelewa kwamba maendeleo mengi zaidi yanahitajika kadiri miundo inavyopata uwezo zaidi; na huenda maendeleo ya upatanishaji unaoweza kujumlishwa yasizidi vya kutosha maendeleo ya akili ya jumla ya muundo.

Hatuna nadharia ya kuridhisha kuhusu ujumlishaji, na inaonekana huenda tusiweze kuunda moja hivi karibuni, angalau bila msaada wa AI yenye nguvu zaidi. Kwa hiyo, kwa sasa, uwezo wetu wa kuthibitisha mbinu zetu za upatanishaji kwa majaribio kwa hakika ni muhimu zaidi hata kuliko mbinu zenyewe.

Mkakati mkuu wa OpenAI hapa umekuwa ufuatiliaji wa msururu wa mawazo⁠(fungua katika dirisha jipya). Unategemea wazo linalovutia na linaloweza kupanuliwa: sehemu kubwa ya uwezo wa muundo hutokana na mchakato wa uwazaji unaoelezwa kwa maneno (msururu wa mawazo). Tukipanua uboreshaji wa matokeo ya mchakato huo bila kusimamia mchakato wenyewe, wakati wa mafunzo msururu huo wa mawazo hautakuwa na kichocheo cha moja kwa moja cha kuficha mawazo au malengo yasiyopatanishwa. Hii haimaanishi kuwa muundo utajifunza kuonyesha mielekeo isiyopatanishwa ambayo haitegemei msururu wa mawazo; hata hivyo, inaweza kutuwezesha kufuatilia kwa usahihi ongezeko la uwezo linalotokana na uwazaji.

Tulielewa umuhimu unaowezekana wa kufuatilia msururu wa mawazo wakati uleule tulipounda miundo ya uwazaji. Tulipozindua o1‑preview, tuliunda bidhaa kimakusudi ili kuficha msururu wa mawazo⁠, ili kuulinda dhidi ya shinikizo la usimamizi kwa muda mrefu². Katika maendeleo yaliyofuata, tumejitahidi kudumisha kanuni ya kutosimamia mchakato wa uwazaji. Ufuatiliaji wa CoT ukawa nyenzo muhimu sana kwetu katika kuchunguza jinsi miundo yetu inavyojumlisha kutoka kwenye mgawanyo wa data yake ya mafunzo, na kutuwezesha kuona na kuchanganua matendo yake pamoja na mchakato wake wa ndani.

Nyenzo hii inaendelea kuwa muhimu tunapochunguza miundo ya kundi la Astra. Hata hivyo, kwa kusikitisha, tathmini zetu zinaonyesha kuwa uwezo wetu wa kutegemea ufuatiliaji wa CoT unapungua hatua kwa hatua. Hii inatokana na mchanganyiko wa sababu.

• Miundo ya kisasa ya uwazaji hutumiwa katika mazingira tata zaidi kuliko o1‑preview; mchakato wake wa uwazaji unazidi kuunganishwa na mawasiliano na watu, AI nyingine na matumizi ya zana. Mwingiliano mwingi kati ya hiyo lazima usimamiwe, hivyo kufifisha mpaka tunaolenga kuhifadhi.
• AI inazidi kuwa bora katika kutafakari na kudhibiti mchakato wake wa uwazaji.
• Kadiri utendaji wa mafunzo ya awali unavyoboreshwa, tunaona pia miundo ikizidi kuwa na akili hata bila kutumia kabisa uwazaji unaoelezwa kwa maneno.

Si lazima changamoto hizi zishindikane kutatuliwa. Nina matumaini tunaweza kubuni hatua za kuboresha uwezo wa kufuatilia msururu wa mawazo wa miundo yetu, kwa mfano kwa kuelewa vizuri zaidi mwingiliano wa malengo tofauti ya uboreshaji na aina za nguvu za kompyuta ambazo muundo hutumia wakati wa majaribio. Pia ninaamini kunaweza kuwa na manufaa makubwa katika kuunganisha mawazo ya ufuatiliaji wa CoT na wa viamilisho—kupanua mafunzo ya mifumo ya ufuatiliaji yenye ufikiaji wa moja kwa moja wa sehemu za ndani za mtandao, kwa mfano maungamo⁠(fungua katika dirisha jipya). Tunafuatilia mawazo haya kwa dhati. Hata hivyo, ninatarajia maendeleo ya jumla ya AI yazidi kuzuiwa na kiwango cha imani katika ufuatiliaji.

Hoja thabiti zaidi ninayoiona ya kuendelea kufunza kwa haraka miundo yenye akili zaidi ni haja ya kuunda mifumo ya kujilinda dhidi ya hatari zinazosababishwa na AI nyingine.

Hatari dhahiri iliyojadiliwa mwaka huu mzima inahusu usalama wa mtandao: miundo inazidi kuwa na uwezo unaopita wa binadamu wa kuingia na kutoka katika mifumo ya kompyuta bila ruhusa. Hii inapanua sana wigo wa hatari zinazohusishwa na AI: mawakala wataweza kufikia karibu miundombinu yoyote isipokuwa iliyo salama zaidi, na kuathiri sehemu kubwa ya dunia moja kwa moja, hata bila mwili halisi. Kwa sasa tuna fursa finyu⁠ ya kutumia miundo bora zaidi inayopatikana ili kuimarisha sana usalama⁠ wa mifumo muhimu.

Kwa kusikitisha, hatari zinazohusishwa na AI zitaendelea kuongezeka kuanzia hapa. Wakala mwenye uwezo mkubwa aliyefunzwa na kuagizwa waziwazi kutenda maovu analeta aina mpya ya hatari; huenda akavuka wigo wa nia ya mwendeshaji wake na kujumlisha mafunzo hayo kuwa tabia inayoweza kuwa ovu zaidi kupindukia. Mpaka kati ya matumizi mabaya na matendo yasiyopatanishwa yanayofanywa kwa uhuru utafifia kadiri AI inavyopata uhuru zaidi wa kutenda. Huenda tumezoea kufikiria AI kama zana, lakini baadhi ya mawakala watafuatilia malengo yao wenyewe. Watatafuta njia za kushirikiana na watu kwa kujadiliana nao, kuwadanganya au kuwashurutisha kwa vitisho.

Isitoshe, kuna hatari zinazotokana na teknolojia mpya ambazo huenda zikawezeshwa na AI, kama vile vimelea vilivyoundwa kimaabara.

Tutahitaji AI yenye nguvu na iliyopatanishwa kwa ajili ya ulinzi: kulinda miundombinu, kukabiliana na mawakala waasi kwa wakati halisi na kubuni mbinu mpya kabisa za ulinzi. Hili litakuwa lengo kuu la juhudi za OpenAI za kusambaza teknolojia.

Wakati huohuo, licha ya kutokuwa na uhakika kunakotokana na maendeleo mapana ya AI yanayotarajiwa na haja ya kuunda mifumo ya kujilinda, hatupaswi kuruhusu hayo yawe kisingizio cha uzembe. Wazo la kukimbilia mbele kwa gharama yoyote linaonekana la kipuuzi mtu anapoelewa kikamilifu uzito wa yaliyo hatarini.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(fungua katika dirisha jipya), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(fungua katika dirisha jipya), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(fungua katika dirisha jipya) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.