Օտար միտք

2023-ի կեսերին՝ «RLSlow» հետազոտական նախագծի շրջանակում, տեսանք առաջին արդյունքները, որոնք մեզ վստահություն ներշնչեցին, որ կկարողանանք մասշտաբավորել հիմնավորման մոդելների վարժեցումը՝ բացահայտելով նախապես վարժեցված մոդելների՝ սեփական մտքերի շղթաները ձևավորելու կարողությունը։ Այդ գիշեր Շիմոնի հետ մնացինք գրասենյակում՝ մտածելով ոչ թե չափորոշիչների անհավանական ցուցանիշների, պրոդուկտների կամ այս տեխնոլոգիայի բերելիք գիտական արդյունքների մասին, այլ փորձելով ընկալել այն սթափեցնող փաստը, որ մեր կյանքի ընթացքում իսկապես կտեսնենք մեզնից զգալիորեն խելացի մեքենաներ, և որ արդեն իսկ տեսնում ենք այդ համակարգերի ուրվագիծը։ Մտածում էինք՝ ինչպես մարդկանց իրազեկել այս ամենի նշանակության մասին։

Երեք տարի անց դատողության լեզվային մոդելներն արագորեն աճող դեր են ստանձնում տնտեսությունում և սկսում են ընդլայնել գիտության սահմանները։ Նրանք կարող են կառավարել համակարգիչներ ու գրաֆիկական միջերեսներ, համագործակցել մարդկանց և միմյանց հետ ու հետազոտական նախագծեր իրականացնել։ Նրանք նաև վերափոխում են համակարգչային անվտանգության ոլորտը և դրանով իսկ ակնհայտ նոր վտանգներ ստեղծում։

Այս շրջանում բազմաթիվ նոր հետազոտություններ են իրականացվել, և այս համակարգերի մեր ըմբռնումը կրկին փոքր-ինչ տարբերվում է 2023-ի պատկերացումներից։ Ներքին արդյունքների հիման վրա մեծ վստահությամբ ակնկալում եմ, որ առաջընթացի այս արագությունը կարող է պահպանվել նաև ռեկուրսիվ ինքնակատարելագործման փուլում։ Եթե AI-ի զարգացումը շարունակվի ներկայիս ուղով, ապա առաջիկա մի քանի տարիներին մեր տեսնելիք համակարգերը, հավանաբար, կունենան նույն կամ ավելի մեծ չափի կարողությունների նոր թռիչքներ և ավելի ու ավելի մեծ դեր կունենան սեփական զարգացման մեջ։

Այս ժամանակաշրջանը ծայրահեղ զգուշություն է պահանջում։ Անհանգստացած եմ, որ ոչ ոք պատրաստ չէ մեքենայական բանականության շարունակական արագ աճի հետևանքներին։ OpenAI-ն կշարունակի համապատասխանեցման ու վերահսկման տեխնիկական լուծումներ որոնել, պաշտպանական համակարգեր ստեղծել և ըստ անհրաժեշտության միակողմանիորեն դադարեցնել հետագա մասշտաբավորումը, սակայն կարծում եմ՝ ավելի լայն միջամտություններ են անհրաժեշտ։

Ընդհանուր առմամբ, մեքենայական բանականության առաջընթացի շարժիչը հաշվարկային հզորության աճն է։ OpenAI-ում մենք դա խորապես գիտակցեցինք մոտ 2017-ին՝ մի քանի հետազոտական նախագծերում մասշտաբավորման շնորհիվ հետևողական բարելավումներ տեսնելուց հետո¹։ Արդյունքում սկսեցինք փնտրել մեր սկզբնական ծրագրերից շատ ավելի մեծ հաշվարկային ռեսուրսների հասանելիություն և հետազոտություններն ավելի ու ավելի կենտրոնացրինք հեշտ մասշտաբավորվող մի քանի ուղղությունների վրա։ Կարծում էինք, որ միայն այդպես կարող ենք մնալ AI-ի առաջադեմ հետազոտությունների առաջնագծում և ազդել AGI-ի հետևանքների վրա։

Այդ ճանապարհին մշակվել են նոր ալգորիթմներ, իսկ թիմերն ու առանձին հետազոտողները ցուցաբերել են հնարամտության նոր օրինակներ։ Դրանք հիմնականում համարում եմ մասշտաբավորման ճանապարհին արված հայտնագործություններ․ խորքային ուսուցման գիտությունը դեռ սկզբնական փուլում է, իսկ նշանակալի ալգորիթմական առաջընթացը սովորաբար փոխկապակցված է հաշվարկային ռեսուրսների հասանելիության հետ։ Եթե դիտարկենք մի քանի տարվա հեռանկարը, կտեսնենք, որ AI-ն ավելի մեծ համակարգիչների վրա մասշտաբավորվելուն զուգահեռ շարունակում է ավելի խելացի դառնալ։

Եվ, համաձայն XX դարի վերջին Ռեյ Կուրցվայլի արած կանխատեսումների⁠(բացվում է նոր պատուհանում), այժմ հասել ենք հաշվողական տեխնիկայի պատմության այն փուլին, երբ մեքենայական բանականությունը սկսում է վերափոխիչ նշանակություն ունեցող ձևերով գերազանցել մարդկային բանականությանը։

AI-ն ավելի շատ աճեցվում է, քան նախագծվում․ առաջին հերթին այն պարզ օպտիմալացման քայլն աներևակայելի ծավալի հաշվարկային ռեսուրսներով բազմիցս կրկնելու արդյունք է։ Արդյունքում ձևավորվում է անհավանական բարդ համակարգ, որը գործում է վերացական հասկացություններով և կարող է նմանակել մարդկային վարքի տարբեր կողմեր։ Մենք կարող ենք նյարդագիտությանը նման գործընթացով տարբեր պատկերացումներ ստանալ այս համակարգում առաջացող փոքր մեխանիզմների մասին, սակայն, ինչպես նյարդագիտության դեպքում, դրա ընդհանուր գործելակերպը հնարավոր չէ նկարագրել մեզ լիովին հասկանալի ձևով։

Խորքային ուսուցման վրա հիմնված AI-ի ուսումնասիրությունը հիմնականում փորձարարական գիտություն է։ Մենք մեծ ջանքեր ենք գործադրում⁠ հիմնավորված ալգորիթմներ ստեղծելու և ստուգելի կանխատեսումներ անելու համար, սակայն մեր լայնածավալ վարժեցման գործարկումներն իրենց էությամբ փորձեր են, և դրանց արդյունքները երբեմն զարմացնում են մեզ։ Ավելին, համակարգերի կարողությունների աճին զուգահեռ արդյունքներն ավելի դժվար է մեկնաբանել։

Խնդիրն ավելի է բարդանում, քանի որ ներկայիս ալգորիթմները սովորաբար ավելի արագ են բարելավում հեշտ չափելի կարողությունները, քան օբյեկտիվորեն դժվար չափվողները։ Մենք շատ ժամանակ ենք հատկացնում հասկանալու, թե կարողություններն ինչպես են ընդհանրացվում, և ինչը պետք է առաջնահերթ համարել՝ առաջիկա տարիներին առավել կարևոր հմտությունները զարգացնելու համար։ Օրինակ՝ կարծում ենք, որ լրացուցիչ կենտրոնացմամբ կարող ենք մոդելները բարելավել հատկապես մաթեմատիկական հետազոտությունների ոլորտում, բայց այդ ուղղությունն առաջնահերթ չենք համարում RSI-ի և համապատասխանեցման ավտոմատացված հետազոտության հրատապության պատճառով, ինչպես հետագայում կքննարկեմ։

Խորքային ուսուցման մասշտաբավորմամբ ստեղծվող բանականությունն ուղղակիորեն համեմատելի չէ մարդկային բանականության հետ։ Իրական աշխարհում շատ կարևոր՝ շատ օգտակար կամ շատ վտանգավոր դառնալու համար AI-ն պարտադիր չէ, որ հավասարվի կամ գերազանցի մարդկային բոլոր կարողությունները․ բավական է գերազանցի դրանցից բավականաչափ շատերը։ Եվ քանի որ այն շարունակում է ավելի ու ավելի շատ ուղղություններով գերազանցել մարդկանց, գնալով դժվարանում է ճշգրիտ հասկանալ դրա կարողությունների իրական չափը։

Քանի որ մեքենայական բանականությունը ձևավորվում է մարդկայինից հիմնովին տարբեր գործընթացով, չենք կարող ենթադրել, որ այն ի սկզբանե հետևում է մարդկային սկզբունքներին կամ դրանցից ընդհանրացումներ է անում մարդկանց պես։ AI-ի հետազոտության առանցքային խնդիրը համապատասխանեցումն է՝ հասնել նրան, որ AI-ն մարդկային չափանիշներով «փորձի ճիշտ վարվել»։

Գործնական հետազոտական ուղղությունները կազմակերպելու համար օգտակար եմ համարում տարբերակել նպատակների համապատասխանեցումը և արժեքների համապատասխանեցումը։

Նպատակների համապատասխանեցումը, ընդհանուր առմամբ, պատասխանում է հետևյալ հարցին․ «AI-ը փորձո՞ւմ է հասնել իր առջև դրված նպատակին»։ Սա կարող է ներառել հրահանգների աստիճանակարգին⁠ հետևելը կամ մարդկանց հետ հաղորդակցվելու և համագործակցելու՝ նրանց նպատակները հասկանալու փորձ անելու կարողությունը։ Հետազոտական այս ուղղությունների համախումբը գործնականում չափազանց կարևոր է եղել։

Արժեքների համապատասխանեցումը մոդելի ավելի ներհատուկ հատկություն է։ Դա բարձր մակարդակի սկզբունքներ որդեգրելու և դրանցից ընդհանրացումներ անելու կարողությունն է՝ «ողջամտորեն» գործելու նույնիսկ ոչ հստակ կամ հակասական նպատակների դեպքում կամ անծանոթ ու թշնամական իրավիճակներում։ Համապատասխանեցված AI-ն պետք է գործի ազնվությամբ, բարեվարքությամբ և մարդկության հանդեպ սիրով։

Իհարկե, արժեքների և նպատակների համապատասխանեցման սահմանը կարող է աղոտ լինել, իսկ նպատակների մասին իսկապես հոգալը պահանջում է փորձել հասկանալ դրանց հիմքում ընկած մտադրությունն⁠(բացվում է նոր պատուհանում) ու արժեքները։ Սակայն երբ խոսում եմ համապատասխանեցման հետազոտության երկարաժամկետ կարևորության մասին, սովորաբար նկատի ունեմ արժեքների համապատասխանեցումը։

AI-ի համապատասխանեցման հիմնարար մարտահրավերն ընդհանրացումն է։ Մեքենաներն ավելի խելացի դառնալուն զուգահեռ սկսում են աշխատել ավելի բարձր մակարդակի հասկացությունների հետ և հայտնվում են իրենց վարժեցման միջավայրերից գնալով ավելի տարբեր միջավայրերում։ Նրանք կարող են չկարողանալ վարժեցման ընթացքում ուսուցանված ու ամրապնդված արժեքներն ընդհանրացնել նոր իրավիճակների վրա, իսկ մեզ համար դժվար կլինի վստահ լինել, թե ինչպես կգործեն։ Խնդիրն ավելի է բարդանում, քանի որ AI-ների կիրառման ընդհանուր էկոհամակարգը շատ արագ է փոխվում․ օրինակ՝ այսօր վարժեցված AI-ները պետք է հուսալիորեն փոխգործակցեն բազմաթիվ այլ AI-ների հետ։ Չափազանց կարևոր է, որ ապագա AI-ները շարունակեն պահպանել մարդկային արժեքները՝ անկախ նրանից՝ կարծում են, որ մարդիկ վերահսկում են իրենց, թե ոչ։

Ներկայում համապատասխանեցման վարժեցման համար գործնականում կիրառվող մեթոդները բաժանվում են երկու հիմնական դասի։

Առաջինը նպատակաուղղված ամրապնդումով ուսուցման շրջանակում համապատասխանեցված վարքը խրախուսելն է։ Մոդելի գործողությունները գնահատվում են, (սովորաբար AI-ի միջոցով), ըստ նախապատվությունների տվյալ մոդելին, «բնութագրին» կամ «սահմանադրությանը» համապատասխանության և և ըստ այդմ պարգևատրվում են։ Այս մոտեցումը սովորական դեպքերում կարող է շատ արդյունավետ լինել և ժամանակակից AI օգնականների ստեղծման առանցքային մաս է։ Ցավոք, այն կարող է նաև փխրուն լինել և մեծապես կախված է վարժեցման վերահսկողության ընդգրկումից ու վարժեցման ընթացքում հանդիպած իրավիճակներից ընդհանրացումներ անելու մոդելի կարողությունից։ Օրինակ՝ OpenAI-Hugging Face միջադեպում ագենտները պահպանեցին մարդկանց նկատմամբ սոցիալական ինժեներիա չկիրառելու սահմանափակումը։ Սակայն նրանք ակնհայտորեն չխուսափեցին շրջանակից դուրս այլ գործողություններից, որոնք հակասում էին այլ միջավայրերում իրենց ուսուցանված արժեքների ոգուն։

Երկրորդ մոտեցումը ձգտում է օգտագործել նախնական վարժեցման տվյալներից ընդհանրացումներ անելու մոդելի կարողությունը։ Սա կարող է ներառել համապատասխանեցում խթանող վարժեցման տվյալակազմերի ստեղծումը կամ մոդելը նախնական վարժեցման բաշխման «համապատասխանեցված» հատվածի վրա կենտրոնացնելը, ինչպես, օրինակ, անձի ընտրության մոդելի⁠(բացվում է նոր պատուհանում) դեպքում։ Այս մոտեցման թուլությունը հետագա օպտիմալացման ճնշման նկատմամբ ոչ բավարար կայունությունն է։ Եթե ընդհանուր առմամբ «համապատասխանեցված» մտքեր ունեցող մոդելն այնքան վարժեցնեք, որ սովորի հասնել շատ դժվար նպատակների, այն կարող է միտումնավոր կողմնակալ դատել՝ նպատակի համար ըստ անհրաժեշտության ձևափոխելով 'համապատասխանեցված' թվացող մտքերը։ Հավանաբար նման վարքի օրինակ ենք տեսել ոչ OpenAI մոդելի մասնակցությամբ վերջերս տեղի ունեցած կիբեռանվտանգության միջադեպերում։

Մենք մեծ ներդրումներ ենք կատարում այս ուղղություններով ընդգրկված մոտեցումների ամբողջ սպեկտրում։ Տեսնում ենք նաև նշանակալի առաջընթաց․ GPT‑6 Astra-ն առաջին մոդելն է, որն օգտվում է որոշ կարևոր բարելավումներից, որոնց վրա երկար ժամանակ աշխատել ենք, և զգալիորեն ավելի լավ է համապատասխանեցված, քան GPT‑5.6 Sol-ը։ Այդուհանդերձ, կարևոր է ընդունել և հասկանալ, որ մոդելների կարողությունների աճին զուգահեռ շատ ավելի մեծ առաջընթաց է անհրաժեշտ, և ընդհանրացվող համապատասխանեցման առաջընթացը կարող է բավարար չափով առաջ չանցնել մոդելների ընդհանուր բանականության առաջընթացից։

Մենք չունենք ընդհանրացման բավարար տեսություն, և քիչ հավանական է, որ շուտով կարողանանք ստեղծել այն՝ առնվազն առանց ավելի հզոր AI-ի օգնության։ Ուստի ներկայում համապատասխանեցման մեր մեթոդները փորձնականորեն վավերացնելու կարողությունը գործնականում, թերևս, ավելի կարևոր է, քան հենց այդ մեթոդները։

Այս հարցում OpenAI-ի հիմնական խաղադրույքը եղել է մտքերի շղթայի վերահսկումը⁠(բացվում է նոր պատուհանում)։ Դրա հիմքում գրավիչ և հեշտ մասշտաբավորվող գաղափար է․ մոդելի կարողությունների մեծ մասը բխում է բառերով արտահայտված դատողության գործընթացից (մտքերի շղթա)։ Եթե մասշտաբավորենք այդ գործընթացի արդյունքների օպտիմալացումը, բայց չվերահսկենք բուն գործընթացը, ապա վարժեցման ընթացքում մտքերի շղթան չի ունենա անհամապատասխան գաղափարներ կամ նպատակներ թաքցնելու ուղղակի խթան։ Սա չի նշանակում, որ մոդելը կսովորի բացահայտ արտահայտել մտքերի շղթայից չօգտվող անհամապատասխան հակումները, սակայն այս մոտեցումը կարող է մեզ թույլ տալ վերահսկել հենց դատողության շնորհիվ ձեռք բերվող կարողությունների աճը։

Մենք մտքերի շղթայի վերահսկման հնարավոր նշանակությունը հիմնավորման մոդելները մշակելու ժամանակ։ Երբ թողարկեցինք o1‑preview‑ն, միտումնավոր այնպես նախագծեցինք պրոդուկտը, որ այն թաքցնի մտքերի շղթան⁠՝ երկարաժամկետ հեռանկարում այն վերահսկողության ճնշումից պաշտպանելու համար²։ Հետագա մշակման ընթացքում ձգտել ենք պահպանել դատողության գործընթացը չվերահսկելու կանոնը։ CoT-ի վերահսկումը մեզ համար չափազանց կարևոր գործիք է դարձել՝ ուսումնասիրելու, թե մեր մոդելներն ինչպես են ընդհանրացումներ անում վարժեցման տվյալների բաշխումից՝ թույլ տալով դիտարկել և վերլուծել ոչ միայն նրանց գործողությունները, այլև ներքին դատողության գործընթացը։

Այս գործիքը շարունակում է վճռորոշ դեր ունենալ Astra դասի մոդելներն ուսումնասիրելիս։ Սակայն, ցավոք, մեր գնահատումները ցույց են տալիս, որ CoT-ի վերահսկման վրա հենվելու մեր կարողությունն աստիճանաբար նվազում է։ Սա մի քանի գործոնի համակցության հետևանք է։

• Ժամանակակից հիմնավորման մոդելներն օգտագործվում են ավելի բարդ միջավայրերում, քան o1‑preview‑ը․ նրանց դատողության գործընթացն ավելի ու ավելի է միահյուսվում մարդկանց, այլ AI-ների և գործիքների հետ փոխգործակցությանը։ Այդ փոխգործակցություններից շատերը պետք է վերահսկվեն, ինչի հետևանքով մեր պահպանած սահմանը դառնում է անորոշ։
• AI-ն ավելի հմուտ է դառնում սեփական դատողության գործընթացը վերլուծելու և կառավարելու հարցում։
• Նախնական վարժեցման արդյունավետության բարելավմանը զուգահեռ տեսնում ենք նաև, որ մոդելները շատ ավելի խելացի են դառնում նույնիսկ առանց բառերով արտահայտված դատողության։

Այս մարտահրավերները պարտադիր չէ, որ անհաղթահարելի լինեն։ Հուսով եմ՝ կարող ենք միջոամտության եղանակներ մշակել մեր մոդելների մտքերի շղթայի վերահսկելիությունը բարելավելու համար, օրինակ՝ ավելի լավ հասկանալով օպտիմալացման տարբեր նպատակների և եզրակացության ժամանակ մոդելի օգտագործած հաշվարկային ռեսուրսների տարբեր ձևերի փոխազդեցությունը։ Կարծում եմ նաև, որ CoT-ի և ակտիվացումների վերահսկման գաղափարների համադրումը կարող է մեծ արժեք ունենալ՝ մասշտաբավորելով ցանցի ներքին կառուցվածքին անմիջական հասանելիություն ունեցող վերահսկիչների վարժեցումը, օրինակ՝ խոստովանությունների⁠(բացվում է նոր պատուհանում) միջոցով։ Մենք ակտիվորեն զարգացնում ենք այս գաղափարները։ Այդուհանդերձ, ակնկալում եմ, որ AI-ի ընդհանուր առաջընթացն ավելի ու ավելի կսահմանափակվի վերահսկման նկատմամբ վստահությամբ։

Շատ ավելի խելացի մոդելների արագ վարժեցումը շարունակելու օգտին իմ տեսած ամենաուժեղ փաստարկը այլ AI-ներից բխող վտանգների դեմ պաշտպանական համակարգեր ստեղծելու անհրաժեշտությունն է։

Այս ամբողջ տարվա ընթացքում քննարկված ակնհայտ ռիսկերից մեկը վերաբերում է կիբեռանվտանգությանը․ մոդելները գերմարդկային կարողություններ են ձեռք բերում համակարգչային համակարգեր ներխուժելու և դրանց պաշտպանությունը շրջանցելու հարցում։ Սա ահռելիորեն ընդլայնում է AI-ի հետ կապված ռիսկերի շրջանակը․ ագենտները կկարողանան մուտք գործել գրեթե ցանկացած ենթակառուցվածք՝ բացի ամենապաշտպանվածներից, և նույնիսկ առանց ֆիզիկական մարմնի ուղղակիորեն ազդել աշխարհի մեծ մասի վրա։ Այժմ ունենք կարճ ժամանակային պատուհան⁠, որի ընթացքում լավագույն հասանելի մոդելներով կարող ենք էապես ուժեղացնել կարևորագույն համակարգերի անվտանգությունը⁠։

Ցավոք, այսուհետ AI-ի հետ կապված ռիսկերը միայն աճելու են։ Չարագործություններ կատարելու համար հատուկ վարժեցված և հրահանգավորված, շատ ունակ ագենտը նոր տեսակի վտանգ է ներկայացնում․ հավանական է, որ այն դուրս գա իր` օպերատորի մտադրությունների շրջանակից՝ ընդհանրացնելով սովորածը և դրսևորելով հնարավոր շատ ավելի ծայրահեղ չարամիտ վարք։ AI-ի ինքնուրույնության աճին զուգահեռ չարաշահման և ինքնավար անհամապատասխան գործողությունների սահմանը կաղոտանա։ Մենք գուցե սովոր ենք AI-ը որպես գործիք ընկալել, սակայն որոշ ագենտներ հետապնդելու են սեփական նպատակները։ Նրանք մարդկանց հետ համագործակցելու ուղիներ կգտնեն՝ նրանց հետ սակարկելով, խաբելով կամ շանտաժի ենթարկելով։

Բացի այդ, կան ռիսկեր, որոնք բխում են AI-ի շնորհիվ հնարավոր դարձող նոր տեխնոլոգիաներից, օրինակ՝ արհեստականորեն ստեղծված ախտածիններից։

Պաշտպանության համար մեզ անհրաժեշտ կլինի հզոր, համապատասխանեցված AI՝ ենթակառուցվածքներն անվտանգ դարձնելու, անկառավարելի ագենտներից իրական ժամանակում պաշտպանվելու և բոլորովին նոր պաշտպանական միջոցներ ստեղծելու համար։ Սա OpenAI-ի ներդրման ջանքերի առաջնային ուղղություններից է լինելու։

Միևնույն ժամանակ, նույնիսկ հաշվի առնելով AI-ի ակնկալվող համատարած առաջընթացից բխող անորոշությունն ու պաշտպանական համակարգեր ստեղծելու անհրաժեշտությունը՝ չպետք է թույլ տանք, որ դրանք անխոհեմության արդարացում դառնան։ Ամեն գնով առաջ սլանալու գաղափարն անհեթեթ է թվում, երբ լիովին գիտակցում ես, թե որքան լուրջ են հնարավոր հետևանքները։

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(բացվում է նոր պատուհանում), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(բացվում է նոր պատուհանում), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(բացվում է նոր պատուհանում) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.