Харь оюун ухаан

2023 оны дундуур «RLSlow» судалгааны төслийн хүрээнд сэтгэн бодох загваруудын сургалтыг өргөжүүлж, урьдчилан сургасан загварууд өөрийн бодлын хэлхээг үүсгэх чадварыг нээж чадна гэсэн итгэл төрүүлсэн анхны үр дүнг бид харсан. Шимон бид хоёр тэр шөнийг оффист өнгөрөөсөн. Бид энэ технологийн авчрах гайхалтай жишиг үзүүлэлт, бүтээгдэхүүн, шинжлэх ухааны үр дүнгийн тухай бус, харин амьдралынхаа хугацаанд өөрсдөөсөө бодитоор ухаалаг машинуудыг үзэх нь, тэдгээр системийн дүр төрх аль хэдийн харагдаж эхэлсэн нь ямар ноцтой баримт болохыг ухаарахыг хичээж, үүний ач холбогдлыг хүмүүст хэрхэн ойлгуулахаа бодож байлаа.

Гурван жилийн дараа сэтгэн бодох хэлний загварууд эдийн засгийн хурдацтай өсөж буй хэсэг болж, шинжлэх ухааны хил хязгаарыг тэлж эхэллээ. Тэд компьютер, график интерфэйс ажиллуулж, хүмүүс болон өөр хоорондоо хамтран ажиллаж, судалгааны төсөл хэрэгжүүлэх чадвартай. Мөн компьютерын аюулгүй байдлын орчныг өөрчилж, үүгээрээ илэрхий шинэ аюул дагуулж байна.

Энэ хугацаанд олон шинэ судалгаа хийгдэж, эдгээр системийн талаарх бидний ойлголт 2023 оныхоос дахин бага зэрэг өөрчлөгдлөө. Дотоод үр дүнд тулгуурлан энэ ахицын хурд рекурсив өөрийгөө сайжруулалтад ч хадгалагдана гэж би баттай таамаглаж байна. AI-ийн хөгжил өнөөгийн замаараа үргэлжилбэл ойрын хэдэн жилд гарах системүүдийн чадвар үүнтэй тэнцүү эсвэл бүр их хэмжээгээр үсрэнгүй өсөж, өөрсдийн хөгжлийг улам ихээр хөтлөх магадлалтай.

Энэ үед туйлын болгоомжтой байх шаардлагатай. Машины оюун ухаан хурдацтай өссөөр байхын үр дагаварт хэн ч бэлтгэлгүй байгаа гэж би санаа зовж байна. OpenAI нийцүүлэлт, хяналтын техникийн шийдэл эрэлхийлж, хамгаалах систем бүтээж, шаардлагатай үед цаашдын өргөжүүлэлтийг дангаараа түдгэлзүүлсээр байх болно. Гэхдээ үүнээс өргөн хүрээний арга хэмжээ шаардлагатай гэж би үздэг.

Ерөнхий түвшинд машины оюун ухааны ахицыг тооцоолох хүчин чадлын өсөлт хөтөлдөг. Олон судалгааны төсөлд өргөжүүлэлт тогтмол үр өгөөж өгч байгааг харснаар OpenAI дахь бид 2017 оны орчим үүнийг гүнээ ухамсарласан¹. Үүний үр дүнд бид анх төлөвлөснөөсөө хавьгүй их тооцооллын нөөцөд хандахыг зорьж, судалгаагаа өргөжүүлэх өндөр боломжтой цөөн чиглэлд улам төвлөрүүлсэн. AI судалгааны хил хязгаарт байж, AGI-ийн нөлөөнд хувь нэмэр оруулах цорын ганц арга энэ гэж бид үзсэн.

Энэ замд шинэ алгоритмууд боловсруулагдаж, багууд болон судлаачид шинэ шинэ бүтээлч шийдэл гаргасан. Би эдгээрийг голчлон өргөжүүлэлтийн замд хийсэн нээлтүүд гэж үздэг. Гүний сургалтын шинжлэх ухаан дөнгөж эхэлж байгаа бөгөөд алгоритмын бодит ахиц тооцооллын нөөцийн хүртээмжтэй уялдах хандлагатай. Хэдэн жилийн өргөн хүрээнд харвал AI-ийг илүү том компьютерт өргөжүүлэхийн хэрээр улам ухаалаг болсоор байна.

Мөн XX зууны төгсгөлд Рэй Курцвейлийн дэвшүүлсэн таамаглалын⁠(шинэ цонхонд нээгдэнэ) дагуу машины оюун ухаан өөрчлөлт авчрахуйц байдлаар хүнийхээс давж эхэлж буй тооцооллын түүхэн мөчид бид ирээд байна.

AI-ийг зохион бүтээхээс илүүтэй ургуулдаг. Анхны ойролцооллоор бол төсөөлөхөд бэрх их тооцооллын нөөц дээр энгийн оновчлолын алхмыг олон дахин давтсаны үр дүн юм. Үүний үр дүнд хийсвэр ойлголтоор ажиллаж, хүний зан үйлийн зарим талыг дуурайх чадвартай асар нарийн төвөгтэй систем бий болдог. Мэдрэл судлалтай төстэй үйл явцаар энэ системд бий болсон жижиг механизмуудын талаар янз бүрийн ойлголт олж авч болно. Гэхдээ мэдрэл судлалын нэгэн адил нийт үйл ажиллагааг нь бид бүрэн ойлгохуйц байдлаар тайлбарлах боломжгүй хэвээр.

Гүний сургалтад суурилсан AI-ийн судалгаа үндсэндээ туршилтын шинжлэх ухаан юм. Бид зарчимд тулгуурласан алгоритм бүтээж, шалгаж болох таамаглал дэвшүүлэхэд ихээхэн хүчин чармайлт гаргадаг⁠. Гэвч үндсэндээ манай өргөн цар хүрээтэй сургалтын ажил нь туршилт бөгөөд үр дүн нь заримдаа биднийг гайхшируулдаг. Түүнчлэн системүүд илүү чадвартай болохын хэрээр үр дүнг тайлбарлахад улам хэцүү болдог.

Одоогийн алгоритмууд бодитоор хэмжихэд хэцүү чадвараас илүү хялбар хэмжигдэх чадварыг хурдан сайжруулдаг нь асуудлыг улам төвөгтэй болгодог. Бид чадварууд хэрхэн ерөнхийлдгийг ойлгож, ойрын хэдэн жилд хамгийн хэрэгцээтэй ур чадварыг хөгжүүлэхийн тулд юуг эрэмбэлэхээ тодорхойлоход их цаг зарцуулдаг. Жишээлбэл, илүү анхаарвал загваруудыг математикийн судалгаанд тусгайлан сайжруулж чадна гэж үздэг. Гэхдээ доор тайлбарлах RSI болон автоматжуулсан нийцүүлэлтийн судалгааг яаралтай гэж үздэг тул энэ чиглэлийг эрэмбэлдэггүй.

Гүний сургалтыг өргөжүүлж бий болгосон оюун ухааныг хүний оюун ухаантай шууд харьцуулах боломжгүй. Бодит ертөнцөд маш хэрэгтэй эсвэл маш аюултай хэмжээнд хүрэхийн тулд AI хүний бүх чадвартай тэнцэх эсвэл давж гарах шаардлагагүй; хангалттай олон чадварыг л давахад болно. AI улам олон хэмжүүрээр хүнийг давсаар байгаа тул яг хэр чадвартайг нь ойлгоход улам хэцүү болж байна.

Машины оюун ухаан хүний оюун ухаанаас үндсээрээ өөр үйл явцаар бий болдог тул анхнаасаа хүний зарчмыг дагана, эсвэл тэдгээрийг хүн шиг ерөнхийлнө гэж үзэж болохгүй. AI судалгааны гол асуудал бол нийцүүлэлт буюу AI-ийг хүний хэмжүүрээр «зөв зүйл хийхийг хичээдэг» болгох явдал юм.

Практик судалгааны чиглэлийг эмхлэхийн тулд зорилгын нийцүүлэлт ба үнэт зүйлийн нийцүүлэлт-ийг ялгах нь тустай гэж би үздэг.

Зорилгын нийцүүлэлт гэдэг нь ерөнхийдөө: «AI өмнөө тавьсан зорилгыг биелүүлэхийг хичээж байна уу?» гэсэн асуулт юм. Үүнд зааврын шатлалыг⁠ дагах, мөн хүмүүсийн зорилгыг ойлгохыг хичээн тэдэнтэй харилцаж, хамтран ажиллах чадвар багтаж болно. Энэ цогц чиглэл практикт туйлын ач холбогдолтой байсаар ирсэн.

Үнэт зүйлийн нийцүүлэлт нь загварын илүү дотоод шинж чанар юм. Энэ нь өндөр түвшний зарчмуудыг баримталж, тэдгээрээс ерөнхийлөх; тодорхойгүй эсвэл зөрчилтэй зорилго өгсөн, танил бус эсвэл дайсагнасан нөхцөлд оруулсан ч «ухаалаг зөв» үйлдэх чадвар юм. Нийцүүлсэн AI үнэнч, шударга, хүн төрөлхтнийг хайрласан байдлаар үйлдэх ёстой.

Мэдээж үнэт зүйл ба зорилгын нийцүүлэлтийн зааг бүдэг байж болно. Зорилгыг үнэхээр чухалчлахын тулд түүний цаадах санаа зорилго⁠(шинэ цонхонд нээгдэнэ), үнэт зүйлийг таамаглан ойлгох шаардлагатай. Гэхдээ нийцүүлэлтийн судалгааны урт хугацааны ач холбогдлын талаар ярихдаа би ерөнхийдөө үнэт зүйлийн нийцүүлэлтийг хэлдэг.

AI-ийн нийцүүлэлтийн үндсэн сорилт бол ерөнхийлөх чадвар юм. Машинууд ухаалаг болохын хэрээр илүү өндөр түвшний ойлголт дээр ажиллаж, сургалтын үеэр таарсан орчноосоо улам өөр орчинд орно. Тэд сургалтын явцад зааж, бататгасан үнэт зүйлсээ шинэ нөхцөлд ерөнхийлж чадахгүй байж болно. Тэд хэрхэн үйлдэхийг баттай мэдэх ч бидэнд хэцүү. AI ашиглагддаг нийт экосистем маш хурдтай өөрчлөгдөж байгаа нь үүнийг улам хүндрүүлдэг. Жишээлбэл, өнөөдөр сургасан AI олон янзын бусад AI-тай найдвартай харилцаж чаддаг байх ёстой. Хамгийн чухал нь, ирээдүйн AI өөрийгөө хүний хяналтад байна гэж итгэх эсэхээс үл хамааран хүний үнэт зүйлийг баримталсаар байх хэрэгтэй.

Одоогоор практикт ашигладаг нийцүүлэлтийн сургалтын аргуудыг хоёр үндсэн ангилалд хувааж болно.

Эхнийх нь зорилгод чиглэсэн бататгах сургалтын хүрээнд нийцсэн зан үйлийг дэмжих арга юм. Загварын үйлдлийг өгөгдсөн сонголтын загвар, «тодорхойлолт» эсвэл «үндсэн хууль»-тай нийцэж буй эсэхээр нь ихэвчлэн AI үнэлж, зохих урамшуулал өгдөг. Энэ арга ердийн тохиолдолд маш үр дүнтэй байж болох бөгөөд орчин үеийн AI туслахуудыг бүтээх үндсэн хэсэг юм. Харамсалтай нь энэ арга хэврэг байж болох бөгөөд сургалтын хяналт нөхцөлүүдийг хэр өргөн хамарсан, загвар сургалтаар учирсан нөхцөлөөсөө хэр сайн ерөнхийлөхөөс ихээхэн хамаардаг. Жишээлбэл, OpenAI-Hugging Face-ийн хэрэг явдлын үеэр агентууд хүнийг нийгмийн инженерчлэлээр залилахгүй байх хязгаарыг баримталсан. Гэвч өөр орчинд заасан үнэт зүйлсийнх нь үзэл санаатай зөрчилдсөн, хүрээнээс гадуурх бусад үйлдлээс тэд татгалзаж чадаагүй нь тодорхой.

Хоёр дахь арга нь загварын урьдчилсан сургалтын өгөгдлөөс ерөнхийлөх чадварыг ашиглахыг зорьдог. Үүнд нийцүүлэлт бий болгох сургалтын өгөгдлийн багц боловсруулах, эсвэл дүр төрх сонгох загвар⁠(шинэ цонхонд нээгдэнэ) шиг урьдчилсан сургалтын тархалтын «нийцсэн» хэсэгт загварыг төвлөрүүлэх арга багтаж болно. Энэ аргын сул тал нь цаашдын оновчлолын дарамтад тэсвэр муутай байдагт оршино. Ерөнхийдөө «нийцсэн» бодолтой загварыг авч, маш хэцүү зорилгод хүрэхийг заасан хангалттай их сургалтад оруулбал зорилгын төлөө хэт чиглэсэн байдлаар сэтгэн бодож сурч болно: зорилгодоо хүрэхийн тулд 'нийцсэн' мэт бодлоо шаардлагатайгаар мушгин өөрчилнө. OpenAI-ийн бус загвартай холбоотой саяхны кибер аюулгүй байдлын хэрэг явдлуудаас ийм зан үйлийн жишээг бид харсан бололтой.

Бид эдгээр чиглэлийн хамрах өргөн хүрээний аргуудад ихээхэн хөрөнгө оруулдаг. Мөн бодитой ахиц гарч байна. GPT‑6 Astra бол бидний удаан хугацаанд хөгжүүлсэн зарим чухал дэвшлийн үр шимийг хүртсэн анхны загвар бөгөөд GPT‑5.6 Sol-оос үлэмж сайн нийцүүлэгдсэн. Гэсэн ч загварууд илүү чадвартай болохын хэрээр хавьгүй их ахиц шаардлагатайг хүлээн зөвшөөрч, ойлгох нь чухал. Ерөнхийлөх чадвартай нийцүүлэлтийн ахиц загварын нийт оюун ухааны өсөлтийг хангалттай давж чадахгүй байж болно.

Ерөнхийлөх чадварын талаар бидэнд хангалттай онол байхгүй бөгөөд илүү хүчирхэг AI-ийн тусламжгүйгээр ойрын хугацаанд ийм онол боловсруулах боломж бага мэт санагдаж байна. Тиймээс одоогоор нийцүүлэлтийн арга техникээ туршилтаар баталгаажуулах чадвар маань практикт тэдгээр аргаас ч илүү чухал гэж хэлж болохоор байна.

OpenAI энэ чиглэлд гол найдвараа бодлын хэлхээг хянахад⁠(шинэ цонхонд нээгдэнэ) тавьсан. Энэ нь өргөжүүлэхэд тохиромжтой, сонирхол татам санаанд тулгуурладаг: загварын чадварын ихээхэн хэсэг нь үгээр илэрхийлсэн сэтгэн бодох үйл явцаас буюу бодлын хэлхээнээс үүсдэг. Хэрэв бид уг үйл явцын үр дүнгийн оновчлолыг өргөжүүлээд, үйл явцыг өөрийг нь хянахгүй бол бодлын хэлхээнд нийцээгүй санаа эсвэл зорилгоо нуух сургалтын шууд сэдэл үүсэхгүй. Энэ нь бодлын хэлхээ ашигладаггүй нийцээгүй хандлагуудаа загвар заавал гадагш илэрхийлж сурна гэсэн үг биш; харин сэтгэн бодох чадвараас яг ямар ахиц гарсныг хянах боломж бидэнд олгоно.

Бид сэтгэн бодох загваруудыг хөгжүүлэх үеэрээ бодлын хэлхээний хяналт ямар ач холбогдолтойг ойлгосон. o1‑preview‑ийг гаргахдаа урт хугацаанд хяналтын дарамтаас хамгаалахын тулд бүтээгдэхүүнийг бодлын хэлхээг нуухаар⁠ зориуд зохион бүтээсэн². Түүнээс хойших хөгжүүлэлтэд сэтгэн бодох үйл явцыг хянахгүй байх дүрмийг хадгалахыг бид зорьж ирсэн. CoT хяналт нь загварууд сургалтын тархалтаасаа хэрхэн ерөнхийлж байгааг судлахад нэн чухал хэрэгсэл болсон. Ингэснээр бид зөвхөн үйлдлийг нь бус, дотоод үйл явцыг нь ч ажиглан шинжилж чаддаг.

Astra ангиллын загваруудыг судлахад энэ хэрэгсэл чухал хэвээр байна. Гэвч харамсалтай нь, CoT хяналтад найдах боломж маань аажмаар буурч байгааг үнэлгээнүүд харуулж байна. Энэ нь хэд хэдэн хүчин зүйлээс үүдэлтэй.

• Орчин үеийн сэтгэн бодох загварууд o1‑preview‑ээс илүү төвөгтэй орчинд ашиглагддаг; тэдний сэтгэн бодох үйл явц хүн, бусад AI-тай харилцах болон хэрэгсэл ашиглахтай улам бүр холилдож байна. Эдгээр харилцан үйлчлэлийн олныг хянах шаардлагатай тул бидний хадгалахыг зорьж буй зааг бүдгэрч байна.
• AI өөрийн сэтгэн бодох үйл явцыг эргэцүүлж, өөрчлөн удирдахдаа улам чадваржиж байна.
• Урьдчилсан сургалтын гүйцэтгэл сайжрахын хэрээр загварууд үгээр илэрхийлсэн сэтгэн бодох үйл явц огт ашиглахгүйгээр ч хавьгүй ухаалаг болж байгааг бид харж байна.

Эдгээр сорилтыг даван туулах боломжгүй гэсэн үг биш. Тухайлбал, оновчлолын өөр өөр зорилго болон загварын туршилтын үед ашигладаг тооцооллын хэлбэрүүдийн харилцан нөлөөг илүү сайн ойлгосноор загваруудын бодлын хэлхээг хянах боломжийг сайжруулах арга боловсруулж чадна гэж найдаж байна. Мөн CoT ба идэвхжилийн хяналтын санааг хослуулах нь ихээхэн үнэ цэнтэй гэж боддог. Тухайлбал, хүлээн зөвшөөрөлт⁠(шинэ цонхонд нээгдэнэ) шиг сүлжээний дотоод бүтцэд шууд ханддаг хянагчдын сургалтыг өргөжүүлж болно. Бид эдгээр санааг идэвхтэй хөгжүүлж байна. Гэсэн ч AI-ийн ерөнхий ахиц хяналтдаа итгэх итгэлээр улам бүр хязгаарлагдана гэж би үзэж байна.

Илүү ухаалаг загваруудыг хурдтай сургахыг үргэлжлүүлэх хамгийн хүчтэй үндэслэл бол бусад AI-аас учрах аюулын эсрэг хамгаалах систем бүтээх хэрэгцээ гэж би үздэг.

Энэ жилийн турш яригдсан тодорхой эрсдэл бол кибер аюулгүй байдал юм: загварууд компьютерын системд нэвтрэх, түүнээс гарах чадвараараа хүнээс давж байна. Энэ нь AI-тай холбоотой эрсдэлийн хүрээг асар их тэлнэ: агентууд хамгийн өндөр хамгаалалттайгаас бусад дэд бүтцэд нэвтэрч, биет биегүй ч дэлхийн олон зүйлд шууд нөлөөлөх чадвартай болно. Одоогоор бидэнд боломжит шилдэг загваруудыг ашиглан чухал системүүдийн аюулгүй байдлыг эрс чангатгах⁠ богинохон боломжит үе⁠ тохиож байна.

Харамсалтай нь, AI-тай холбоотой эрсдэл цаашид улам нэмэгдэнэ. Хорлонтой үйлдэл хийхээр ил тод сургаж, зааварласан өндөр чадвартай агент шинэ төрлийн аюул учруулна. Тэр операторынхоо зорилгын хүрээнээс хальж, бүр ч ноцтой хорлонтой зан үйлд ерөнхийлөх магадлалтай. AI бие даан үйлдэх чадвартай болохын хэрээр зүй бус хэрэглээ болон бие даасан, нийцээгүй үйлдлийн зааг бүдгэрнэ. Бид AI-ийг хэрэгсэл гэж бодож дассан байж болох ч зарим агент өөрийн зорилгыг хөөцөлдөнө. Тэд хүмүүстэй наймаалцах, хуурах эсвэл сүрдүүлэх замаар хамтран ажиллах арга олно.

Үүнээс гадна зохиомлоор бүтээсэн эмгэг төрүүлэгч зэрэг AI-ийн ачаар бий болж болзошгүй шинэ технологиос үүдэх эрсдэл бий.

Дэд бүтцийг хамгаалах, хяналтаас гарсан агентуудыг бодит цагт тогтоон барих, цоо шинэ хамгаалалтын арга зохион бүтээхийн тулд бидэнд хүчирхэг, нийцүүлсэн AI хэрэгтэй. Энэ нь OpenAI-ийн нэвтрүүлэлтийн ажлын гол чиглэл болно.

Үүний зэрэгцээ AI-ийн өргөн хүрээний ахицын талаарх тодорхойгүй байдал, хамгаалах систем бүтээх хэрэгцээг бодсон ч үүнийг хөнгөн хуумгай үйлдэх шалтаг болгож болохгүй. Эрсдэлийн ноцтойг бүрэн ухаарвал ямар ч үнээр хамаагүй урагш уралдах санаа утгагүй санагдана.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(шинэ цонхонд нээгдэнэ), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(шинэ цонхонд нээгдэнэ), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(шинэ цонхонд нээгдэнэ) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.