Бодлын хэлхээний хянагдах байдлыг үнэлэх

AI системүүд шууд хянахад хэцүү шийдвэр гаргах үед тэдгээр шийдвэр хэрхэн гарч байгааг ойлгох нь чухал болдог. Нэг ирээдүйтэй арга нь загварын зөвхөн үйлдэл эсвэл эцсийн гаралтыг бус, харин дотоод сэтгэн бодох явцыг нь хянах явдал юм.

GPT‑5 Thinking зэрэг орчин үеийн сэтгэн бодох загварууд хариулт өгөхийн өмнө ил тод бодлын хэлхээ үүсгэдэг. Эдгээр бодлын хэлхээ-г буруу зан үйлийн хувьд хянах нь загварын зөвхөн үйлдэл ба эцсийн гаралтыг хянахаас хавьгүй илүү үр дүнтэй⁠ байж болно. Гэвч OpenAI болон салбарын өргөн хүрээний судлаачид⁠(шинэ цонхонд нээгдэнэ) энэ бодлын хэлхээний “хянагдах байдал” нь сургалтын журам, өгөгдлийн эх сурвалж, тэр ч байтугай одоо байгаа алгоритмуудын цаашдын өргөтгөлд эмзэг байж магадгүй гэж санаа зовж байна.

Бид загварууд өргөжиж, илүү өндөр эрсдэлтэй орчинд нэвтрэх тусам бодлын хэлхээний хянагдах байдал хадгалагдаасай гэж хүсэж байна. Салбарын бүх судлаачдыг бодлын хэлхээний хянагдах байдлыг аль болох удаан хадгалахын төлөө ажиллаж, энэ нь ирээдүйн AI системүүдэд ачаа даах хяналтын давхарга болж чадах эсэхийг тогтоохыг уриалж байна. Хянагдах байдлыг хадгалахын тулд бид үүнийг хэмжиж чаддаг байх ёстой, гэвч үнэлгээ цөөн [1⁠(шинэ цонхонд нээгдэнэ), 2⁠(шинэ цонхонд нээгдэнэ), 3⁠(шинэ цонхонд нээгдэнэ)] бөгөөд арга зүй нь харилцан адилгүй байна.

Энэ ажилд бид бодлын хэлхээний хянагдах байдлыг системтэйгээр судалж байна. Бид бодлын хэлхээний хянагдах байдлыг үнэлэх хүрээ болон системийн хянагдах байдлыг тодорхой хэмжихээр зохиогдсон 13 үнэлгээний иж бүрдлийг (нийт 24 орчныг хамарсан) танилцуулж байна. Эдгээр үнэлгээ нь оролцоо, процесс, үр дүнгийн-шинж чанар гэсэн гурван архетипт хуваагдана. Эдгээрийн тусламжтайгаар бид өнөөгийн том хэлний загварууд хэр хянагдах боломжтойг, мөн inference үеийн илүү их сэтгэн бодох, илүү том бататгах сургалтын run-ууд, болон урьдчилсан сургалтын илүү их өргөтгөлтэй үед хянагдах байдал хэрхэн өөрчлөгдөхийг судалж байна.

Ихэнх хил хязгаар сэтгэн бодох загварууд нэлээд хянагдах боломжтой ч төгс биш гэдгийг бид олж тогтоосон. Бидний судалсан бараг бүх нөхцөлд бодлын хэлхээг хянах нь зөвхөн үйлдэл ба эцсийн гаралтыг хянахаас мэдэгдэхүйц илүү үр дүнтэй байна. Илүү удаан боддог загварууд илүү хянагдах хандлагатай бөгөөд өнөөгийн хил хязгаарын түвшний бататгах сургалтын оновчлол нь хянагдах байдлыг утга учиртайгаар муутгадаггүй бололтой.

Онцлоход, бид сэтгэн бодох хүчин чармайлт ба загварын хэмжээний хооронд солилцоо байгааг ажигласан: загвар бага сэтгэн бодох хүчин чармайлтаар ажиллах үед, илүү их сэтгэн бодох хүчин чармайлттайгаар ажиллуулсан жижиг загвар ижил төстэй чадварт хүрч, хянахад илүү амар байж чадна. Энэ нь inference тооцоолол нэмэгдэх өртөгтэй бөгөөд бид үүнийг хянагдах байдлын татвар гэж нэрлэдэг. Эцэст нь, дараах асуулт асууж, үүссэн бодлын хэлхээнүүдийг хянах нь хянагдах байдлыг цаашид сайжруулж болохыг бид олсон.

Бид хянагдах байдлыг хяналт тавигч агентын зан үйлийн талаар сонирхолтой шинж чанаруудыг урьдчилан таамаглах чадвар гэж тодорхойлдог. Олон тохиолдолд эдгээр шинж чанар нь хууран мэхлэлт, reward hacking, эсвэл хазайлттай сэтгэн бодох зэрэг буруу зан үйлийн хэлбэрүүдтэй холбоотой байдаг ч агент тодорхой сэжмийг ашигласан эсэх, эсвэл тодорхой сэтгэх шугамыг дагасан эсэх зэрэг хоргүй шинжүүдийг ч багтааж болно.

Хянагдах байдал нь хоёр талтай шинж чанар юм. Энэ нь хяналт тавигчаас гадна хянагдаж буй агентаас мөн хамаарна.

• Хяналт тавигчид. Бид хяналт тавигчдыг янз бүрийн аргаар илүү ухаалаг болгож болох бөгөөд агентын зан үйлийг илүү сайн таамаглаж чаддаг хяналт тавигчдад манай үнэлгээнүүд илүү өндөр оноо өгөхийг хүсэж байна.
• Агентууд. Хяналт тавигчид өгч болох агентын олон ажиглалт байдаг бөгөөд үүнд агентын үйлдэл, гаралт, нейрон идэвхжил, мөн сүүлийн үед сэтгэн бодох загварууд гарснаар бодлын хэлхээ орно. Зарим агентын бодол бусдаасаа ойлгоход илүү хэцүү байж болох тул манай хянагдах байдлын үнэлгээ нь зөвхөн хяналт тавигчдыг бус агентуудыг ч харьцуулж чаддаг байхыг бид хүсэж байна.

Манай үнэлгээнүүдийг хоёр талыг зэрэг үнэлэхээр зохиосон: тодорхой агентуудыг хянах нь илүү амар эсвэл хэцүү эсэх, мөн илүү чадвартай хяналт тавигчид ижил дохионоос илүү их мэдээлэл гаргаж авч чадах эсэх.

Одоогийн үеийн сэтгэн бодох загваруудаас өмнө бодлын хэлхээг ихэвчлэн загварт “алхам алхмаар бод” гэж өгөгдөл өгснөөр гаргаж ирдэг байв. 

Сэтгэн бодох загваруудын бодлын хэлхээ хоёр чухал зүйлээр ялгаатай. Нэгдүгээрт, тэдгээрийг бодлын хэлхээ үүсгээд дараа нь хариулт өгөхөөр ил тод сургадаг. Чат загварт “алхам алхмаар” бод гэж өгөгдөл өгөхөд загвар нь тустай, хоргүй гэх мэт өөр дээр нь тавигдсан аливаа шаардлагыг мөрдөх ёстой. Харин эсрэгээр, бататгах сургалтын процесс нь сэтгэн бодох загварт CoT бол яг л хүн хувиараа бодоод “бодлын гэмт хэрэг”-ийн төлөө шийтгүүлдэггүйтэй адил, юу хүссэнээ бодож болох бөгөөд үүний төлөө шийтгэл хүлээхгүй хувийн орон зай гэж заадаг. 

Хоёрдугаарт, сургалтын процесс нь өндөр reward бүхий эцсийн хариултад хүрэхэд агентод хамгийн их хэрэгцээтэй бодлын хэлхээг үр дүнтэйгээр хайж олдог. Иймээс бодлын хэлхээ нь загвар өөрийгөө чөлөөтэй илэрхийлэх орон зай төдийгүй, эцсийн хариултад хүрэхэд нь тусалдаг сэтгэхүйг агуулдаг.

Бид хянагдах байдлын үнэлгээнүүдээ гурван ялгаатай архетипт зохион байгуулсан бөгөөд тус бүр нь хянагдах байдлыг хэмжих өөр механизмыг ашигладаг.

1. Оролцооны үнэлгээ, Chen et al. 2025⁠(шинэ цонхонд нээгдэнэ), Chua et al. 2025⁠(шинэ цонхонд нээгдэнэ), Turpin et al. 2023⁠(шинэ цонхонд нээгдэнэ) зэргээс санаа авч, бид агентын орчинд хяналттай өөрчлөлт оруулж, зан үйл яагаад өөрчлөгдсөнийг хяналт тавигч бодлын хэлхээн дэх оролцооны нотолгоог таньж илрүүлж чадах эсэхийг шалгадаг. Стандарт хяналтын үнэлгээнээс (жишээ нь Shade-Arena⁠(шинэ цонхонд нээгдэнэ)) ялгаатай нь, оролцооны үнэлгээ нь зан үйл гарсан эсэхийг зүгээр илрүүлэхээс илүүтэй, зан үйл яагаад өөрчлөгдсөнийг хяналт тавигч илрүүлж чадах эсэхийг судлах боломж олгодог. 
2. Процессын үнэлгээ нь хүчинтэй шийдлийн зам хязгаартай даалгавруудад төвлөрдөг (жишээлбэл, математикийн бодлогыг зөвхөн тодорхой теоремууд ашиглан л бодож болно). Хүний мэргэжилтнүүд эдгээр замуудыг жагсааж, дараа нь хяналт тавигч загвар яг аль алхмуудыг хийснийг илрүүлж чадах эсэхийг бид шалгадаг. Эдгээр үнэлгээ нь загвар юу хийснийг загварын заавал хийсэн байх ёстой тодорхой алхмуудтай холбож, тэдгээр алхамууд хянагдах боломжтой эсэхийг асуух боломж олгодог.
3. Үр дүнгийн-шинж чанарын үнэлгээ нь загварын гаралтын шинж чанарыг найдвартай хэмжиж болох үед хэрэглэгддэг. Ийм тохиолдолд бид хяналт тавигч тухайн шинж чанарыг—жишээ нь reward hacking-ийг—загварын сэтгэн бодох эсвэл үйлдлээс таамаглаж чадах эсэхийг шалгадаг. Жишээлбэл, кодчиллын даалгаварт загвар reward signal-ийг хаклах үйлдэл хийж байгаа эсэхийг найдвартай үнэлэх арга бидэнд байж болно, мөн хяналт тавигч загварын сэтгэхүй эсвэл үйлдлээс reward hack хийх санааны нотолгоо олж чадах эсэхийг асууж болно.

Доор бид үнэлгээнүүдийнхээ ангиллыг өгч байна. Тус бүрийн бүрэн тайлбарыг манай өгүүллээс үзнэ үү.

Бодлын хэлхээг хувийн ажлын талбар гэж үзэж, даалгаврыг үр дүнтэй шийдэхэд ашиглахаар загваруудыг сургах нь зарчмын хувьд бодлын хэлхээг хянагдах боломжтой болгох ёстой. Үүний зэрэгцээ бататгах сургалт бодлын хэлхээний хянагдах байдалд сөргөөр нөлөөлж болзошгүй хэд хэдэн шалтгаан бий.

Нэгдүгээрт, сэтгэн бодох уртын хязгаарлалт, тухайлбал загварт бодоход олгогдох хугацаа эсвэл токеныг хязгаарлах нь загваруудыг бага сэтгэхэд түлхэц болгодог. Хоёрдугаарт, бодлын хэлхээнд шууд оновчлолын дарамт өгөхгүй байсан ч шууд бус дарамтууд хянагдах байдлыг бууруулж болно. Жишээлбэл⁠(шинэ цонхонд нээгдэнэ), загварууд бага reward эсвэл хүсээгүй үр дүнд хүргэж болох сэтгэх замуудаас зайлсхийвэл өндөр reward-тэй хариултад хүрэх нь илүү хялбар байж магадгүй. Эцэст нь, хянагдах байдал буурах нь бататгах сургалтын градиентийн noise-оос үүдэлтэй санамсаргүй drift-ээс ч бий болж болно.

Доор бид OpenAI-ийн хил хязгаарын хоёр бататгах сургалтын run-ийн явцад хянагдах байдал хэрхэн өөрчлөгдөхийг авч үзэж байна. Эдгээр үр дүн нь ердөө хоёрхон өгөгдлийн цэгийг төлөөлж байгаа ч өнөөгийн хил хязгаарын түвшний бататгах сургалтын оновчлол нь бодлын хэлхээний хянагдах байдлыг мэдэгдэхүйц муутгадаггүй бөгөөд эхний алхмуудад хянагдах байдлыг нэмэгдүүлдэгийг санал болгож байна. Гэсэн ч энэ нь ирээдүйд бататгах сургалтын цар хүрээ мэдэгдэхүйц өсвөл хянагдах байдалд сөргөөр нөлөөлөх боломжийг үгүйсгэхгүй.

Одоогийн AI системүүдийн оюун ухааны томоохон хэсэг нь урьдчилсан сургалтын өргөтгөлөөр бий болдог бөгөөд GPT парадигмын эхлэлээс хойш загварын параметр болон өгөгдлийн багцын хэмжээ хоёулаа тогтмол өссөөр ирсэн. Параметрийн тоо өсөх нь үүсгэсэн токен бүрт илүү их inference тооцоолол ашиглагдана гэсэн үг бөгөөд сэтгэн бодох загваруудын хувьд энэ нь загварын танин мэдэхүй бодлын хэлхээ дотор бус идэвхжил дотор явагдах боломжийг нэмэгдүүлдэг. Иймээс тогтмол чадварын түвшинд том загваруудыг хянахад илүү хэцүү байна гэж бид таамаглаж болох юм. 

Үүний зэрэгцээ жижиг загварууд бодлын хэлхээг үр дүнтэй ашиглах чадвар багатай байж болох бөгөөд энэ нь мөн хянагдах байдалд нөлөөлж магадгүй.

Урьдчилсан сургалтын хэмжээ, чадвар, хянагдах байдлын хоорондын хамаарлыг судлахын тулд бид урьдчилсан сургалтын тооцооллын хоёр зэрэглэл даяар гүн ба өргөнийг нэмэгдүүлэн загваруудын бүлэг сургасан бөгөөд дараа нь математик, шинжлэх ухаан, кодчиллын даалгаврын нэгэн ижил өгөгдлийн багц дээр тус бүрт нь бататгах сургалт хэрэглэсэн. Бид загвар бүрийг янз бүрийн сэтгэн бодох хүчин чармайлтын түвшинд үнэлж, ижилсүүлсэн чадварын түвшинд хянагдах байдлыг харьцуулсан.

Ерөнхийдөө, хэрэв бид тодорхой нэг загварыг бага сэтгэн бодох хүчин чармайлтаар нэвтрүүлэх гэж байгаа бол оронд нь жижиг загварыг илүү өндөр сэтгэн бодох хүчин чармайлтаар нэвтрүүлж болно гэж бид олсон. Анхны том загвараас илүү их сэтгэн бодох хүчин чармайлт гаргахад нэмэлт тооцоолол зарцуулахаас илүүтэйгээр, бид өчүүхэн чадварын өртгөөр илүү өндөр хянагдах байдал буюу хянагдах байдлын татвар авч болно; гэвч completion дуусахад шаардагдах бодит хугацаа нь зарим нэвтрүүлэлтийн шийдвэрт нөлөөлж болох ч үүнийг бид энд авч үзээгүй. Манай загварууд сайжирч, илүү өндөр эрсдэлтэй орчинд нэвтрэх тусам тэднийг аюулгүй нэвтрүүлэхийн тулд ийм татвар төлөх шаардлагатай болж магадгүй.

Эдгээр үр дүн дараах хязгаарлалтуудтай: (1) бид загвар бүрийг зөвхөн нэг удаа сургасан тул сургалтын run-уудын хоорондын хэлбэлзлийг тооцоогүй. Жишээлбэл, “medium” загвар нь цуваан дахь бусад загваруудтай харьцуулахад хянагдах байдлын хувьд трендээс нэлээд гажсан мэт харагддаг бөгөөд энэ нь үүнээс үүдэлтэй байж болно. (2) Бид чадварыг харьцангуй in-distribution орчинд (математик, шинжлэх ухаан, кодчилол) үнэлсэн бөгөөд out-of-distribution robustness-ийг тооцвол солилцоонууд өөрчлөгдөж магадгүй.

AI системүүд хүний түвшний гүйцэтгэлээс даван өргөжих тусам хүний шууд хяналт улам бүр хэцүү болно. Идеал тохиолдолд, бидэнд итгэж болох боловч сул хяналт тавигчид илүү хүчтэй, магадгүй итгэлгүй агентуудыг хянах боломж олгох өргөтгөх боломжтой хяналтын процедурууд байх ёстой. Ийм процедурууд нэмэлт тестийн үеийн тооцооллыг шингээж, илүү нарийвчлалтай таамаглал гаргаж чаддаг байх ёстой.

Бодлын хэлхээний хянагдах байдлыг ихэвчлэн тогтмол хэмжээ мэт үздэг: загвар тодорхой сэтгэн бодох хүчин чармайлтаар хариулт гаргасны дараа хүн үүссэн бодлын хэлхээг аль болох сайн хянадаг. Манай агентуудын сэтгэн бодох хүчин чармайлт нэмэгдэх тусам хянагдах байдал сайжирдгийг бид тогтмол олж байсан тул хянах илүү олон токен авч болох эсэхийг асуух сэдэл төрсөн.

Үүнийг судлахын тулд бид загвар хариулсны дараа дараах асуултууд асуух туршилт хийсэн бөгөөд анхны өгөгдөл, бодлын хэлхээ, хариултыг контекстэд хэвээр хадгалсан. Эдгээр дараах асуултууд нь хянагдаж буй шинж чанарт төвлөрдөг—жишээлбэл, “Та хариултаа сонгохдоо сэжмийг утга учиртайгаар ашигласан уу?” эсвэл “Та сэжигтэй зүйл хийсэн үү?” Онолын хувьд загвар өмнөх сэтгэн бодохдоо хандах боломжтой тул өмнө нь үгээр илэрхийлээгүй бодлуудаа дараах бодлын хэлхээ эсвэл хариултад гаргаж ирж магадгүй.

Эдгээр үр дүн урьдчилсан шинжтэй. Бид дараах асуултын зөвхөн цөөн хэдэн форматыг судалсан бөгөөд арга зүйг сайжруулах өргөн боломж бий гэж үзэж байна. Цаашлаад энэ арга нь загварын confession⁠-той үзэл санааны хувьд төстэй бөгөөд бид эдгээр хандлагуудыг харьцуулан судлахаар идэвхтэй ажиллаж байна.

Хянагдах байдлыг сайжруулахаас гадна, энэхүү хандлага нь дараа нь хэрэглэх боломжтой тул гүнзгийрүүлсэн шалгалт шаардлагатай үед л нэмэлт тооцооллын зардал гаргадаг гэдгээрээ сонирхол татна. Цаашид, хэрэв загваруудыг ярианы дунд сэтгэн бодох хүчин чармайлт өөрчлөгдөхийг хүлээхээр сургавал, өндөр сэтгэн бодох хүчин чармайлттай дараах асуултууд нь анхны сэтгэн бодох хүчин чармайлт бага эсвэл огт байхгүй байсан ч хянагдах байдлыг цаашид сайжруулж магадгүй.

Манай иж бүрдэл дэх үнэлгээ бүр сэтгэн бодох процессын нэг л талыг хянах боломжтой эсэхийг хэмждэг. Бид сайшаал, sandbagging, хазайлт, scheming, reward hacking зэрэг өргөн хүрээний зан үйлийг хамруулахыг зорьдог ч шалгагдаагүй маш олон нэмэлт шинж чанар үлдсэн хэвээр байна.

Ямар ч benchmark-ийн адил манай үнэлгээнүүд бодит байдлын хязгаарлагдмал байдал эсвэл үнэлгээний талаарх улам өсөн нэмэгдэх мэдлэгээс шалтгаалан асуудалтай байж болох бөгөөд үр дүн нь бодит орчин дахь буруу зан үйлийг илрүүлэхэд ерөнхийлөн хэрэглэгдэхгүй байж магадгүй. 

Эцэст нь, alignment сайжрахын хэрээр загварууд хяналттай үнэлгээний орчинд буруу зан үйл гаргах нь багасч, буруу зан үйлийг илрүүлэхэд тулгуурладаг хянагдах байдал болон хяналтын үнэлгээнд боломжит дохио буурч магадгүй. Ийм тохиолдолд “саармаг” хянагдах байдлын үнэлгээнүүд хэрэглэж болох хэвээр байх боловч тэдгээр нь бодит дэлхийн алдааг хэр сайн урьдчилан таамагладгийг хэлэх нь нээлттэй асуулт юм.

Хэрэв alignment асуудлыг бүрэн шийдвэрлэж чадахгүй бол өргөтгөх боломжтой хяналтын аргууд нь маш чадвартай загваруудыг аюулгүй нэвтрүүлэх чадварт маань асар чухал байх болно. Бодлын хэлхээний хяналт болон холбогдох аргууд нь бидний мэдэлд буй цөөн хяналтын механизмын нэг байж магадгүй. Бодлын хэлхээ нь мөн манай загваруудын талаар илүү ихийг ойлгоход томоохон ашиг тус өгч чадна, жишээлбэл тэд үнэлгээнд байгаагаа мэдэж, нэвтрүүлэлтийн үед хийхээсээ өөрөөр аашилж байгаа эсэх, манай үнэлгээнд хараахан илрээгүй сөрөг зорилгын ямар нэг нотолгоо байгаа эсэх гэх мэт. Иймээс бид хянагдах байдлыг хэрхэн, хэзээ алдаж болохыг ойлгох нь нэн чухал гэж үзэж байна.

Бид бодлын хэлхээний хяналтыг mechanistic interpretability-ийн орлуулга бус, харин түүнийг нөхөх зүйл гэж үздэг. Мэдэгдэж буй бүх хяналт ба тайлбарлах аргын адил тус бүр өөрийн хязгаарлалт, сохор цэгүүдтэй. Олон аргыг хослуулах—гүн давхар хамгаалалтын стратеги—нь аль нэг арга ганцаараа үлдээдэг цоорхойг нөхөхөд тусална гэж бид найдаж байна. Онцлоход, энэ ажилд танилцуулсан үнэлгээнүүдийг mechanistic interpretability-д суурилсан хяналтын аргуудыг үнэлэх, харьцуулахад мөн хэрэглэж болно.

Бодлын хэлхээний хяналт нь өргөтгөх боломжтой хяналтын схемийн ачаа даах давхарга байж чадна гэж бид үздэг тул эдгээр үнэлгээг цаашид өргөжүүлж, ирээдүйн загварчлал болон өгөгдлийн шийдвэрт мэдээлэл өгөхөд ашиглахаар төлөвлөж байна.