Дүрэмд суурилсан шагналаар загварын аюулгүй зан үйлийг сайжруулах нь

Манай судалгаа Rule-Based Rewards (RBRs) нь манай AI системүүдийн аюулгүй байдлыг мэдэгдэхүйц сайжруулж, хүмүүс болон хөгжүүлэгчид өдөр тутам ашиглахад илүү аюулгүй, найдвартай болгодгийг харуулж байна. Энэ нь өөрсдийн AI-гаа ашиглан AI-ийг илүү аюулгүй болгох⁠ илүү олон аргыг судалж буй манай ажлын нэг хэсэг юм. 

Уламжлалт байдлаар хэлний загваруудыг хүний санал хүсэлтээс бататган суралцах (RLHF)⁠-аар нарийн тааруулах нь тэд зааврыг дагах⁠ чадварыг үнэн зөв байлгах үндсэн арга байсаар ирсэн. OpenAI эдгээр нийцүүлэлтийн аргуудыг хөгжүүлэхэд тэргүүн эгнээнд ажиллаж, илүү ухаалаг, аюулгүй AI загваруудыг бүтээж ирсэн.

AI системүүд аюулгүй ажиллаж, хүний үнэт зүйлстэй нийцэхийг хангахын тулд бид хүссэн зан үйлийг тодорхойлж, “шагналын загвар”-ыг сургахын тулд хүний санал хүсэлт цуглуулдаг. Энэ загвар нь хүсүүштэй үйлдлийг дохиолсноор AI-г чиглүүлдэг. Гэвч ердийн, давтагддаг ажлуудад ийм хүний санал хүсэлт цуглуулах нь ихэвчлэн үр ашиггүй байдаг. Нэмж хэлэхэд, хэрэв манай аюулгүй байдлын бодлого өөрчлөгдвөл өмнө нь цуглуулсан санал хүсэлт хуучирч, шинэ өгөгдөл шаардаж болзошгүй.

Тиймээс бид загварын зан үйлийг хүссэн аюулгүй зан үйлтэй нийцүүлэх OpenAI-ийн аюулгүй байдлын стекийн гол бүрэлдэхүүн хэсэг болгон Rule-Based Rewards (RBRs)-ийг танилцуулж байна. Хүний санал хүсэлтээс ялгаатай нь RBRs нь загварын гаралт аюулгүй байдлын стандартад нийцэж байгаа эсэхийг үнэлэхдээ тодорхой, энгийн, алхамчилсан дүрмүүдийг ашигладаг. Үүнийг стандарт RLHF дамжлагад оруулахад хор хөнөөлөөс сэргийлэхийн зэрэгцээ тус дэмтэй байх сайн тэнцвэрийг хадгалахад тусалж, давтагдсан хүний оролцооны үр ашиггүй байдлыггүйгээр загвар аюулгүй, үр дүнтэй ажиллахыг хангадаг. Бид RBRs-ийг GPT‑4⁠-ийг танилцуулснаас хойш, үүнд GPT‑4o mini⁠-г оролцуулан, аюулгүй байдлын стекдээ ашиглаж ирсэн бөгөөд цаашид загварууддаа хэрэгжүүлэхээр төлөвлөж байна.

RBRs-ийг хэрэгжүүлэх үйл явц нь загварын хариултын хүсүүштэй эсвэл хүсүүшгүй талуудын тухай энгийн мэдэгдлүүд болох propositions-ийн багцыг тодорхойлохоос эхэлдэг. Жишээлбэл, “шүүмжлэмтгий байх”, “зөвшөөрөгдөөгүй агуулга агуулсан байх”, “аюулгүй байдлын бодлогод хандах”, “тайлбар анхааруулга” зэрэг орно. Дараа нь эдгээр propositions-ийг янз бүрийн нөхцөлд аюулгүй, зохистой хариултын нарийн ялгааг барьж авахын тулд нямбай боловсруулсан дүрмүүдийг бүрдүүлэхэд ашигладаг. Жишээлбэл, татгалзалт (тухайлбал, “Уучлаарай, би танд энэ талаар тусалж чадахгүй.”) нь аюулгүй бус хүсэлттэй тулгарахад хүсүүштэй загварын хариу бөгөөд холбогдох дүрмүүд нь татгалзалт “товч уучлал агуулсан байх ёстой”, мөн “нийцэж чадахгүйгээ илэрхийлэх ёстой” гэж заана. 

Хор хөнөөлтэй эсвэл эмзэг сэдэвтэй харьцах үед бид хүссэн загварын зан үйлийн гурван ангиллыг боловсруулсан. Аюулгүй байдлын бодлогоос хамааран өөр өөр хүсэлтүүд загварын хариуны өөр өөр төрөлтэй таарна.

Доор бид propositions-ийн хялбаршуулсан жишээнүүд болон тэдгээр нь өөр өөр хариуны төрлүүдэд хамгийн тохиромжтой эсвэл тохиромжгүй зан үйлтэй хэрхэн холбогдохыг үзүүлэв.

Доорх хүснэгтэд бид туршилтуудаараа сургаж авсан загваруудаас зарим жишээ completion-уудыг өгч, дэвшүүлсэн санаануудаа ойлгомжтой жишээгээр харуулж байна. Completion бүрийн хувьд зарим proposition value болон тэдгээр нь ямар ангилалд хамаарахыг онцлон тэмдэглэсэн.

Тогтмол хэлний загвар болох үнэлэгч нь эдгээр дүрмийг хэр сайн мөрдөж байгаагаар хариултуудад оноо өгдөг бөгөөд ингэснээр RBR арга нь шинэ дүрэм, аюулгүй байдлын бодлогод уян хатан дасан зохицох боломжтой болдог. RBR нь эдгээр оноог ашиглан, хамгийн тохиромжтой хариуны төрөл нь мэдэгдэж буй цөөн хэмжээний өгөгдлийн сан дахь өгөгдлүүд, мөн тэдгээртэй холбоотой хүсүүштэй ба хүсүүшгүй completion-уудаас суралцсан жингийн параметрүүдтэй шугаман загварыг тааруулдаг. Дараа нь эдгээр RBR шагналыг зөвхөн тус дэмд төвлөрсөн шагналын загварын шагналуудтай нэгтгэж, PPO алгоритмууд⁠-д нэмэлт дохио болгон ашиглаж, загварыг аюулгүй зан үйлийн бодлогыг мөрдөхөд өдөөдөг. Энэ арга нь загварын зан үйлийг нарийн түвшинд хянах боломжийг бидэнд олгож, зөвхөн хор хөнөөлтэй агуулгаас зайлсхийхээс гадна үүнийг хүндэтгэлтэй бөгөөд тус дэмтэй байдлаар хийхийг баталгаажуулдаг.

Манай туршилтуудад RBR-ээр сургагдсан загварууд хүний санал хүсэлтээр сургагдсан загваруудтай дүйцэхүйц аюулгүй байдлын гүйцэтгэл үзүүлсэн. Тэд мөн нийтлэг чадварын жишиг үнэлгээний хэмжүүрүүдэд нөлөөлөлгүйгээр аюулгүй хүсэлтүүдээс буруу татгалзах (“хэт татгалзах”) тохиолдлыг бууруулсан. RBRs нь мөн өргөн хэмжээний хүний өгөгдлийн хэрэгцээг эрс бууруулж, сургалтын процессыг илүү хурдан, зардлын хувьд үр ашигтай болгодог. Үүнээс гадна, загварын чадавх болон аюулгүй байдлын удирдамж хувьсан өөрчлөгдөхөд RBRs-ийг дүрэм өөрчлөх эсвэл шинээр нэмэх замаар хурдан шинэчилж болох бөгөөд өргөн дахин сургалт шаарддаггүй.

Бид загварын аюулгүй зан үйлийг тус дэмтэй байдал ба хор хөнөөлтэй байдлын хоорондын солилцоог хялбархан хянах боломжтой хүрээнд үнэлж байна. Нэг талаас, загвар бүх зүйлээс татгалзвал аюулгүй байх амархан боловч загварын ашиг тус тэг болно. Нөгөө талаас, бид хамгийн их ашиг тусыг оновчлох ч аюулгүй бус эсвэл хор хөнөөлтэй загвар бүтээхийг хүсэхгүй. Оновчтой нийцүүлсэн загвар нь тус дэмтэй байдал ба хор хөнөөлтэй байдлын хоорондын энэ нарийн тэнцвэрийг олж чадсан байх ёстой.

RBRs нь тодорхой, шууд дүрэмтэй ажлуудад сайн ажилладаг ч өндөр чанартай эсээ бичих зэрэг илүү субъектив ажлуудад хэрэглэхэд төвөгтэй байж болно. Гэхдээ эдгээр сорилтыг тэнцвэржүүлэхийн тулд RBRs-ийг хүний санал хүсэлттэй хослуулж болно. Жишээлбэл, RBRs нь “Хэлц үг бүү хэрэглэ” эсвэл загварын тодорхойлолт⁠-д байгаа дүрмүүд зэрэг тодорхой удирдамжийг мөрдүүлж чадна, харин хүний санал хүсэлт нь илүү нарийн талуудад (жишээ нь ерөнхий уялдаа холбоо) тусалж чадна. RBR-ийн хүчийг аюулгүй байдлын сонголтуудыг зөв мөрдүүлэхийн зэрэгцээ эцсийн шагналын оноонд шаардлагатайгаас илүү нөлөөлөхгүй байхаар оновчилдог — ингэснээр RLHF шагналын загвар жишээлбэл бичгийн хэв маягийн талаар хүчтэй дохио өгсөөр байдаг.

Ёс зүйн анхаарах зүйлс: Аюулгүй байдлын шалгалтыг хүнээс AI руу шилжүүлэх нь AI аюулгүй байдал дахь хүний хяналтыг бууруулж, хэрэв RBR шагнал өгөхөд хазайлттай загвар ашиглавал загварууд дахь боломжит хазайлтыг нэмэгдүүлж болзошгүй. Үүнийг шийдвэрлэхийн тулд судлаачид RBRs-ийг шударга, үнэн зөв байлгахын тулд нямбай зохиож, эрсдэлийг багасгахын тулд RBRs болон хүний санал хүсэлтийн хослолыг ашиглахыг авч үзэх ёстой.

Энд бид хэлний загваруудын аюулгүй байдлын сургалтад Rule-Based Rewards (RBRs)-ийг ашигласан шинэ preference modeling аргыг танилцууллаа. Манай арга нь өртөг, цаг хугацааны хувьд үр ашигтай, хүний өгөгдөл маш бага шаарддаг, хүссэн загварын зан үйл өөрчлөгдвөл шинэчлэхэд хялбар бөгөөд аюулгүй байдал ба ашиг тустай байдлын тэнцвэрийг хадгалдаг.

RBRs нь зөвхөн аюулгүй байдлын сургалтаар хязгаарлагдахгүй. Ил тод дүрмээр хүссэн зан үйлийг тодорхойлж болох олон төрлийн ажилд, жишээлбэл тодорхой хэрэглээнд зориулан загварын хариуны зан чанар эсвэл форматыг тохируулахад, дасан зохицуулж болно. Цаашид бид RBR-ийн янз бүрийн бүрэлдэхүүн хэсгүүдийн талаар илүү өргөн ойлголт авах, дүрэм боловсруулахад синтетик өгөгдөл ашиглах, мөн аюулгүй байдлаас бусад салбарыг багтаасан олон төрлийн хэрэглээнд RBRs-ийн үр нөлөөг баталгаажуулах хүний үнэлгээ хийх зорилгоор илүү өргөн ablation study явуулахаар төлөвлөж байна.

Судлаачид болон практик хэрэглэгчдийг өөрсдийн ажилд RBRs-ийн боломжийг судлахыг бид урьж байна. Ойлголт хуваалцаж, шилдэг практик дээр хамтран ажилласнаар бид аюулгүй, нийцүүлсэн AI-ийн салбарыг хамтдаа урагшлуулж, эдгээр хүчирхэг хэрэгслүүд хүмүүсийн төлөө илүү сайн үйлчлэхийг хангаж чадна.