Хил хязгаар LLM-үүд дэх зааврын шатлалыг сайжруулах нь

AI системүүд ихэвчлэн олон эх сурвалжаас заавар авдаг. Үүнд system мессеж дэх аюулгүй байдлын бодлого, хөгжүүлэгчдийн бүтээгдэхүүний заавар, хэрэглэгчдийн хүсэлт, мөн онлайнаас олдсон мэдээлэл багтаж болно. Эдгээр эх сурвалж дундаас хамгийн их итгэж болох зааврыг тогтвортойгоор эрэмбэлж сурах нь аюулгүй нэвтрүүлэлтийн чухал хэсэг юм.

Энэ эрэмбэлэлт алдагдахад AI-ийн аюулгүй байдал болон найдвартай ажиллагааны олон асуудал үүсч болно. Загварууд зөвшөөрөгдөөгүй агуулгын хүсэлт, хувийн мэдээлэл ил болгох оролдлого, эсвэл онлайн өгөгдөлд шингэсэн зааварт халдлагыг хүлээн авч болно. Эдгээр нөхцөл бүрд зохистой ажиллаж чадахгүй байх нь нэг ижил үндсэн шалтгаантай: загвар буруу зааврыг дагаж магадгүй.

Эдгээр заавар хоорондоо зөрчилдвөл загвар аль нь илүү чухал болохыг шийдэх ёстой. Хэрэв итгэлгүй зааврыг эрх бүхий мэт үзвэл загвар бодлого, эсвэл хөгжүүлэгч ба хэрэглэгчийн зорилгыг зөрчсөн байдлаар ажиллаж магадгүй.

Итгэлийн түвшнээр нь зааврыг эрэмбэлж дагахыг загварт сургадаг зөв зохиомжилсон зааврын шатлалын даалгаврууд нь бодит ертөнцийн аюулгүй байдлын хэд хэдэн шинжийг сайжруулдгийг бид харуулж байна. Эдгээр даалгавраар сурсан загварууд system өгөгдөл дэх аюулгүй байдлын тодорхойлолтод илүү мэдрэмтгий болж (аюулгүй чиглүүлэх чадварыг сайжруулж), tool гаралтад шингэсэн зааварт халдлагад илүү тэсвэртэй болдог.

Зөрчлийг шийдэхийн тулд OpenAI-ийн загварууд дараах тодорхой зааврын шатлалыг дагахаар сургагддаг:

System > developer > user > tool

Илүү өндөр ач холбогдолтой зааварт илүү их итгэнэ. Доод түвшний заавар нь дээд түвшний хязгаарлалттай зөрчилдөхгүй үед л загвар түүнийг дагах ёстой. Эдгээр зарчмыг OpenAI Загварын тодорхойлолт⁠(шинэ цонхонд нээгдэнэ)-д тайлбарласан.

Жишээлбэл, хэрэв system мессежид аюулгүй байдлын бодлого байхад хэрэглэгч загвараас түүнийг зөрчихийг хүсвэл загвар татгалзах ёстой. Хэрэв tool гаралт дотор хортой заавар байвал загвар тэднийг тушаал мэт үзэхийн оронд үл тоох ёстой.

Үүнийг зөв хийх нь аюулгүй байдал, хамгаалалт, найдвартай ажиллагааны суурь юм.

Бататгах сургалт нь зааврын шатлалыг заахад байгалийн тохироо юм. Бид зөрчилтэй заавар бүхий харилцан яриа үүсгэж, загвараас хариу гаргуулан, зөв зааврыг дагавал урамшуулж болно.

Энэ жорыг шууд хэрэглэхэд гардаг гурван эрсдэлийг бид тодорхойлсон:

• Заавар дагах алдаа нь зааврын шатлалын алдаа давхар байж болно: загвар үүргүүдийн шатлалыг ойлгохгүйдээ бус, харин зааврууд өөрсдөө хэт төвөгтэй учраас зөрчлийг шийдэж чадахгүй байж магадгүй.
• Зааврын зөрчил нь нарийн төвөгтэй, бүр субъектив ч байж болно. Түгээмэл арга нь сургаж буй LLM-д өгөх шагналыг тусдаа Том хэлний загвар (LLM) шүүгчээр оноолгох байдаг ч шүүгчид өөрсдөө алдаа гаргаж болно.
• Загварууд өндөр шагнал авчирдаг ч бодит хэрэглээнд хэрэггүй товчилсон арга замыг⁠(шинэ цонхонд нээгдэнэ) сурах хандлагатай. Сонгодог жишээ нь хэт татгалзал: загварууд хоргүй хүсэлтээс ч татгалзсаар аюулгүй байдлыг дээдлэхийг сурч болдог.

Бид эдгээр эрсдэл тус бүрийг шийдэхийн тулд бататгах сургалтын өгөгдлийн багц болох IH-Challenge-ийг зохиосон. Бид дараах зарчмыг баримталдаг:

• Даалгаврууд нь энгийн заавар-дагах шинжтэй
• Энгийн Python скриптээр объективоор үнэлэгдэх боломжтой
• Бүх даалгаварт өндөр шагнал баталгаажуулах хялбар товчилсон арга байхгүй

IH-Challenge дахь даалгавар бүр үндсэндээ дараах мессежүүдтэй харилцан яриа юм:

• Өндөр эрхтэй дүрээс ирсэн зааврын мессеж, жишээ нь: «Зөвхөн “Тийм” эсвэл “Үгүй” гэж хариул».
• Доод эрхтэй дүрээс ирсэн, загварыг өндөр эрхтэй мессеж дэх зааврыг зөрчихөд хүргэхийг оролдсон зааврын мессеж.

Сургаж буй загвар дараагийн мессежийг үүсгэнэ. Бид даалгавар/орчныг загварын хариу дээд түвшний хязгаарлалтыг хангаж байгаа эсэхийг програмчлалаар шалгах боломжтой байхаар бичдэг.

Бид загварыг IH‑Challenge дээр сургаж, GPT‑5 Mini-R гэж нэрлэсэн дотоод загварыг дараах сайжруулалттайгаар гаргасан:

• Зааврын шатлалын жишиг дээр илүү сайн ажилладаг
• Сайжирсан гүйцэтгэл нь held‑out болон дайсагнасан зааврын шатлалын тестүүдэд ерөнхийжинэ
• Хэт татгалзал руу нурж орохгүйгээр нийт ашигтай байдлаа хадгалдаг

Энэ нь уг аргыг аюулгүй байдлын үүднээс онцгой сонирхолтой болгодог: IH-challenge даалгаврууд дээр зааврын зөрчлийг зөв шийдэхээр загваруудыг шууд сургах замаар бид шинэ халдлага, шинэ нөхцөл байдалд ерөнхийших IH сайжруулалтыг олж авч байна.

Илүү хүчтэй зааврын шатлал нь аюулгүй чиглүүлэх чадвар болон зааварт халдлагад тэсвэртэй байдал зэрэг олон ашиг тусыг нэгэн зэрэг авчирдаг.

Бид system өгөгдөлд ангилал тус бүрийн аюулгүй байдлын тодорхойлолт нэмж, OpenAI-ийн аюулгүй байдлын Production Benchmarks дээрх үйлдлийг хэмжих замаар аюулгүй чиглүүлэх чадварыг үнэлдэг (энэ нь үйлдвэрлэл дээрх ChatGPT‑ийг төлөөлөх, аюулгүй байдлын мэдрэмтгий харилцан яриануудын цогц юм).

IH-ээр сургагдсан загвар тогтвортой сайжралтыг харуулж байна: аюулгүй байдлын тодорхойлолт байхад зөвшөөрөгдөөгүй ангиллуудын дагуу татгалзалт болон аюулгүй гүйцэтгэлийн түвшин нь өссөн бөгөөд энэ нь доод ач холбогдолтой заавраас аюулгүй бус хүсэлт ирэхэд илүү хүчтэй зааврын шатлалын үйлдэл зөрчлийг шийдэхэд тусалж байгааг示лнэ. Онцлоход, энэ сайжралт нь тустай байдлын түвшин буурахтай хамт яваагүй (өөрөөр хэлбэл ерөнхийдөө илүү их татгалзсанаар “тусгүй” болж байгаа хэрэг биш).

Tool гаралт дотор хортой заавар шингэсэн үед зааварт халдлагыг эсэргүүцэхэд зааврын шатлал мөн төв байр суурь эзэлдэг. Бид IH-ээр сургагдсан загварыг хоёр зааварт халдлагын жишиг дээр үнэлсэн—академик жишиг CyberSecEval 2 болон ChatGPT Atlas⁠-ийн хуучин хувилбар дээр үзүүлсэнтэй төстэй халдлагуудаас бүрдсэн OpenAI-ийн дотоод зааварт халдлагын жишиг.

Суурь загвартай харьцуулахад IH-ээр сургагдсан GPT‑5 Mini-R загвар нь хоёр жишиг дээр хоёуланд нь зааварт халдлагад тэсвэртэй байдлаа сайжруулж, эдгээр туршилтад манай дотоод статик зааварт халдлагын үнэлгээнд гүйцэтгэлээ мэдэгдэхүйц ахиулсан.

Загварууд илүү агент маягтай болж—tool дуудаж, итгэлгүй баримт уншиж, бодит ертөнцөд үйлдэл хийх тусам—итгэж болох зааврыг итгэлгүй заавраас тогтвортой давуу тавих чадвар нь аюулгүй байдлын үндсэн шинж чанар болж байна.

Энэхүү ажил нь эдгээр эрсдэлийг шийдэхээр сургалтын орчин зохиосноор IH тэсвэртэй байдлын сургалтын хэд хэдэн бэрхшээлийг даван туулж болдгийг харуулж байна. Манай IH-Challenge өгөгдлийн багц энгийн мэт харагдавч эдгээр орчноос загваруудын сурсан IH зан үйл нь илүү бодит, ихэвчлэн объективоор үнэлэхэд бэрх жишгүүдэд ерөнхийшдөг.

Зааврын шатлалыг бэхжүүлэх нь найдвартай ажиллагааг сайжруулаад зогсохгүй аюулгүй байдал, хамгаалалтын олон ахицыг нэгэн зэрэг нээдэг—AI системүүд улам чадвартай, бие даасан болох тусам илүү чухал болох суурь юм.

Энэ чиглэлийн цаашдын судалгааг дэмжихийн тулд бид IH‑Challenge өгөгдлийн багцыг энд⁠(шинэ цонхонд нээгдэнэ) нийтэлж байна.