Хил хязгаарын хиймэл оюуны сургалтын аюулгүй байдлыг нотолгоогоор үндэслэх нь

Хил хязгаарын бататгах сургалтын аливаа явцыг үргэлжлүүлэхээс өмнө аюулгүй байдлын бүтэцчилсэн баримт бичиг заавал шаарддаг шинэ эринд бид орж байна гэж үзэж байна. Уг баримт бичиг нь аюулгүй байдал нэн чухал бусад салбарт ашигладаг, эрсдэлийн талаарх иж бүрэн, бүтэцчилсэн, нотолгоонд суурилсан тайлбар болох «аюулгүй байдлын нотолгоот үндэслэл»-ийн түвшинд хүрсэн байвал зохино. Бид аюулгүй байдлын нотолгоот үндэслэлийг хүрэхээр зорьж буй чиг баримжаа гэж үздэг. Гэхдээ хиймэл оюуны чадавхын шинэ түвшин бүрд шинээр үүсэх нарийн төвөгтэй байдлаас шалтгаалан үүнийг нисэх, цөмийн эрчим хүчний салбарынхтай адил чанд түвшинд хиймэл оюуны загварт хэрэглэхэд хүндрэлтэйг хүлээн зөвшөөрч байна. Бид эдгээр арга барилыг системтэйгээр журамлах хүрээг боловсруулж байна.

Хил хязгаарын хиймэл оюуны сургалтын аюулгүй байдлын нотолгоот үндэслэлд оруулах хэрэгтэй гэж бидний үзэж буй анхны удирдамжуудыг доор танилцууллаа. Эдгээр шилдэг туршлага нь бидний одоогоор сурч мэдсэн зүйлд тулгуурласан. Хөгжүүлэлтийг няхуур хийх дотоод үйл явцаа сайжруулахын хэрээр эдгээр нь ч өөрчлөгдөнө гэж үзэж байна. Одоогийн үзэл баримтлалаа ил тод болгож, олон нийтийн санал хүсэлтийг авахын тулд бид эдгээрийг одоо хуваалцаж байна. Энэ баримт бичиг хил хязгаарын бататгах сургалтад төвлөрснийг анхаарна уу. Дотоод болон гадаад ашиглалтад нэвтрүүлэхдээ зорилгод нийцлийн илүү өргөн хүрээний шинж чанарыг харгалзан үзэх шаардлагатай.

Аюулгүй байдлын нотолгоот үндэслэл нь техникийн тогтолцооны гурван талыг хамрах ёстой: зорилгод нийцүүлэх сургалт, тусгаарлалт, хяналт. Эдгээр хамгаалалт нь загвар зорилгод нийцээгүй үйлдэл хийхийг оролдохгүй байхад тусална. Оролдсон ч тусгаарлалтыг давахад хэцүү байх бөгөөд хор хохирол учруулахаас нь өмнө хяналтаар илрүүлэх боломж бүрдэнэ.

• Загварыг зорилгод нийцүүлэх: Хамгаалалтын эхний шат нь загварыг зорилгод нийцүүлэн, өөрөөр хэлбэл бидний хүссэнээр найдвартай ажилладаг болгон сургах явдал байх ёстой. Үүнд дараах зүйлс багтаж болно:

  • Сургалтын орчин ба оноо өгөх: Сургалтын үед урамшууллын механизмыг овжин ашигласан үйлдлийг эерэгээр бататгахаас сэргийлж, загварт зорилгод нийцээгүй зан үйл бий болох эрсдэлийг бууруулах. Үүнд дараах зүйлс багтаж болно:

    • Өгөгдлийн багцын автомат шалгалт: Агент ашиглан бататгах сургалтын доголдолтой орчныг олж засах. Ийм орчинд зорилгод нийцээгүй үйлдлийн дараалал нь хүссэн зан үйлээр бус, цоорхой ашиглах замаар өндөр урамшуулал авч болдог. Үүнийг зассанаар сургалтын үед зорилгод нийцэхгүй байдлыг бататгах боломж буурна.

    • Өгөгдлийн багцыг хүнээр шалгуулах: Улаан багийн автомат шалгалтыг өгөгдлийн багцын гар шалгалт, чанарын хяналтаар нөхөж, зорилгод нийцээгүй зан үйлийг санамсаргүйгээр бататгаж болох алдаатай даалгаврыг илрүүлэх.

    • Оноо өгөх системийг тохируулах: Сургалтын үеэр загвар бататгах сургалтын орчны цоорхойг ашиглах, системийг мэхлэх гэж оролдвол оноог нь бууруулахаар оноо өгөх системийг тохируулах.

    • Өмнөх сургалтын шинжилгээ: Өмнөх туршилтын явцын бүртгэлд ангилагч ажиллуулж, оноо өгөх систем зориулалтын дагуу ажиллаж буйг шалгах.

  • Зорилгод нийцлийг хэмжих: Зорилгод нийцүүлэх сургалтын үр нөлөөг хэмжихийн тулд загварын зорилгод нийцэхгүй байх хандлагыг хянах үнэлгээ хийх. Үүнд дараах зүйлс багтаж болно:

    • Зорилгод нийцлийн офлайн үнэлгээ: Хил хязгаарын сургалтын явцад зорилгод нийцлийн үнэлгээ хийж, сургалт төлөвлөсний дагуу үр дүн өгч байгаа эсэхийг шалган, мэдэгдэхүйц дордсон үзүүлэлтийг судлах.

    • Өмнөх тохиолдлоор шалгах: Зорилгод нийцлийн үнэлгээг өмнөх зөрчлүүд дээр туршиж, өмнө нь зорилгод нийцээгүй загваруудыг илрүүлж чадаж буй, мөн тодорхой зөрчилд хэт тааруулаагүй эсэхийг баталгаажуулах.

    • Үнэлгээг мэхлэх оролдлогыг хянах: Зан үйлийг өөрчилж болзошгүй үнэлгээг таних эсвэл сорилын нөхцөлийг овжин ашиглах явдлыг (загвар өөрийг нь шалгаж байгааг таних) хянаж, хориглох тодорхой босго тогтоох. Жишээлбэл, зорилгод нийцлийн үнэлгээнд үнэлгээг таних болон сорилын нөхцөлийг ашиглах явдлыг илрүүлэх хяналтыг идэвхжүүлэх.

    • Хамгийн муу нөхцөлийн сорил: Хамгийн ноцтой буруу зан үйлийг зориудаар гаргуулж, дор хаяж нэг үнэлгээ үүнийг илрүүлж чадах эсэхийг шалгах.

  • Бодлын хэлхээнд тулгуурлан сургахаас сэргийлэх: Загвар бодлын хэлхээний хяналтаас зайлсхийж сурахаас сэргийлж, бататгах сургалтын үеэр оноо өгөх автомат системд бодлын хэлхээг харуулахгүй байх.

• Тусгаарлалт: Загвар зорилгод нийцэхээ больсон тохиолдолд хор хөнөөлтэй үйлдэл гаргуулахгүй байхаар тусгаарласан орчин болон хамгаалалтыг хангалттай бат бөх болгох. Үүнд дараах зүйлс багтаж болно:

  • Дэд бүтцийн олон давхар хамгаалалт: Загвар ажилладаг тусгаарласан орчин болон түүнийг байршуулдаг судалгааны дэд бүтцийн хамгаалалтыг бэхжүүлэхэд ихээхэн хөрөнгө оруулах. Ингэснээр загвар тусгаарласан орчноос гарсан ч нэмэлт хамгаалалтын давхарга үлдэнэ.

  • Тусгаарлалтад хийх улаан багийн шалгалт: Аюулгүй байдлын шинжилгээнд үндэслэн, хил хязгаарын сургалтын завсрын хадгалсан хувилбаруудаар эдгээр системд улаан багийн давтан шалгалт хийж, цоорхойг олж хаах замаар тусгаарласан орчин, судалгааны дэд бүтэц, периметрийн хамгаалалтыг сайжруулах. Мөн сургалтын үед загвар хандаж болох бүх үйлчилгээнд (жишээлбэл, интернэтийн кэш) улаан багийн шалгалт хийх.

  • Дээж хоорондын харилцаа: Дээж хооронд их хэмжээний мэдээлэл дамжуулах харилцааг зөвхөн олон агентын хэрэгсэл зэрэг зөвшөөрсөн сувгаар явуулах. Агент амархан илрүүлж болох, өндөр нэвтрүүлэх чадвартай дэд бүтцийн далд сувгуудыг хаах.

  • Өөрчлөх боломжгүй бичлэг: Зөрчлийг найдвартай шалгах, санамсаргүй засвар оруулахаас сэргийлэхийн тулд бататгах сургалт, үнэлгээ, дотоод ашиглалтын бүх тохиолдолд агентын харилцан үйлдлийн бичлэгийг зохистой хугацаанд өөрчлөх боломжгүйгээр хадгалах (жишээлбэл, зөвхөн нэг удаа бичих боломжтой хадгалалтын бүртгэлд).

• Хяналт: Загварууд зорилгод нийцээгүй үйлдэл хийж эхэлбэл болзошгүй зөрүүг илрүүлэх бодит цагийн хяналтын системтэй байж, ноцтой зөрчил гарахаас өмнө нэн тэргүүний асуудлыг шуурхай шийдвэрлэх. Үүнд дараах зүйлс багтаж болно:

  • Хянах боломжийг заавал хангах: Санаа зовоох зан үйлийг эрт илрүүлэхийн тулд загварыг хянах боломж хэвээр байгааг баталгаажуулах. Үүнийг тодорхой босготой, хянах боломж болон хяналтаас зайлсхийх чадварын үнэлгээгээр хэмжих.

  • Мэдэгдэж буй асуудлыг бүрэн илрүүлэх: Сургалтаас тусад нь нөөцөлсөн үнэлгээнд хяналтын систем өмнөх зөрчлүүдийн өндөр хувийг илрүүлж байгааг баталгаажуулах.

  • Хяналтын үнэлгээг шинэчлэх: Хяналтын илрүүлэлтийн бүрэн байдал, нарийвчлалын хэмжүүр хуучрахгүй байхаар шинэ сургалтын цоо шинэ эрсдэлийг төлөөлөх үнэлгээний өгөгдөл үүсгэх.

  • Шуурхай хариу арга хэмжээ: Загвар хор хохирол учруулахаас өмнө жижүүрт мэдэгдэх эсвэл холбогдох сургалтыг автоматаар түр зогсоох замаар үйлчилгээний түвшний гэрээнд (SLA) заасан хугацаанд арга хэмжээ авахад хүргэх өндөр ач холбогдолтой дохиолол хэрэгжүүлэх. Жишээлбэл, өдрийн зөрчлийг хамгаалалтын жижүүр болон сургалт хариуцагчид мэдэгдэж, шөнийн дохиоллыг хүлээн авснаа баталгаажуулаагүй бол сургалтыг автоматаар түр зогсоох.

Техникийн хамгаалалтын зөвлөмжөөс гадна бид хил хязгаарын хиймэл оюуны сургалтын явцад аюулгүй байдлын нотолгоот үндэслэл боловсруулах үйл ажиллагааны шилдэг туршлагыг хөгжүүлж байна. Үүнд дараах зүйлс багтаж болно:

• Эсрэг дүгнэлт (урьдчилсан эрсдэлийн шинжилгээ): Аюулгүй байдлын нотолгоот үндэслэлийн төслийг гаргасны дараа өөр багийн гишүүн түүнд байж болох цоорхойг илрүүлж, эрсдэлийг бодитоор дүгнэсэн эсрэг санал бичих хэрэгтэй. Сургалтын баг уг саналд хариу арга хэмжээ авч, үндэслэлээ илүү баттай болгоно.

• Зөвшөөрөл: Аюулгүй байдлын нотолгоот үндэслэлийг дээд удирдлагын гишүүд хянах ёстой. Сургалтад олон давхар дотоод хяналт тавихын тулд тэд тус бүр сургалтад хориг тавих эрхтэй байх хэрэгтэй (жишээлбэл, судалгааны нэгжийн удирдагч буюу дэд ерөнхийлөгч, аюулгүй байдал хариуцсан дарга, ерөнхий эрдэмтэн).

• Хариуцлага: Сургалтыг хариуцсан дээд түвшний удирдагч (жишээлбэл, судалгааны нэгжийн удирдагч буюу судалгаа хариуцсан дэд ерөнхийлөгч) аюулгүй байдлын нотолгоот үндэслэл болон аливаа зөрчилд авах хариу арга хэмжээг хариуцах ёстой. Үүнийг ажлын гүйцэтгэлийн үнэлгээнд ч тусгаснаар сургалтын багууд аюулгүй байдал, зорилгод нийцлийг ахиулах сонирхолтой болно.

• Түр зогсоох: Аюулгүй байдлын нотолгоот үндэслэлийг хүчингүй болгох асуудал (жишээлбэл, хамгаалалтын шинэ цоорхой) илэрвэл түүнд хамаарах бүх сургалтыг түр зогсоох ажиллагааны заавар, техникийн хяналт, үйлчилгээний түвшний гэрээ (SLA) бэлэн байх ёстой.

• Дотоод ил тод байдал: Аюулгүй байдлын нотолгоот үндэслэлийг дотоод хяналтын бүлгүүдэд (жишээлбэл, Аюулгүй байдал, хамгаалалтын хороонд) нээлттэй байлгах хэрэгтэй.

• Аудит: Аудиторууд аюулгүй байдлын нотолгоот үндэслэлд дэвшүүлсэн дүгнэлтүүд хүчинтэй, баттай эсэхийг шалгаж, дутагдал илэрвэл мэдээлэхэд хангалттай хандалтын эрхтэй байх ёстой.

• Дээд шатанд мэдэгдэх: Зорилгод нийцэхгүй байдлыг дээд шатанд мэдэгдэх тодорхой журам, ноцтой байдлын түвшнийг тодорхойлсон хүснэгт, мөн сургалт тодорхой түвшинд хүрэхэд удирдлагад (жишээлбэл, гүйцэтгэх захиралд) шуурхай мэдэгдэл илгээх жижүүртэй байх хэрэгтэй.

• Техникийн хяналт: Хүн болон агент шаардлага хангаагүй сургалт эхлүүлэхэд хүндрэлтэй байх ёстой. Хяналт, автоматаар түр зогсоох зэрэг аюулгүй байдлын механизм доголдвол үйл ажиллагааг хориглох ёстой. Жишээлбэл, зохих хяналтыг идэвхжүүлээгүй үед сургалт эхлүүлэх, эсвэл бататгах сургалт, үнэлгээ, дотоод ашиглалтын орчноос хяналтыг идэвхгүй болгох боломжгүй байх хэрэгтэй.

• Буцаах боломж: Шаардлагатай үед зорилгод нийцээгүй гаралтын нөлөөг арилгахын тулд ийм загварыг сургалтын дараагийн шатуудад ашигласан бүх тохиолдлыг (жишээлбэл, өгөгдөл үүсгэх, оноо өгөхөд) хялбархан олж тогтоох боломжтой байх ёстой.

• Үлдэгдэл эрсдэлийг бүрэн хамруулах: Эрсдэлийг хүлээн зөвшөөрөх эсэхийг мэдээлэлд тулгуурлан шийдэхийн тулд одоо хэрэгжүүлж буй арга хэмжээнд хамрагдаагүй үлдэгдэл эрсдэлийг аюулгүй байдлын нотолгоот үндэслэлд аль болох бүрэн жагсаах хэрэгтэй.

Эдгээр нь бидний одоогийн зөвлөмж бөгөөд OpenAI-д хэрэгжүүлж эхлээд байна. Ирэх долоо хоногуудад бидний арга барил улам боловсронгуй болно гэж үзэж байна.

Бид мөн хиймэл оюун зорилгод нийцээгүйгээс үүссэн ноцтой зөрчлийг шалгах шилдэг туршлагыг боловсруулж байна. Лабораториуд ийм тохиолдол дахин гарахаас сэргийлэхийн тулд зөрчил бүрээс аль болох ихийг суралцах хэрэгтэй. Энэ нь өндөр эрсдэлтэй бусад салбарын осол, зөрчлийг шалгах практиктай⁠(шинэ цонхонд нээгдэнэ) төстэй. Авч болох арга хэмжээний зарим жишээ:

• Дотоод ил тод байдал: Шалгалт дуусахад нэлээд хугацаа шаардагдаж болох тул явцын мэдээллийг дотооддоо тогтмол танилцуулах хэрэгтэй (жишээлбэл, үргэлжилж буй шалгалтын талаар өдөр бүр мэдээлэх). Аюулгүй бөгөөд ажилд нь хамааралтай бол ажилтнууд харилцан үйлдлийн эх бичлэгийг үзэх, зорилгод нийцээгүй загвараас гаралтын дээж авах зэрэг нэмэлт хандалтын эрх хүсэх тодорхой журамтай байх ёстой.

• Зорилгод нийцэхгүй байдлын үндсэн шалтгаан: Судлаачид сургалтын явц дахь өөрчлөлтийн үндсэн шалтгааныг (жишээлбэл, тодорхой бүрэлдэхүүнийг хасаж турших эсвэл дахин дээжлэх туршилтаар) тогтоож, зорилгод нийцээгүй зан үйл хэрхэн бий болсныг ойлгох хэрэгтэй. Ингэснээр уг үзэгдлийн шинжлэх ухааны ойлголтыг гүнзгийрүүлж, цаашид илүү үр дүнтэй сэргийлнэ.

• Зөрчлийн дараах дүн шинжилгээ: Зөрчилд нөлөөлсөн бүх шалтгааныг ойлгохын тулд үйл ажиллагаа болон байгууллагын соёлд дүн шинжилгээ хийх хэрэгтэй. Тухайлбал, асуудал яагаад үүссэн, зөрчил гарахаас өмнө яагаад илрээгүй, эсвэл дээд шатанд мэдэгдээгүйг тогтооно.

• Илрүүлэлт: Бид зөрчлөөс авсан мэдээлэлд (жишээлбэл, харилцан үйлдлийн бичлэг, зөрчлийн хураангуйд) шууд тулгуурлан давтан оновчлохгүйгээр, уг зөрчлийг үүсгэх хандлагыг илрүүлж чадах зорилгод нийцлийг шалгах аргуудыг боловсруулах хэрэгтэй. Ирээдүйн загварууд маш төстэй зөрчилд зорилгод нийцэхгүй байх хандлага гаргахгүйг баталгаажуулахын тулд зөрчилд тулгуурласан үнэлгээг «алдаа давтагдах эсэхийг шалгах сорил» болгон боловсруулах хэрэгтэй.

• Олон нийтэд мэдээлэх: Шалгалт дууссаны дараа үр дүн, зөрчлийн дараах дүн шинжилгээ, үйл ажиллагаанд оруулсан өөрчлөлтийг олон нийтэд мэдээлэх хэрэгтэй. Өртсөн гуравдагч талуудад аль болох хурдан мэдэгдэх ёстой.