Гуравдагч талын үр дүнтэй үнэлгээний тэргүүлэх чиглэл ба зарчим

Хил хязгаарын хиймэл оюуны лабораториуд загварыг аюулгүй сургах, үнэлэх, нэвтрүүлэх асар их хариуцлага хүлээдэг. Гуравдагч талын үнэлгээ нь энэ хариуцлагыг тэнцвэржүүлэх, хиймэл оюуны аюулгүй байдлын талаарх санал оролцоог өргөжүүлэх, дэлхий нийтийг мэдээллээр хангах, лабораториудаас хараат бусаар дэмжигдсэн тодорхой аюулгүй байдлын мэдэгдлийнх нь төлөө хариуцлага нэхэхэд чухал үүрэгтэй.

OpenAI нь тэргүүлэх технологийн хөгжлийн хурдыг зохистой барих ажлынхаа хүрээнд сургалт, үнэлгээ, нэвтрүүлэлтийн бүх шатанд гүнзгий хандалт бүхий хараат бус үнэлгээг дэмжихээр зорьж байна. Энэ хандалт нь үнэлэгчдэд бидний таамаглалыг сорих, бидний орхигдуулсан байж болзошгүй эрсдэлийг илрүүлэх, хамгаалалтын үр нөлөөний талаар бие даан дүгнэх боломж олгох ёстой.

Бид загвар хөгжүүлэх, нэвтрүүлэх үйл явцын янз бүрийн үе шатанд гуравдагч талын үнэлэгчидтэй олон жилийн турш хамтран ажилласан. Мөн бид гуравдагч талын үнэлгээг Preparedness Framework-ийн дадалдаа тусгаж, илүү нарийн, хариуцлагатай үйл явцыг дэмждэг байгууллага, хууль тогтоомжийг дэмжсэн. Эдгээр хамтын ажиллагааны туршид бид техникийн хамгаалалтын талаарх мэдээлэл, харагдах бодлын хэлхээнд хандах боломж, мөн ослын хариу арга хэмжээ болон хяналтын улаан багийн ажилд зориулсан урьд өмнө байгаагүй хэмжээний нууц өгөгдөл, дотоод нэвтрүүлэлтийн хандалт зэрэг гүнзгий хандалтыг олгосон. Энд танилцуулсан тэргүүлэх чиглэл, зарчмууд нь техникийн аюулгүй байдлын үнэлгээний хүрээнд хувийн болон ашгийн бус салбарын хараат бус үнэлгээний байгууллагуудтай хамтран ажиллахад төвлөрнө. Эдгээр нь туршилт, үнэлгээний чиглэлээр засгийн газруудтай хамтран хийдэг ажлыг маань нөхөх бөгөөд ялгаатай үүрэг, хариуцлагад өөр арга барил шаардагдаж болно.

Эдгээр үнэлгээг үр дүнтэй болгохын тулд хараат бус байдлын хүчтэй механизм, шинжлэх ухааны нарийн чанд байдал, найдвартай аюулгүй ажиллагаа, тодорхой хариуцлага шаардлагатай. Лабораториуд эмзэг мэдээллийг хамгаалахын зэрэгцээ бодитой хяналт шалгалт хийх боломж бүрдүүлэх үүрэгтэй. Үүнийг зөв хэрэгжүүлэх хариуцлагыг лаборатори болон хараат бус үнэлэгчид хамтран хүлээх бөгөөд аюулгүй байдал, хамгаалалтын дадлын олон улсын нийтлэг стандартын дагуу ажиллах ёстой. Доор бид илүү гүнзгий үнэлэх дөрвөн тэргүүлэх чиглэл болон нарийн чанд, аюулгүй, хараат бус ажиллах зарчмуудыг санал болгож байна.

Гуравдагч талын үнэлгээ нь тодорхой, чухал асуултад хариулах үед хамгийн үр өгөөжтэй. Нотолгоо лабораторийн аюулгүй байдлын үндэслэл болон мэдэгдлүүдийг дэмжиж байна уу? Үнэлгээнүүд хэмжихээр зорьсон эрсдэлээ хангалттай шалгаж байна уу? Хамгаалалтууд бодит нөхцөлд үр дүнтэй ажилладаг уу?

Энд тайлбарласан үнэлгээнүүд нь шалгаж буй аюулгүй байдлын асуудлаас хамааран өөр өөр хэлбэртэй байна. Бид хэдэн долоо хоногоос хэдэн сар хүртэлх өөр өөр хугацаатай олон үнэлгээг зэрэг дэмжихээр төлөвлөж байна. Гуравдагч талын үнэлгээ нь нэвтрүүлэлтийн өмнөх ажлын нэг хэсэг болж, нэвтрүүлэх шийдвэрт нөлөөлж болох ч энд тайлбарласан ажил ерөнхийдөө урт хугацааны, бүтээгдэхүүн гаргах хугацаанаас үл хамаарах бөгөөд тодорхой аюулгүй байдлын мэдэгдлийг хугацааны явцад гүнзгий шалгахад төвлөрнө.

Бид тэргүүлэх чиглэл, зарчмуудынхаа туршид аюулгүй байдлын мэдэгдэл болон аюулгүй байдлын үндэслэл гэсэн нэр томьёог хэрэглэнэ. Эдгээр нэр томьёог бид дараах утгаар хэрэглэж байна:

Бид илүү гүнзгий үнэлэх дөрвөн тэргүүлэх чиглэл болон нарийн чанд, аюулгүй, хараат бус ажиллах зарчмуудыг санал болгож байна.

1. Сургалт, үнэлгээ, дотоод болон гадаад нэвтрүүлэлтийг хамарсан аюулгүй байдлын үндэслэлийн хараат бус үнэлгээ.

   Аюулгүй байдлын үндэслэлийг үнэлэхэд нийцүүлэлт, хяналт зэрэг удирдлагын арга, кибер аюулгүй байдал, биологи, химийн зүй бус ашиглалт, улаан багийн ажлын мэргэшил шаардлагатай. Аюулгүй байдлын үндэслэл нь сургалт, чадавхын үнэлгээ, хамгаалалтын талаарх мэдэгдлүүдээс бүрдэх бөгөөд тэдгээрийг бүхэлд нь эсвэл хэсэгчлэн үнэлж болно (доорх 2, 3-р тэргүүлэх чиглэлийг үзнэ үү). Хэд хэдэн үнэлэгч өөрсдийн мэргэшилд тулгуурлан үндэслэлийн өөр өөр хэсгийг шалгах шаардлага гарах магадлалтай. Тэдний үнэлгээнүүд нийлээд дараах асуултуудад хариулах ёстой:

   1. Сургалт, үнэлгээ, нэвтрүүлэлтийн аюулгүй байдлын үндэслэлийн нотолгоо хангалттай баталгаажсан уу? Сургалт, үнэлгээ, нэвтрүүлэлтийн явцад аюулгүй байдлын үндэслэлийн нөхцөлүүдийг мөрдсөн үү?

   2. Манай аюулгүй байдлын үндэслэл үнэлгээний явцад илэрсэн хамгийн тулгамдсан эрсдэлүүдийг хамарч байна уу? Аюулгүй байдлын мэдэгдлүүд нийт аюулгүй байдлын үндэслэлийг дэмжиж байна уу? Ямар нэгэн дутагдал эсвэл сайжруулах шаардлагатай хэсэг байна уу?

   3. Хууран мэхлэлт, шагналыг хакердах, хор хөнөөлтэй үйлдэл, хязгаарлалтыг тойрохыг урамшуулж болзошгүй сургалтын сэдлийг илрүүлж, бууруулах үр дүнтэй арга хэрэглэж байна уу?

2. Дотоод болон гадаад нэвтрүүлэлтийн чухал хамгаалалтын үнэлгээ

   Манай хамгаалалтын цогц чадавх болон орчны өөрчлөлтөд нийцэн байнга хөгждөг. Манай хамгаалалтууд сургалт, дотоод болон гадаад нэвтрүүлэлтийг хамардаг. Одоогоор үүнд загварын түвшний, хэрэгжилтийн болон аюулгүй байдлын хамгаалалт, мөн нийцлийн алдагдлын хяналт багтдаг. Эдгээр нь хяналтаа алдах, кибер, биологи, химийн эрсдэлтэй холбоотой зүй бус ашиглалт зэрэг олон төрлийн эрсдэлийг хамарна. Техникийн түншлэл нь хамгаалалтын одоогийн сул талыг илрүүлэхийн зэрэгцээ үнэлгээний аргыг сайжруулж, стандарт боловсруулах ажлыг хурдасгана. Ингэснээр хил хязгаарын хөгжлийн хурдыг зохистой барих ирээдүйн төрийн бодлогод, ялангуяа аюулгүй байдал, хамгаалалтын стандарт нь дөнгөж бүрэлдэж буй дотоод нэвтрүүлэлтэд илүү бат бөх техникийн суурь тавина.

   Хараат бус үнэлгээгээр эдгээр хамгаалалт хэр сайн ажиллаж, хаана дутагдаж болохыг дараах байдлаар шалгах ёстой:

   1. «Саарал хайрцаг»-ийн хандалт ашиглахад хамгаалалтууд халдлагын туршилт (jailbreak)-ыг тэсвэрлэж, өндөр эрсдэлтэй салбар дахь чадавхын өсөлтөөс (жишээлбэл, кибер, биологи) хангалттай хамгаалж байна уу? Манай халдлагын туршилт болон улаан багийн ажил хамгийн чухал эрсдэлүүдийг хамарч байна уу?

   2. Бодит ажиллагааны нөхцөлд зөвшөөрөлтэй туршилт хийх үед агентууд хандалтын хяналт, тусгаарлагдсан орчин, илрүүлэлт ба хариу арга хэмжээний систем зэрэг кибер хамгаалалттай хэрхэн харилцдаг вэ? Ямар хамгаалалт хортой үйлдлээс сэргийлж, түүнийг илрүүлж эсвэл хязгаарладаг вэ? Аль хэсэгтээ доголддог вэ?

   3. Дотоод болон гадаад нэвтрүүлэлтийн аль алинд хяналтаа алдах эсвэл ноцтой нийцлийн алдагдалд хүргэж болох чухал цоорхой манай нийцлийн алдагдлын хяналтад байна уу? Загварын чадавх сайжрахын хэрээр бодлын хэлхээний хяналт нь аюулгүй байдал эсвэл нийцлийг нотлох эх сурвалжийн хувьд хэр найдвартай вэ?

   4. Холбогдох бүх сургалт, үнэлгээ, нэвтрүүлэлтийн хүрээнд амархан идэвхгүй болгох боломжгүй зохистой хяналтыг хэрэгжүүлсэн үү?

   5. Чадавхад нь тохирсон хамгаалалт хэрэгжүүлсэн үү?

3. Preparedness-ийн эрсдэлийн ангилал (хими, биологийн эрсдэл, кибер аюулгүй байдал, хиймэл оюуны өөрийгөө сайжруулах чадвар)-ыг хамарсан чадавхын үнэлгээ болон нийцлийн алдагдлын эрсдэлийг шалгах нийцлийн үнэлгээ

   Манай Preparedness Framework нь хилийн эрсдэлийн гол чиглэлүүдийг үнэлэхийг шаарддаг. Босгыг давж, үнэлгээний ялгах чадвар ханахын хэрээр Preparedness-ийн эрсдэлтэй чиглэлүүдийн чадавхыг шалгах үнэлгээ болон ноцтой нийцлийн алдагдлын эрсдэлийг шалгах нийцлийн үнэлгээг тогтмол шинэчилж, хамрах хүрээ, чанарыг нь баталгаажуулах нь чухал.

   Холбогдох асуултуудад дараах зүйлс багтана:

   1. Preparedness-ийн эрсдэлийг шалгадаг үнэлгээнүүд тухайн эрсдэлийн босгын тодорхойлолтыг хангалттай хамарч байна уу? Эдгээр үнэлгээний босгыг зөв тогтоосон уу?

   2. Загварууд хамгийн өндөр оноог тогтмол авах үед үнэлгээг шинэчилдэг үү? Шинэ сорилууд илүү ахисан чадавхыг бодитой хэмждэг үү?

   3. Манай нийцлийн үнэлгээ ноцтой нийцлийн алдагдлын эрсдэлийг хангалттай хамарч байна уу? Ямар чухал зан төлөв эсвэл нөхцөлийг орхигдуулж болох вэ?

4. Нийцлийн алдагдлын ноцтой тохиолдлыг хараат бусаар шалгах

   Хараат бус шалгалт нь хиймэл оюуны аюулгүй байдлын олон төрлийн ноцтой тохиолдолд үнэ цэнтэй байж болно. Энд бид загвар зөвшөөрөлгүй үйлдэл хийх эсвэл хяналтаас зайлсхийх зэрэг нийцлийн алдагдалд төвлөрнө. Эдгээр нь санаатай зүй бус ашиглалт гараагүй ч нийцүүлэлтийн арга, хамгаалалтын сул талыг илрүүлж болно.

   OpenAI Hugging Face-ийн тохиолдол шиг зарим нөхцөлд нийцлийн алдагдлын тохиолдлыг шалгах ажилд хараат бус гуравдагч талыг оролцуулах нь үр өгөөжтэй байж болно. Тохиолдлын шалгалтад оролцох гуравдагч тал шаардлагатай мэргэшилтэй байх нь нэн чухал. Үүнд холбогдох тохиолдолд кибер шинжилгээ, нийцүүлэлт, бодлын хэлхээний өргөн хүрээний шинжилгээний мэргэшил, мөн шалгалтыг цаг тухайд нь явуулах ажилтан, нөөц багтана. Ослын хариу арга хэмжээ нь дотоодын болон гуравдагч талын эмзэг өгөгдөлд хандахыг шаардаж болох тул зарим мэдээллийг нийтлэх эсвэл түүнд хандах нь эмзэг асуудал байж болно. Хараат бус шалгалтын үр дүн нь загварын нийцэл болон өмнө ажиглагдсан нийцлийн алдагдлыг залруулах арга хэмжээний үр нөлөөний талаарх мэдэгдлийг үнэлэх нотолгоо өгч, аюулгүй байдлын үндэслэлд нь хувь нэмэр оруулж болно.

   Нийцлийн алдагдлын тохиолдлын хүрээнд бид дараах асуудлын хараат бус үнэлгээг тэргүүлэх чиглэл болгоно:

   1. Тухайн тохиолдлын явцад загварын ямар зан төлөв эсвэл нийцлийн алдагдлын асуудал гарсан бэ? Үүнд нөлөөлсөн гол хүчин зүйлс юу вэ?

   2. Хамгаалалт болон залруулах арга хэмжээ ирээдүйд ижил төстэй тохиолдлыг үр дүнтэй бууруулах уу?

• Үнэлэх мэдэгдлийн хүрээг тодорхой тогтоож, харилцан тохиролцох: Үнэлгээг харилцан тохирсон хүрээнээс эхэлж, үнэлгээний ажил эхлэхээс өмнө урьдчилан бүртгэсэн, тодорхой томьёолсон аюулгүй байдлын мэдэгдлүүдээр үргэлжлүүлэх ёстой. Гуравдагч тал болон лабораториуд эдгээр нь үнэлүүлж буй компанийн үнэлгээнд дэвшүүлэхийг хүссэн мэдэгдэл үү, эсвэл гуравдагч талын үнэлэгч бие даан үнэлэхээр зорьж, лаборатори тухайн шалгуураар үнэлүүлэхийг зөвшөөрсөн мэдэгдэл үү гэдгийг тодруулах ёстой. Гуравдагч тал өгөгдөлд нэвтрэх боломжгүй байх, үнэлэгчийн туршлага хангалтгүй байх, эсвэл яаралтай үнэлгээ хийхэд хугацааны боломжит хязгаарлалт үүсэх зэрэг олон шалтгаанаар зарим мэдэгдэл үнэлгээний хүрээнээс гадуур байж болно. Лаборатори болон үнэлэгчид анхны хүрээнээс гадуур илэрсэн ноцтой эрсдэлийг авч үзэх, цаашид шалгах шаардлагатай эсэхийг шийдэх үйл явц тогтоох ёстой. Дүгнэлтэд харилцан тохирсон хүрээний дагуу юуг үнэлсэн, юуг үнэлээгүйг тодорхой тусгах ёстой.

• Зохистой түвшний хандалт: Хууль эрх зүй, аюулгүй байдал, оюуны өмчийн хязгаарлалтын хүрээнд боломжтой бол үнэлэгчдэд тохиролцсон мэдэгдлүүдийг үнэлэхэд шаардагдах зохистой түвшний хандалт олгох ёстой. Шууд хандах нь боломжгүй эсвэл зохимжгүй үед үнэлэгчид компанийн томилсон төлөөлөгчтэй хамтран ажиллах, эсвэл суурь мэдээллийг хамгаалах шууд бус болон нууцлалыг хадгалсан хандалтын механизмыг судалж болно.

• Ил тод арга зүй ба стандарт: Үнэлэгчид арга барил, үнэлгээний шалгуур, тодорхойгүй байдлаа тайлбарлаж, боломжтой тохиолдолд тогтсон стандартад тулгуурлах ёстой. Стандарт хараахан байхгүй бол хэрэглэж буй шалгуураа тодорхой үндэслэх ёстой. Тайланд шууд илрүүлсэн үр дүнг тайлбараас ялгаж, тодорхойгүй байдлыг тайлбарлан, нотолгоо ямар дүгнэлтийг дэмжиж байгааг тодорхой болгох ёстой.

• Мэргэшил ба хараат бус байдал: Үнэлэгчид холбогдох техникийн мэдлэг чадвараа нотолж, санхүүгийн урамшуулал, хөгжүүлэгчидтэй тогтоосон харилцаа, үнэлж буй ажилд өмнө нь оролцсон байдал зэрэг байгууллагын болон хувь хүний ашиг сонирхлын зөрчлийг илрүүлж, мэдээлэн, зохицуулах ёстой. Арилжааны дарамт болон төлбөрийн зохицуулалт үр дүнд нөлөөлөхөөс сэргийлсэн хамгаалалт бүрдүүлэх ёстой бөгөөд үүнд тухайн ажлаас татгалзуулах эсвэл зохих хугацаанд оролцуулахгүй байх арга хэмжээ багтаж болно.

• Аюулгүй байдал ба нууцлал: Үнэлэгчид хандсан систем, мэдээллийн эмзэг байдлын түвшинд тохирсон мэдээллийн аюулгүй байдлын дадал, ажилтнуудад нь үйлчлэх албадан мөрдүүлэх боломжтой нууцлалын хамгаалалттай гэдгээ нотлох ёстой. Эдгээр хамгаалалт нь оюуны өмч, эмзэг мэдээлэл, үнэлгээний бүртгэлийг хамрах ёстой. Үнэлэгчид өөрсдийн орчинд аюулгүй байдлын шаардлагыг хангаж чадахгүй эсвэл хандах өгөгдөл онцгой эмзэг бол компанийн удирддаг төхөөрөмж, байранд хандалт олгох нь тохиромжтой байж болно.

• Хэрэгжүүлэх боломжтой үр дүн ба залруулах хугацаа: Үнэлгээ нь тодорхой дутагдлыг илрүүлж, лабораториудад тэдгээрийг арилгахад хангалттай дэлгэрэнгүй мэдээлэл өгөх ёстой. Зохимжтой тохиолдолд лабораториудад нийтлэхээс өмнө асуудлыг залруулах боломжит хугацаа өгөх ёстой. Холбогдох тохиолдолд тайланд агент хөгжүүлэгч, нэвтрүүлэгч, хамгаалагчдад өгөх сургамжийг тайлбарлаж, хэрэгжүүлэх практик зөвлөмж өгөх ёстой.

• Хариуцлагатай нийтлэх дадал: Үнэлгээний тайлан нотолгоонд тулгуурласан байх бөгөөд эмзэг, нууц мэдээллийг хамгаалахын зэрэгцээ аль болох нээлттэй хуваалцах ёстой. Олон нийтэд бүрэн мэдээлэх боломжгүй үед зохих хяналтын байгууллагад, тухайлбал компанийн засаглалын байгууллага эсвэл удирдах зөвлөлд нууц тайлан хүргүүлэх нь хариуцлагыг дэмжинэ. Хараат бус байдал ба нууцлалын тэнцвэрийг хадгалахын тулд мэдээллийг зарчимтайгаар нууцлах хамгаалалт, бодлого, мөн санал хүсэлт өгөх болон алдааг засах талаар тодорхой хүлээлт тогтоох ёстой. Үнэлэгчид нууцлал болон оюуны өмчийн хамгаалалтыг хадгалахын зэрэгцээ редакцын хараат бус байдлаа хамгаалах ёстой. Үнэлэгчид лабораториудад эмзэг мэдээллийг нууцлуулах хүсэлт гаргах боломж олгосон тодорхой бодлого хэрэгжүүлэх ёстой. Үүний зэрэгцээ үнэлэгчид агуулгын томоохон хэсгийг нууцалсан тохиолдол болон энэ нь үнэлгээний тайланд хэрхэн нөлөөлснийг тэмдэглэж болно.

Гуравдагч талын үр дүнтэй үнэлгээнд зориулсан илүү тодорхой, олон улсад хүлээн зөвшөөрсөн нийтлэг стандартыг ирээдүйн хууль тогтоомж болон хувийн засаглалын байгууллагуудаар дамжуулан бий болгож, хараат бус үнэлэгчдийг дэмжихээр бид зорьж байна. Хараат бус үнэлгээний экосистем өсөж буй энэ үед хил хязгаарын аюулгүй байдлын асуудлуудаар гүнзгий мэргэшсэн, олон талт хараат бус үнэлэгчдийн нийгэмлэгийг дэмжиж, хамтран ажиллах замаар хөгжлийг нь хурдасгана. Тулгамдсан хил хязгаарын аюулгүй байдлын бүх асуудлыг нэг гуравдагч тал дангаараа иж бүрэн хамрах боломжгүй, мөн ингэх ёсгүй. Бид чадавхаа нэмэгдүүлж, өсөн тэлж буй гуравдагч талын экосистемийг шилдэг дадал, зарчмууд дээр нэгдүүлэхийн тулд зорилготой, нягт нямбай ажиллана. Дээрх тэргүүлэх чиглэлүүдэд нийцэх саналуудын талаар бид хэд хэдэн гуравдагч талтай хэлэлцэж байна.