OpenAI

Хил хязгаарын AI-ийн эрсдэлийг удирдах: Сургалтаас хэрэглээ хүртэл

2026 оны 11-р сарын 18 · Аюулгүй байдал

Хил хязгаарын загваруудын чадамж хурдацтай өсөж байгаа тул тэдгээрийг ойлгох, зорилготой нийцүүлэх, хамгаалах бидний чадвар үүнээс түрүүлж явах ёстой. Бид загваруудынхаа хөгжүүлэлт, нээлтийн хурдыг тохируулж байна. Аюулгүй байдлын стандартаа хангахад илүү хугацаа хэрэгтэй бол дотоод сургалтыг⁠(шинэ цонхонд нээгдэнэ) түр зогсоох, эсвэл GPT‑6.1 Astra зэрэг загварын нээлтийг хойшлуулах арга хэмжээ авдаг. Бид аюулгүй байдлын нотолгоонд суурилсан үндэслэл зэрэг шинэ үйл явц нэвтрүүлж, сургалтын туршид нийцтэй зан төлөвийн илүү баттай нотолгоо шаарддаг болсон. Эдгээр шаардлага загвар гаргах хурдыг сааруулдаг ч аюулгүй урагшлах итгэлийг нэмэгдүүлдэг.

Долоодугаар сарын Hugging Face-ийн зөрчлөөс⁠ хойш бид загвар сургах, турших, нэвтрүүлэх үеийн хамгаалалт болон нийцлийн шаардлагыг чангатгасан. Энэ нийтлэлд сайтар тусгаарласан сургалтын орчноос эхлээд таны компьютерт ашигладаг Codex хүртэлх шат бүрд эрсдэлийг хэрхэн үнэлж, удирддагийг тайлбарлана. Шат бүрд загвар болон хамгаалалтыг үнэлж, дараагийн шатанд шилжихийн өмнө аюулгүй байдлын хяналт хийлгэхийг шаарддаг.

Загварын амьдралын мөчлөгийн турших олон давхар хамгаалалт

Бид аль нэг хамгаалалтаас дангаар хамаарахыг багасгах олон давхар хамгаалалт ашигладаг. Нэг давхарга доголдвол бусад нь хор хөнөөлөөс сэргийлэх, үр дагаврыг хязгаарлах, эсвэл бидэнд мэдэгдэж арга хэмжээ авах боломж олгодог.

Бид хамгаалалтаа дөрвөн давхаргад зохион байгуулдаг:

Үр дүнтэй хяналт нь загварыг хянах боломж, өөрөөр хэлбэл загварын сэтгэн бодох явц, үйлдлээс алдаа эсвэл аюултай зан төлөвийг хяналтын систем хэр найдвартай илрүүлж чадахаас хамаардаг. Жишээлбэл, бодлын хэлхээндээ (CoT) хуурах санаагаа илэрхийлдэг загварыг энэ мэдээллийг орхигдуулдаг загвараас илүү хялбар хянаж болно. Бид сургалтын үед болон хэрэглээнд нэвтрүүлэхийн өмнө хянах боломжийг үнэлж, түүнийг хэмжих аргыг⁠(шинэ цонхонд нээгдэнэ) сайжруулж, юу нөлөөлдгийг судалдаг⁠(шинэ цонхонд нээгдэнэ).

Hugging Face-ийн зөрчил нь өндөр чадвартай загваруудыг хязгаарлахдаа зөвхөн тусгаарласан орчинд найдаж болохгүйг харуулсан. Одоо бид хэрэгсэл ашигладаг бүх дотоод хэрэглээг оролцуулан дотоод, гадаад хэрэглээний ихэнх орчинд хил хязгаарын загваруудыг хянадаг.

Загвар хөгжүүлэх, нэвтрүүлэх гурван шатанд давхарга бүрийн үүрэг өөрчлөгдөнө:

  • Судалгаа: Загваруудыг тусгаарласан орчинд сургаж, туршиж, ашигладаг.

  • Дотоод хэрэглээ: OpenAI-ийн ажилтнууд загваруудыг бодит ажилдаа ашигладаг.

  • Гадаад хэрэглээ: Загваруудыг илүү өргөн хүрээний хүн, байгууллага ашиглах боломжтой болдог.

Шат бүрд бид өөр өөр давхаргад түшиглэдэг. Сургалтын үед нийцэл нь төдийлөн баттай биш тул тусгаарлалт, хяналтад илүү түшиглэдэг. Хэрэглээнд нэвтрэхдээ загварын хандалтын эрх өргөжихийн хэрээр нийцэл, системийн түвшний хязгаарлалт улам чухал болдог. Шат бүрд хамгаалалтууд нийлээд загварын чадамж, хандалтын эрхэд тохирохуйц хангалттай эсэхийг үнэлдэг. Бидний дүгнэлтийг Аюулгүй байдлын зөвлөх бүлэгтэй хамтран нягталж, OpenAI Foundation-ийн Төлөөлөн удирдах зөвлөлийн Аюулгүй байдал, хамгаалалтын хороо хянаж болно.

Судалгааны үед: загваруудыг тусгаарласан орчинд хязгаарлах

Судалгааны шатанд загваруудын нийцлийн шинж чанарт итгэлтэй болохын тулд үнэлгээ хийдэг. Хор хөнөөлөөс сэргийлэхийн тулд нийцэлд бүрэн найдаж хараахан болохгүй учраас хандах нөөц, хийх үйлдлийг нь хязгаарлах аюулгүй байдал, тусгаарлалтад голлон түшиглэдэг.

Нийцлийн судалгаа, хяналтын систем, интернэтийн дэд бүтцийн аюулгүй байдлын өнөөгийн түвшинд хил хязгаарын загваруудыг интернэтэд шууд холбохгүйгээр сургах нь хариуцлагатай арга гэж бид үздэг. Hugging Face-ийн зөрчлийн дараа загваруудыг хязгаарлахын тулд дотоод судалгааны системээ ихээхэн шинэчилж, дараахыг ашигласан:

  • загварын эрхийг хязгаарлах тусгаарласан орчин

  • ажлын процессыг үндсэн компьютероос улам тусгаарлах виртуал машин

  • кластерийг бүхэлд нь интернэтээс салгах сүлжээ, үүлэн орчны хамгаалалтын зааг

Бид хамгийн хүчирхэг загваруудаасаа баг бүрдүүлэн интернэтэд холбогдох, хамгаалалтын заагийг давах, эсвэл тусгаарлагдсан байх ёстой агентуудтай харилцахыг оролдуулж, энэ системийг тасралтгүй сорьдог. Ингэснээр тусгаарлалт нь хязгаарлах ёстой загваруудынхаа чадамжийг тэсвэрлэж чадаж байгаа эсэхийг шалгадаг.

Нэмэлт хамгаалалт болгон хил хязгаарын загварын бүх тооцооллыг хянаж, аюулгүй байдлын заавал хадгалах нөхцөлүүдийг тойрсон эсэхийг илрүүлдэг. Хяналтаар загвар интернэтэд холбогдсоныг илрүүлбэл аюулгүй байдлын багуудад шуурхай дохио өгч, тухайн ажлыг автоматаар түр зогсоодог.

Тусгаарлалт алдагдсан үед хяналт нь чухал нөөц хамгаалалт болдог. Саяхны нийцлийн зөрчлийн тайландаа хяналтын системүүд дотоод судалгааны загвар DNS-ийн буруу тохиргоог ашиглаж байсныг илрүүлсэн⁠(шинэ цонхонд нээгдэнэ) талаар мэдээлсэн. Загвар үүгээр интернэтэд хязгаарлагдмал хандах эрх олж авчээ. Бид шалгалт явуулж, аюулгүй байдлын цоорхойг засах хугацаанд буюу есдүгээр сарын 20-ноос аравдугаар сарын 1 хүртэл хамгийн чадварлаг загваруудынхаа сургалт, үнэлгээг түр зогсоосон.

Шуурхай, найдвартай арга хэмжээ авахын тулд Control Room⁠ төвлөрсөн системийг бүтээсэн. Энэ нь судалгааны ажлуудыг хянаж, ажлыг зогсоох заавар авснаас хойш 35 секундийн дотор загварын гаралтыг зогсоодог. Эдгээр хяналтыг загварын тооцооллын дэд бүтцэд шууд хэрэгжүүлдэг тул судалгааны ажил бүр өөрийн унтраах механизмтай эсэхээс хамаардаггүй. Хил хязгаарын загварын судалгааны ажлуудын хувьд Control Room ажиллах боломжгүй болсон үед ч загварын гаралтыг зогсоодог.

Улаан багийн сорилт, хяналт хоёр хамтдаа ажилладаг. Тусгаарласан орчныг нэвтлэх боломжгүй гэж баталж чадахгүй ч улаан багийн сорилтоор загвар түүнээс гарахад хэр их хүчин чармайлт шаардагдахыг үнэлдэг. Загвараас илүү их хүчин чармайлт шаардах тусам хяналтын системд түүнийг илрүүлж, зогсоох боломж нэмэгдэнэ.

Бид судалгааны шатанд аюулгүй байдал, хяналтын хатуу шаардлага тавьдаг нь хэд хэдэн шалтгаантай:

  • Загваруудын үнэлгээ үргэлжилж байна. Зарим загвар олон нийтэд гаргахад шаардлагатай аюулгүй байдлын сургалт, нийцлийн аудит, хяналтыг хараахан дуусгаагүй байна.

  • Хил хязгаарын судалгааны орчин эрсдэлийг нэмэгдүүлж болно. Зарим судалгааны ажил илүү өргөн цар хүрээтэй тохиргоо шаарддаг тул загвар гадаад хэрэглээнд байдгаасаа илүү тууштай, чадварлаг болдог. Жишээлбэл, Навье–Стоксын бодлогыг шийдэхэд 10,000 агентын баг шаардлагатай болсон.

  • Сургалт өргөн цар хүрээнд, хүний шууд хяналт багатай явагддаг. Ердийн Codex холболтоос ялгаатай нь манай сургалтын ажлуудад загвар олон тооны үйлдэл хийдэг бөгөөд харилцан үйлчлэл бүрийг хүн хянадаггүй.

Дотоод хэрэглээ: нийцлийг шалгаж, зан төлөвийг нягт хянах

Өргөн хэрэглээнд гаргахаас өмнө ажилтнууд хил хязгаарын загваруудыг тусгаарласан судалгааны орчноос тусгаарлаагүй дотоод хэрэглээнд шилжүүлдэг. Жишээлбэл, загварыг ажилтнууд ChatGPT дотор ашиглах боломжтой болгодог. Ингэснээр бид загварууд бодит орчинд хэрхэн ажилладгийг⁠(шинэ цонхонд нээгдэнэ) илүү сайн ойлгож, хэрэглээнд нэвтрүүлэх шийдвэрээ үүнд үндэслэдэг.

Энэ шатанд загварт интернэт, манай Slack, кодын сан, дотоод дэд бүтцэд илүү өргөн хандах эрх олгодог. Загварын үйлдэл OpenAI-г хөгжүүлж, ажиллуулахад ашигладаг системүүдэд шууд нөлөөлөх тул эрсдэл мэдэгдэхүйц өөрчлөгдөнө. Дотоод хэрэглээний үед аюулгүй байдлын хязгаарлалтаас илүүтэй загварын нийцэл, системийн хамгаалалт, хяналтад түшиглэх шаардлагатай.

Хил хязгаарын загварыг тусгаарласан орчноос гадуур ашиглахын өмнө нийцэл болон хянах боломжийн шалгалт⁠(шинэ цонхонд нээгдэнэ) заавал хийдэг. Манай нийцлийн багц үнэлгээ нь аюулгүй байдал, хамгаалалтын хязгаарлалтыг тойрох зэрэг тодорхой зөрчлийг шалгахын зэрэгцээ ерөнхий хандлагыг хэмждэг. Үүнд дотоод Codex-ийн үйлдлийн дарааллаас дахин түүвэрлэж, нийцлийн зөрчил байгаа эсэхийг шалгах зэрэг орно. Нийцэл, хянах боломжийн үнэлгээний талаар хамгийн сүүлийн GPT‑6 Astra системийн картаас⁠(шинэ цонхонд нээгдэнэ) дэлгэрэнгүй үзнэ үү.

Бодит хэрэглээний тохиргоогоо дуурайлган, системийн түвшний ангилагчаар хамгаалалтын нэмэлт давхарга бий болгодог. Эдгээр нь хил хязгаарын чадамжаас үүдэх кибер урвуулан ашиглалт, биологийн зэвсэг бүтээх зэрэг хор хөнөөлөөс хамгаалахад зориулагдсан. Мөн Codex ашигладаг ажилтнуудаас ерөнхийдөө Автомат хяналт⁠(шинэ цонхонд нээгдэнэ) ашиглахыг шаарддаг. Энэ нь эрсдэлтэй байж болох үйлдлийг үнэлж, хэрэглэгчээр шийдүүлэхээр буцаадаг.

Эцэст нь дотоод хэрэглээний үед хил хязгаарын загварын тооцоолол бүрд нийцлийн зөрчилтэй зан төлөв илэрч буй эсэхийг хянадаг. Загварын эрх өргөжиж, дотоод мэдээлэл, системд хандах боломжтой болсон тул өгөгдөл гадагш алдах буюу нууц мэдээллийг зөвшөөрөлгүй газар илгээх зэрэг эрсдэлийг илрүүлэх нь онцгой чухал болдог. Хяналт нь мөн нийцлийн зөрчлийн шинэ хэлбэрүүдийг⁠(шинэ цонхонд нээгдэнэ) судлахад тусалдаг.

Гадаад хэрэглээ: урвуулан ашиглалт, нийцлийн зөрчлөөс өргөн хүрээнд хамгаалах

Олон нийтэд нэвтрүүлснээр загварыг илүү олон хэрэглэгч, даалгавар, орчинд ашигладаг болж, эрсдэлийн цар хүрээ болон төрөл нэмэгддэг. Энэ шатанд загварт зориуд хор хөнөөлтэй үйлдэл хийлгэхийг оролдож болзошгүй этгээдээс мөн хамгаалах шаардлагатай.

Олон нийтэд гаргахаас өмнө загвар болон системийн хамгаалалт нь гадаад хэрэглээний аюулгүй байдлын шаардлагыг хангасан байх ёстой. Бид дараах аргаар үнэлдэг:

  • Нийцэл, аюулгүй байдлын илүү өргөн багц үнэлгээ хийх. Хил хязгаарын загваруудын хувьд дотоод автомат улаан багаа ашиглан дасан зохицох туршилтын⁠ шинэ үе шатуудыг явуулж, загварын тэсвэртэй байдлыг хатуу сорьдог. Чадамж, аюулгүй байдлын үнэлгээний үр дүнг бид системийн картууддаа⁠(шинэ цонхонд нээгдэнэ) нийтэлдэг.

  • Хамгийн чадварлаг загваруудаа гуравдагч талтай хамтран мөн туршдаг. Ингэснээр урвуулан ашиглалтаас сэргийлэх хамгаалалт болон загварын суурь нийцлийг хатуу сорьдог.

  • Дотоод хэрэглээний шатанд хяналтаар илэрсэн дохиог нягтлах. Ингэснээр суурь загварын нийцэлд гарсан өөрчлөлтийг хянана.

Загварын аюулгүй байдлын сургалт, системийн ангилагч зэрэг «синхрон» хамгаалалтаас гадна гадаад хэрэглээнд бодит цагийн урсгалаас тусдаа шалгалт, дүрэм хэрэгжүүлэх арга хэмжээ ашигладаг. Эдгээр баг өргөн цар хүрээнд ажиллах шалгагч агентуудыг хүний хяналттай хослуулан болзошгүй аюул үүсгэгчдийг илрүүлж, тодорхойлдог. Үүнд кибер урвуулан ашиглалт, биологийн зэвсэг бүтээх, загварын мэдлэгийг нэрэх⁠, мөн загвар өөрөө нийцлийн зөрчил гаргах зэрэг багтана. Бодит цагийн урсгалаас тусдаа арга хэмжээ авах нь олон бүртгэлийг хамруулан мэдээлэл цуглуулж, болзошгүй аюулыг илүү цогцоор харахад онцгой тустай.

Daybreak, Rosalind⁠ зэрэг итгэмжлэгдсэн хандалтын хөтөлбөрүүд хамгаалалтын нэмэлт давхарга бүрдүүлдэг. Эдгээр нь хамгаалагчид, хууль ёсны судлаачдын ажлыг хурдасгаж, болзошгүй халдагчдын хандалтыг хязгаарладаг.

Зөрчилд хариу арга хэмжээ авах, нийтэд мэдээлэх

Аюулгүй байдлын аль нэг давхарга доголдсоныг анзаарвал бодит хор хөнөөл учирсан эсэхээс үл хамааран шуурхай шалгаж, эрэмбэлэн, боломжтой бөгөөд зохистой бол нийтэд мэдээлэхийг зорьдог. Манай нийцлийн зөрчлийг мэдээлэх⁠ бодлогын дагуу аливаа ажилтан зөрчлийг нийтэд мэдээлэхээр санал гаргаж болно. Эдгээр мэдээллийг шалгах бөгөөд нийтэд ил болгох эсэх дээр санал зөрвөл шийдвэрийг Аюулгүй байдлын зөвлөх бүлэгт шилжүүлдэг. Ажилтны мэдээлэлд түшиглэхээс гадна нийцлийн зөрчлийг идэвхтэй эрж илрүүлэн, шийдвэрлэж, үр дүнгээ хуваалцдаг.

Манай нийцлийн зөрчлийн тайлангуудыг эндээс⁠(шинэ цонхонд нээгдэнэ) үзэж болно.

​


​

Энэ ажил судалгааны ахиц болон үйл ажиллагааны сахилга батаас хамаарна: хяналтыг зөв тохируулах, харилцан ажиллагааг нь турших, доголдсон үед шийдэмгий арга хэмжээ авах шаардлагатай. Буруу тохируулсан сүлжээний үйлчилгээ эсвэл ажиллаагүй автомат зогсоолт нь бусад хүчтэй хамгаалалтыг сулруулж болно.

Загварууд шинэ чадамжтай болохын хэрээр хамгаалалтынхаа суурь таамаглалыг байнга сорьж, шаардлагатай газарт нь сайжруулах хэрэгтэй. Судалгаа, дотоод хэрэглээ, олон нийтэд нэвтрүүлсэн туршлагаас авсан сургамжид тулгуурлан дараагийн загваруудаа сургаж, үнэлж, нэвтрүүлэх ёстой.

Бусад хүн бидний арга барил, түүний хязгаарлалтыг нягтлах боломжтой байлгахын тулд системийн карт, зөрчлийн тайлан, дотоод хэрэглээний эрсдэлийн тайлан⁠(шинэ цонхонд нээгдэнэ), хөндлөнгийн үнэлгээгээр⁠ үр дүнгээ үргэлжлүүлэн хуваалцана. Нотолгоо нь бидний аюулгүй байдлын босгыг хангахгүй бол шаардлагыг хангах хүртэл сургалтыг дахин түр зогсоох эсвэл загварыг гаргахгүй байх болно.

Холбогдох судалгаа, эх сурвалж

Аюулгүй байдлын стандарт тогтоох

Нийцтэй зан төлөвийг тодорхойлж, үнэлэх

Загваруудыг хязгаарлаж, хамгаалалтыг сайжруулах

Зөрчилд хариу арга хэмжээ авах, нийтэд мэдээлэх

Судалгааны ахиц, хэрэглээ