Դեպի առաջադեմ ԱԲ-ի ուսուցման անվտանգության հիմնավորումներ

Մենք կարծում ենք, որ թևակոխում ենք նոր դարաշրջան, երբ առաջադեմ մոդելների ամրապնդումով ուսուցման ցանկացած գործարկում շարունակելուց առաջ պետք է պահանջվի անվտանգության կառուցվածքային փաստաթղթավորում։ Իդեալական դեպքում նման փաստաթղթավորումը պետք է հասնի «անվտանգության հիմնավորումների» մակարդակին՝ ռիսկի վերաբերյալ համապարփակ, կառուցվածքային, ապացույցների վրա հիմնված փաստարկների, որոնք կիրառվում են անվտանգության տեսանկյունից խիստ կարևոր այլ ոլորտներում։ Անվտանգության հիմնավորումները համարում ենք ուղենիշ, որին ձգտում ենք։ Միաժամանակ գիտակցում ենք, որ ԱԲ մոդելների համար դրանք նույնքան խիստ դարձնելը, որքան ավիացիայում կամ միջուկային էներգետիկայում, դժվար է, քանի որ ԱԲ-ի կարողությունների յուրաքանչյուր նոր մակարդակ բերում է նոր բարդությունների։ Մենք մշակում ենք այս գործելակերպերը կանոնակարգող շրջանակ։

Ստորև ներկայացված են որոշ նախնական ուղեցույցներ, որոնք, մեր կարծիքով, պետք է ներառվեն առաջադեմ ԱԲ-ի ուսուցման անվտանգության նման հիմնավորումներում։ Այս լավագույն գործելակերպերն արտացոլում են մինչ այժմ մեր քաղած դասերը։ Ակնկալում ենք, որ դրանք կզարգանան, երբ շարունակենք կատարելագործել զգուշավոր մշակման մեր ներքին գործընթացները։ Դրանք հրապարակում ենք հիմա՝ մեր ներկայիս մոտեցումները թափանցիկ դարձնելու համար, և հրավիրում ենք համայնքին կարծիքներ հայտնել։ Նկատի ունեցեք, որ այս փաստաթուղթը վերաբերում է առաջադեմ մոդելների ամրապնդումով ուսուցմանը։ Ներքին և արտաքին կիրառման համար անհրաժեշտ է դիտարկել նպատակներին համապատասխանության շատ ավելի լայն շրջանակի հատկություններ։

Անվտանգության հիմնավորումները պետք է ընդգրկեն տեխնիկական համակարգի երեք կողմ՝ նպատակներին համապատասխանեցնող ուսուցում, մեկուսացում և մշտադիտարկում։ Այս պաշտպանական միջոցներն օգնում են ապահովել, որ մոդելը չփորձի կատարել նպատակներին չհամապատասխանող գործողություններ, իսկ փորձելու դեպքում դժվարանա հաղթահարել մեկուսացումը, և մշտադիտարկումը դա հայտնաբերի նախքան վնաս հասցնելը։

• Մոդելի համապատասխանեցում նպատակներին․ պաշտպանության առաջին գիծը պետք է լինի մոդելներին նպատակներին համապատասխան գործել սովորեցնելը, այսինքն՝ հուսալիորեն գործել այնպես, ինչպես մենք ենք նախատեսում։ Սա կարող է ներառել՝

  • Ուսուցման միջավայրեր և գնահատում․ նվազեցնել մոդելների՝ նպատակներին չհամապատասխանող վարք ձևավորելու ռիսկերը՝ թույլ չտալով, որ ուսուցման ընթացքում պարգևատրման համակարգը շահարկելու փորձերը դրական ամրապնդում ստանան։ Սա կարող է ներառել՝

    • Տվյալների հավաքածուների ավտոմատացված ստուգում․ ագենտների օգնությամբ գտնել և շտկել ամրապնդումով ուսուցման թերի միջավայրերը, որտեղ նպատակներին չհամապատասխանող գործողությունների շղթաները կարող են բարձր պարգևատրում ստանալ խոցելիությունների շահագործման, այլ ոչ թե նախատեսված վարքի շնորհիվ։ Սա կնվազեցնի ուսուցման ընթացքում անհամապատասխան վարքի ամրապնդման հնարավորությունները։

    • Տվյալների հավաքածուների ձեռքով ստուգում․ ավտոմատացված նախափորձարկումը լրացնել տվյալների հավաքածուների ձեռքով վերանայմամբ և որակի ստուգումներով՝ հայտնաբերելու թերի առաջադրանքները, որոնք կարող են ակամա ամրապնդել նպատակներին չհամապատասխանող վարքը։

    • Գնահատիչների կարգաբերում․ գնահատիչները կարգաբերել այնպես, որ տուգանեն ուսուցման ընթացքում ամրապնդումով ուսուցման միջավայրերը շահագործելու կամ կոտրելու մոդելի փորձերը։

    • Նախորդ գործարկումների վերլուծություն․ դասակարգիչներով վերլուծել նախորդ փորձերի հետագծերը՝ համոզվելու, որ գնահատիչներն աշխատում են նախատեսված ձևով։

  • Համապատասխանության չափում․ կատարել գնահատումներ, որոնք հետևում են մոդելի՝ նպատակներին չհամապատասխանելու հակումներին՝ չափելու համապատասխանեցնող ուսուցման արդյունավետությունը։ Սա կարող է ներառել՝

    • Համապատասխանության անցանց գնահատումներ․ առաջադեմ մոդելների ուսուցման գործարկումների ընթացքում գնահատել նպատակներին համապատասխանությունը՝ պարզելու՝ արդյոք ուսուցումն ընթանում է նախատեսված ձևով, և ուսումնասիրել ցանկացած էական հետընթաց։

    • Հետադարձ փորձարկում․ համապատասխանության գնահատումները փորձարկել նախորդ միջադեպերի վրա՝ հաստատելու, որ դրանք հայտնաբերում են նախկինում նպատակներին չհամապատասխանող մոդելները և չափազանց հարմարեցված չեն առանձին միջադեպերի։

    • Գնահատումների շահարկման վերահսկում․ հետևել գնահատման իրազեկությանը կամ մետախաղին (երբ մոդելները հասկանում են, որ իրենց փորձարկում են), որոնք կարող են փոխել վարքը։ Օրինակ՝ համապատասխանության գնահատումներում միացնել գնահատման իրազեկության և մետախաղի մշտադիտարկիչներ՝ արգելափակման հստակ շեմերով։

    • Սթրես-թեստեր վատագույն սցենարների համար․ առաջացնել հնարավոր վատագույն անցանկալի վարքը և ստուգել, որ առնվազն մեկ գնահատում այն կհայտնաբերի։

  • Կանխել մտքերի շղթայի հիման վրա ուսուցումը․ ամրապնդումով ուսուցման ընթացքում ավտոմատացված գնահատիչներին չտրամադրել մտքերի շղթան, որպեսզի մոդելները չսովորեն խուսափել մտքերի շղթայի մշտադիտարկիչներից։

• Մեկուսացում․ մեկուսացված միջավայրն ու պաշտպանությունը դարձնել այնքան ամուր, որ կանխեն վնասակար գործողությունները, եթե մոդելը դադարի համապատասխանել նպատակներին։ Սա կարող է ներառել՝

  • Ենթակառուցվածքի բազմաշերտ պաշտպանություն․ մեծ ռեսուրսներ ներդնել թե՛ մոդելի մեկուսացված միջավայրի, թե՛ այն սպասարկող հետազոտական ենթակառուցվածքի պաշտպանության ամրապնդման մեջ, որպեսզի մեկուսացված միջավայրից դուրս գալու դեպքում ունենանք պաշտպանության լրացուցիչ շերտ։

  • Մեկուսացման նախափորձարկում․ բարելավել մեկուսացված միջավայրի, հետազոտական ենթակառուցվածքի և արտաքին սահմանների պաշտպանությունը՝ անվտանգության վերլուծության հիման վրա այս համակարգերը պարբերաբար նախափորձարկելով առաջադեմ մոդելների ուսուցման միջանկյալ պահված տարբերակներով՝ բացերը գտնելու և վերացնելու համար։ Նախափորձարկել նաև բոլոր ծառայությունները, որոնց հետ մոդելը կարող է փոխազդել ուսուցման ընթացքում (օրինակ՝ համացանցային քեշը)։

  • Նմուշների միջև հաղորդակցություն․ մեծ թողունակությամբ միջնմուշային հաղորդակցությունը սահմանափակել հաստատված ուղիներով, օրինակ՝ բազմաագենտ գործիքակազմով, և փակել ենթակառուցվածքի այն կողմնակի ալիքները, որոնք ունեն մեծ թողունակություն և հեշտությամբ հայտնաբերվում են ագենտների կողմից։

  • Անփոփոխելի արձանագրություններ․ ամրապնդումով ուսուցման, գնահատման և ներքին կիրառման բոլոր գործընթացներում ագենտների արձանագրությունները ողջամիտ ժամկետով պահել անփոփոխելի ձևով (օրինակ՝ մեկանգամյա գրառմամբ պահեստավորման հաշիվներում)՝ միջադեպերի հուսալի ուսումնասիրությունն ապահովելու և պատահական խմբագրումները կանխելու համար։

• Մշտադիտարկում․ ունենալ իրական ժամանակում աշխատող մշտադիտարկման համակարգ, որը մոդելների՝ նպատակներին չհամապատասխանող գործողություններ սկսելու դեպքում կհայտնաբերի հնարավոր անհամապատասխանությունները և թույլ կտա արագ լուծել առաջնահերթ խնդիրները՝ նախքան լուրջ միջադեպի առաջանալը։ Սա կարող է ներառել՝

  • Մշտադիտարկելիության ապահովում․ ապահովել, որ մոդելները շարունակեն ենթարկվել արդյունավետ մշտադիտարկման՝ դա չափելով մշտադիտարկելիության և մշտադիտարկումից խուսափելու գնահատումներով՝ հստակ շեմերով, որպեսզի մտահոգիչ վարքը վաղ հայտնաբերվի։

  • Հայտնի խնդիրների հայտնաբերման բարձր լիարժեքություն․ ապահովել, որ մշտադիտարկման համակարգն առանձին պահված գնահատման տվյալներով հայտնաբերի նախկին միջադեպերի մեծ մասը։

  • Մշտադիտարկիչների գնահատումների արդիականություն․ նոր գործարկումների համար ստեղծել գնահատման տվյալներ, որոնք ներկայացնում են լիովին նոր ռիսկերը, որպեսզի մշտադիտարկիչների հայտնաբերման լիարժեքության և ճշգրտության չափումները չհնանան։

  • Արագ արձագանք․ ներդնել առաջնահերթ ահազանգեր, որոնց հիման վրա սահմանված SLA-ի ժամկետում քայլեր կձեռնարկվեն՝ կա՛մ հերթապահին ծանուցելով, կա՛մ համապատասխան գործարկումն ավտոմատ կասեցնելով՝ նախքան մոդելը վնաս կհասցնի։ Օրինակ՝ ցերեկային միջադեպերի դեպքում ծանուցել անվտանգության հերթապահին և գործարկման պատասխանատուին, իսկ գիշերը չհաստատված ահազանգերի դեպքում ավտոմատ կասեցնել գործարկումները։

Տեխնիկական պաշտպանական միջոցների վերաբերյալ առաջարկություններին զուգահեռ մենք մշակում ենք առաջադեմ ԱԲ-ի ուսուցման գործարկման անվտանգության հիմնավորման գործառնական լավագույն գործելակերպեր։ Դրանք կարող են ներառել՝

• Առարկություններ (հնարավոր ձախողումների նախնական վերլուծություն)․ անվտանգության հիմնավորումը կազմելուց հետո մեկ այլ թիմի անդամ պետք է գրավոր առարկություն ներկայացնի՝ հնարավոր բացերը գտնելու և ռիսկի կշռադատված գնահատական տալու համար։ Ուսուցման թիմն այնուհետև պետք է անդրադառնա այդ հարցերին՝ անվտանգության հիմնավորումն ամրապնդելու նպատակով։

• Հաստատումներ․ անվտանգության հիմնավորումը պետք է վերանայեն բարձրագույն ղեկավարության անդամները, որոնցից յուրաքանչյուրը պետք է կարողանա արգելել գործարկումը։ Այդպես գործարկումը կանցնի ներքին ստուգման մի քանի օղակով (օրինակ՝ հետազոտական ստորաբաժանման ղեկավար կամ փոխնախագահ, անվտանգության ղեկավար և գլխավոր գիտնական)։

• Հաշվետվողականություն․ ուսուցման գործարկման համար պատասխանատու բարձրաստիճան ղեկավարը (օրինակ՝ հետազոտական ստորաբաժանման ղեկավարը կամ հետազոտությունների գծով փոխնախագահը) պետք է հաշվետու լինի անվտանգության հիմնավորման և միջադեպերին արձագանքելու համար, այդ թվում՝ իր աշխատանքի գնահատման շրջանակում։ Դա ուսուցման թիմերին նույնպես կխթանի հետամուտ լինել անվտանգությանը և նախատեսված նպատակներին համապատասխանությանը։

• Կասեցում․ եթե հայտնաբերվեն անվտանգության հիմնավորումն անվավեր դարձնող խնդիրներ (օրինակ՝ պաշտպանվածության նոր խնդիր), պետք է լինեն գործողությունների հրահանգներ, տեխնիկական վերահսկման միջոցներ և սպասարկման մակարդակի համաձայնագրեր (SLA)՝ հիմնավորման շրջանակում ընդգրկված բոլոր գործարկումները կասեցնելու համար։

• Ներքին թափանցիկություն․ անվտանգության հիմնավորումները պետք է հասանելի լինեն ներքին վերահսկողության խմբերին (օրինակ՝ Անվտանգության և պաշտպանվածության հանձնաժողովին)։

• Աուդիտներ․ աուդիտորներին պետք է տրամադրվի բավարար հասանելիություն՝ ստուգելու անվտանգության հիմնավորման պնդումների վավերությունն ու հիմնավոր լինելը և բարձրաձայնելու հայտնաբերված բացերի մասին։

• Հարցերի փոխանցում վերադասին․ պետք է լինի նպատակներին անհամապատասխանության մասին վերադասին ահազանգելու հստակ ընթացակարգ՝ սահմանված ծանրության աստիճանների աղյուսակով։ Պետք է լինի նաև այդ հարցերով հերթապահ պատասխանատու, որը կարող է ծանուցել ղեկավարներին (օրինակ՝ գլխավոր գործադիր տնօրենին), երբ գործարկման ընթացքում խնդիրը հասնում է ծանրության որոշակի աստիճանի։

• Տեխնիկական վերահսկման միջոցներ․ մարդկանց և ագենտների համար պետք է դժվար լինի պահանջներին չհամապատասխանող գործարկումներ սկսելը։ Մշտադիտարկման և ավտոմատ կասեցման նման անվտանգության գործառույթները խափանվելիս պետք է արգելափակեն աշխատանքը (օրինակ՝ չպետք է հնարավոր լինի գործարկումներ սկսել առանց պատշաճ մշտադիտարկումը միացնելու կամ մշտադիտարկիչն անջատել ամրապնդումով ուսուցման, գնահատման կամ ներքին կիրառման միջավայրից)։

• Հետադարձման հնարավորություն․ ուսուցման գործընթացում պետք է հեշտ լինի գտնել նպատակներին չհամապատասխանող մոդելի հետագա բոլոր կիրառությունները (օրինակ՝ տվյալների ստեղծում կամ գնահատում), որպեսզի անհրաժեշտության դեպքում հնարավոր լինի վերացնել անհամապատասխան արդյունքների ազդեցությունը։

• Մնացորդային ռիսկերի ամբողջական հաշվառում․ անվտանգության հիմնավորումները պետք է հնարավորինս համապարփակ թվարկեն այն մնացորդային ռիսկերը, որոնք չեն ծածկվում արդեն ներդրված մեղմման միջոցներով, որպեսզի ռիսկի ընդունման որոշումները լինեն տեղեկացված։

Սրանք մեր ներկայիս առաջարկություններն են, որոնք այժմ ներդրվում են OpenAI-ում։ Ակնկալում ենք, որ առաջիկա շաբաթներին մեր գործելակերպերը կշարունակեն զարգանալ։

Մենք նաև մշակում ենք լավագույն գործելակերպեր՝ ԱԲ-ի նպատակներին անհամապատասխանության ծանր միջադեպերն ուսումնասիրելու համար։ Լաբորատորիաները պետք է ձգտեն առանձին միջադեպերից հնարավորինս շատ դասեր քաղել (ինչպես բարձր ռիսկով այլ ոլորտների ուսումնասիրության գործելակերպերում⁠(բացվում է նոր պատուհանում))՝ ապագայում նման դեպքերը կանխելու համար։ Այդպիսի քայլերը կարող են ներառել՝

• Ներքին թափանցիկություն․ քանի որ ուսումնասիրությունը կարող է երկար տևել, դրա ընթացքի մասին պետք է պարբերաբար տեղեկացվի կազմակերպության ներսում (օրինակ՝ ընթացիկ ուսումնասիրությունների մասին ամենօրյա թարմացումներով)։ Աշխատակիցները պետք է ունենան ավելի լայն հասանելիություն ստանալու հստակ ընթացակարգեր, այդ թվում՝ չմշակված արձանագրություններին ծանոթանալու և նպատակներին չհամապատասխանող մոդելներից պատասխանների նմուշներ ստանալու համար, եթե դա անվտանգ է և առնչվում է նրանց աշխատանքին։

• Անհամապատասխանության արմատական պատճառներ․ հետազոտողները պետք է պարզեն ուսուցման դինամիկայի հիմքում ընկած պատճառները (օրինակ՝ առանձին բաղադրիչների նպատակային հեռացման կամ կրկնակի նմուշառման փորձերով)՝ հասկանալու, թե ինչպես է ձևավորվել նպատակներին չհամապատասխանող վարքը։ Դա կօգնի խորացնել անհամապատասխանության գիտական ըմբռնումը և հետագայում ավելի լավ կանխել այն։

• Հետմիջադեպային վերլուծություն․ պետք է վերլուծել գործառնական և կազմակերպական մշակույթի գործոնները՝ հասկանալու միջադեպին նպաստած բոլոր պատճառները, օրինակ՝ ինչու են խնդիրներն առաջացել և մինչև միջադեպը մնացել չբացահայտված կամ չեն փոխանցվել վերադասին։

• Հայտնաբերում․ մենք պետք է մշակենք նպատակներին համապատասխանության ստուգման մեթոդներ, որոնք կկարողանան բացահայտել միջադեպ առաջացնելու հակվածությունը՝ առանց դրանք ուղղակիորեն օպտիմալացնելու միջադեպից ստացված տեղեկությունների հիման վրա (օրինակ՝ արձանագրությունների կամ միջադեպի ամփոփումների)։ Միջադեպերի հիման վրա պետք է ստեղծվեն գնահատումներ՝ որպես «հետընթացի թեստեր», որպեսզի ապագա մոդելները շատ նման միջադեպերում նպատակներին անհամապատասխանության հակվածություն չցուցաբերեն։

• Հանրային բացահայտումներ․ ուսումնասիրության ավարտից հետո դրա արդյունքները, հետմիջադեպային վերլուծությունները և գործառնական փոփոխությունները պետք է ներկայացվեն հանրությանը։ Տուժած երրորդ կողմերը պետք է ծանուցվեն հնարավորինս շուտ։