Control Room

Մեր մոդելների հզորացման և դրանց հետ կապված անվտանգության ու պաշտպանվածության ռիսկերի աճին զուգահեռ ավելի ու ավելի կարևոր է դառնում հնարավոր խնդիրները հայտնաբերելու և անհրաժեշտության դեպքում մոդելների աշխատանքն արագ դադարեցնելու կարողությունը։ Այս խնդիրը լուծելու համար ստեղծել ենք Control Room-ը։

Control Room-ը կենտրոնացված համակարգ է, որը հետևում է մոդելների աշխատանքային բեռներին մեր ողջ հետազոտական ենթակառուցվածքում և արագ դադարեցնում դրանք, երբ անվտանգության կամ պաշտպանվածության հետ կապված մտահոգություններ են առաջանում։ Այն միավորում է հետազոտական արտածման բոլոր աշխատանքային բեռները, այդ թվում՝ մոդելների ուսուցման և գնահատման համար ագենտային նմուշառումը, տվյալների մշակումը և այլն։ Այն գործում է մեր նպատակներից շեղման մշտադիտարկման համակարգերի հետ համատեղ և դադարեցնում մոդելի ելքային տվյալների գեներացումը՝ առաջադրանքը դադարեցնելու կամ կասեցնելու նպատակով միջամտելու որոշումից հետո 35 վայրկյանի ընթացքում։ Այն նախագծված է այնպես, որ շարունակի գործել նույնիսկ այլ համակարգերի խափանման դեպքում և դադարեցնի մոդելի ելքային տվյալների գեներացումը, եթե հենց Control Room-ը խափանվի։

Control Room-ն արդեն ներդրված է մեր ողջ հետազոտական ենթակառուցվածքում, որտեղ դրա կարիքն ամենամեծն է։ Արտաքին օգտատերերին մոդելներ տրամադրող մեր տեխնոլոգիական համակարգն իր բնույթով արդեն շատ ավելի կենտրոնացված է և ունի լավ զարգացած գործառնական հնարավորություններ՝ անհրաժեշտության դեպքում տեղակայված մոդելներն արագ անջատելու համար։

Control Room-ն աշխատում է՝ միավորելով մի քանի համակարգ՝ աշխատանքային բեռը, արտածման շարժիչը և կենտրոնացված Control Room ծառայությունը։

• Աշխատանքային բեռը կատարվող առաջադրանքն է, օրինակ՝ ամրապնդումով ուսուցման փորձարկում, գնահատում, մեծածավալ նմուշառման կամ տվյալների մշակման առաջադրանք։ Մենք պահանջում ենք, որ ագենտային արտածում կատարող յուրաքանչյուր հետազոտական աշխատանքային բեռ կապված լինի հաստատված անվտանգության հիմնավորման հետ։

• Արտածման շարժիչը, կամ պարզապես շարժիչը, հենց մոդելն է։ Շարժիչը կարելի է պատկերացնել որպես մոդելի ուղեղ, որն աշխատում է անմիջապես գրաֆիկական պրոցեսորների վրա։ Աշխատանքային բեռը սովորաբար օգտագործում է մեկ կամ մի քանի մոդել, որոնք կարող են գործել արտածման մեկ կամ մի քանի տարբեր շարժիչների վրա։ Արտածման նույն շարժիչը կարող են օգտագործել մի քանի տարբեր աշխատանքային բեռներ։

• Control Room ծառայությունը հետևում է առաջադրանքներին և որոշում՝ արդյոք դրանց թույլատրվում է շարունակել մոդելի ելքային տվյալների գեներացումը։ Հարցումը կատարելուց առաջ շարժիչները թույլտվություն են ստուգում Control Room ծառայությունում։ Եթե առաջադրանքը դադարեցվել է, ծառայությունը մերժում է հարցումը՝ կանխելով ելքային տվյալների հետագա գեներացումը։

Control Room-ը ինտեգրված է հետևյալ կերպ․

• Նոր առաջադրանք գործարկելիս աշխատանքային բեռի կոդը Control Room-ից նոր job_id է խնդրում։

• Ամեն անգամ, երբ աշխատանքային բեռին անհրաժեշտ է մոդելից թոքենների նմուշառում կատարել, այն հարցում է ուղարկում տվյալ մոդելը գործարկող արտածման շարժիչին՝ փոխանցելով job_id-ն։ Շարժիչը Control Room-ից խնդրում է այդ հարցումը կատարելու թույլտվություն՝ նրան փոխանցելով job_id-ն։

• Control Room-ը ստուգում է՝ արդյոք տվյալ առաջադրանքը դադարեցվել է, և եթե այո, մերժում է արտածման հարցումը։ Շարժիչը մերժմամբ է պատասխանում աշխատանքային բեռի արտածման հարցմանը՝ դադարեցնելով այդ առաջադրանքի համար մոդելի ելքային տվյալների հետագա գեներացումը։

Մեր առաջադեմ մոդելների ամրապնդումով ուսուցման բոլոր առաջադրանքներն աշխատում են վերահսկիչի հսկողությամբ։ Վերահսկիչը մեկ այլ մոդել է, որն ուսումնասիրում է ուսուցանվող մոդելի բոլոր գործողությունները և խնդրի հայտնաբերման դեպքում ազդանշան է տալիս։ Օրինակ՝ մեր վերջին DNS-ի հետ կապված միջադեպը⁠(բացվում է նոր պատուհանում) հայտնաբերել էր վերահսկիչը։

Control Room-ը և մեր մշտադիտարկման համակարգը ինտեգրված են հետևյալ կերպ․

• Եթե մշտադիտարկման համակարգը հնարավոր խնդիր է հայտնաբերում, այն կարող է որոշել դադարեցնել առաջադրանքը՝ կախված խնդրի բնույթից և լրջությունից։

• Այդ դեպքում մշտադիտարկման համակարգը Control Room-ին առաջադրանքը դադարեցնելու հաղորդագրություն է ուղարկում՝ փոխանցելով job_id-ն։ Control Room-ը գրանցում է, որ առաջադրանքը դադարեցված է։

• Երբ հաջորդ անգամ այդ job_id-ով առաջադրանքն արտածման հարցում ուղարկի՝ ցանկացած շարժիչի վրա աշխատող ցանկացած մոդելից լրացուցիչ թոքենների նմուշառում կատարելու համար, հարցումը կմերժվի՝ դադարեցնելով մոդելի ելքային տվյալների հետագա գեներացումը։

Առաջադրանքը դադարեցնելու հրահանգը Control Room-ի ստանալու պահից մինչև դրա հետագա կատարումն անհնար դառնալը առավելագույնը 35 վայրկյան է անցնում։ Այս 35 վայրկյան ուշացումը պայմանավորված է արտածման թույլտվությունների քեշավորման շերտով, որն ապահովում է հարցումների անհրաժեշտ ծավալի սպասարկումը։ Աշխատում ենք այս ժամանակը հասցնել զրոյի, որպեսզի կարողանանք ակնթարթորեն դադարեցնել առաջադրանքները։

Աշխատանքային բեռները, այդ թվում՝ փորձարկումները, գնահատման առաջադրանքները և այլն, սովորաբար տնօրինում և գործարկում են հետազոտողները կամ հետազոտական թիմերը։ Ուստի աշխատանքային բեռի կոդը հաճախ է փոփոխվում և լավագույն տեղը չէ անվտանգության առանցքային պաշտպանական մեխանիզմներն իրականացնելու համար։ Այդ պատճառով մեր համակարգը նախագծված է այնպես, որ դիմակայուն լինի աշխատանքային բեռի կոդի սխալների կամ խափանումների նկատմամբ։

Դրան հասնում ենք՝ դադարեցման մեխանիզմն իրականացնելով արտածման շերտում։ Աշխատանքային բեռների կոդը խիստ բազմազան է և ապակենտրոնացված։ Ի տարբերություն դրա՝ OpenAI-ի ողջ հետազոտական գործունեության ընթացքում օգտագործվում են արտածման կոդի շատ քիչ կատարման ուղիներ, և դրանց տեղակայումները շատ ավելի կենտրոնացված ու միատեսակ են։ Այսպիսով, արտածման շերտը կարող է ծառայել որպես պարտադիր անցակետ՝ հուսալիորեն երաշխավորելով, որ հետազոտությունների ընթացքում մոդելների արտածման յուրաքանչյուր հարցում անցնում է Control Room-ի թույլտվության ստուգումը։ Բացի այդ, մենք շարունակաբար ստուգումներ ենք կատարում ագենտների և ծրագրային միջոցների օգնությամբ՝ համոզվելու, որ օգտատերերը պատահաբար կամ չարամտորեն չեն գործարկում չվերահսկվող շարժիչներ, որոնցում Control Room-ը ներդրված չէ կամ անջատված է։

Վերջապես, մեր համակարգը «խափանման դեպքում արգելափակում է»։ Սա նշանակում է, որ շարժիչներում Control Room-ի ինտեգրումն այնպես է կարգավորված, որ եթե Control Room ծառայությունը դադարի գործել՝ համակարգային սխալի կամ որևէ այլ պատճառով անջատվելու հետևանքով, այդ թվում՝ չարամիտ միջամտության, արտածման բոլոր հարցումները կմերժվեն, մինչև Control Room-ը վերադառնա բնականոն աշխատանքի։ Խափանման դեպքում արգելափակման մեխանիզմն արդեն ներդրված է առաջադեմ մոդելների հետազոտական բոլոր աշխատանքային բեռներում, իսկ մնացած հետազոտական աշխատանքային բեռներում դրա ներդրումը կավարտվի առաջիկա մի քանի օրում։

Control Room-ը առաջադեմ մոդելների անվտանգ ուսուցման և տեղակայման մեր համապարփակ մոտեցման ընդամենը մի մասն է։ Առաջիկա ամիսներին կշարունակենք ամրապնդել և ընդլայնել համակարգը՝ միաժամանակ ներդրումներ կատարելով նպատակներից շեղվող վարքագծի և անվտանգության խախտումների մշտադիտարկման ուղղությամբ։ Եթե ցանկանում եք օգնել ստեղծել AGI-ի անվտանգ ու պաշտպանված մշակումն ու տեղակայումն ապահովող համակարգեր, մենք⁠ աշխատակիցներ ենք փնտրում⁠։