OpenAI

Չիպերի նախագծման զարգացումը OpenAI-ի մոդելներով

OpenAI-ի մոդելներն արագորեն բարելավում են ԱԲ-ի աշխատանքն ապահովող չիպերը։ Օգոստոսին⁠ պատմեցինք, թե ինչպես են OpenAI-ի ինժեներներն օգտագործել մեր առաջադեմ մոդելները՝ արագացնելու ինֆերենսի համար հատուկ նախագծված մեր առաջին չիպի՝ Jalapeño-ի մշակումը։ Այստեղ ավելի մանրամասն կանդրադառնանք փորձագիտական մակարդակի նախագծային բարելավումներին, որոնք ապահովել են Jalapeño-ի առաջընթացը, և կպատմենք, թե ինչպես ենք նույն մոտեցումը կիրառում AMD-ի հետ՝ այլ արտադրողների սարքավորումներում զգալի բարելավումներ ապահովելու համար։

Չիպերի նախագծման ամբողջական առաջադրանքներում մեր մոդելների կարողությունները չափելու համար հաջորդական սերունդները գնահատեցինք բաց կոդով երկու պրոցեսորային նախագծերի վրա և հետաքրքիր արդյունքներ ստացանք։ Իսկ կարողությունների զարգացումը վստահելի գնահատման գործիքների վրա հիմնելու համար համագործակցում ենք Synopsys-ի հետ՝ առաջադեմ ԱԲ-ն ինտեգրելու էլեկտրոնային նախագծման ավտոմատացման (EDA) գործիքներին, որոնք ինժեներներն արդեն օգտագործում են չիպերը նախագծելու և ստուգելու համար։

Jalapeño-ի հաշվարկային բլոկների բարելավումը

Jalapeño-ի նախագծմանն աջակցելու համար GPT‑4o‑ն սկսեցինք օգտագործել 2025-ի սկզբին։ Նույնիսկ այդ վաղ մոդելը գտավ էներգասպառման, արտադրողականության և մակերեսի (PPA) զգալի բարելավումների ուղիներ, օրինակ՝

Վեկտորային հանգույցում, որը կառավարում և կատարում է զուգահեռ հաշվարկային առաջադրանքները, խնայողություններն ապահովվեցին լողացող ստորակետով գումարիչների ու բազմապատկիչների, փոխակերպման ֆունկցիաների, ռեդուկցիայի տրամաբանության և հատուկ ֆունկցիաների հանգույցի շնորհիվ։ Մոդելներն ուսումնասիրեցին ինչպես տրամաբանության այլընտրանքային իրականացումները, այնպես էլ հաշվարկները կոնվեյերի փուլերի միջև բաշխելու եղանակները՝ գտնելով ապարատային ռեսուրսները համատեղ օգտագործելու և միջանկյալ պահեստավորման ծավալը նվազեցնելու հնարավորություններ։

Մատրիցային հանգույցում՝ թվաբանական բաղադրիչում, ընդհանուր բարելավումը ձևավորվեց լողացող ստորակետով գումարիչների, բազմապատկիչների և ցածր ճշգրտությամբ սկալյար արտադրյալի սխեմաների բարելավումներից։ Բազմապատկիչի վերանախագծված տարբերակներից մեկը սինթեզի ժամանակ օգտագործեց մոտ 15%-ով պակաս բջջային մակերես՝ միաժամանակ ուշացումը երկու տակտից հասցնելով մեկի։ Գումարիչի առանձին վերանախագծումը բջջային մակերեսը կրճատեց մոտ 15%-ով՝ պահպանելով երկու տակտ ուշացումը։ Սկալյար արտադրյալի տրամաբանության և կոնվեյերի կառուցվածքի հետագա բարելավումները բլոկում լրացուցիչ խնայողություններ ապահովեցին։

Jalapeño-ի նախագծման ընդհանուր աշխատանքների արդյունքներով թիմը գնահատում է, որ մոդելների առաջարկած փոփոխությունները ստանդարտ բջիջների մակերեսը վեկտորային հանգույցում կրճատել են մոտ 13%-ով, իսկ մատրիցային հանգույցում՝ 10%-ով։ Այս օպտիմալացումները հաստատվեցին իրական չիպի վրա՝ Jalapeño-ի սկզբնական գործարկման⁠ ընթացքում։

Մեր համագործակցությունը AMD-ի հետ

AMD-ի հետ համագործակցել ենք PPA-ի բարելավման ուղղությամբ և առաջատար GPU-ի IP բլոկներում գրանցել մինչև 14% բարելավում՝ արդեն իսկ խիստ օպտիմալացված ելակետային տարբերակների համեմատ։ Մեր մոդելը գտավ հետագա բարելավումների հնարավորություններ՝ վերագրելով չիպի սխեմաները նկարագրող կոդը (SystemVerilog RTL)։ Այսպիսով, 5 ամսից պակաս ժամանակում ապահովվել է մոտ մեկ տարվա առաջընթաց՝ աննախադեպ արդյունք չիպերի առաջադեմ նախագծման ոլորտում։ AMD-ն այս փոփոխություններից մի քանիսն արդեն ներառել է վերջերս արտադրության ուղարկած նախագծում, իսկ մյուսներն ավելացրել է իր արտադրական նախագծային ֆայլերում՝ ապագա տարբերակներում օգտագործելու համար։

Մենք դիտարկել ենք, թե ինչպես է մոդելը RTL-ի մասին դատողություններ անում միկրոճարտարապետության փորձագետի մակարդակով։ Մոդելը կարող է վերագրել հաշվարկներ կատարող, գործողություններ կառավարող կամ տվյալներ տեղափոխող սխեմաները։ Այն օգտագործել է Synopsys-ի գործիքները՝ ստուգելու, որ յուրաքանչյուր վերագրում պահպանում է բլոկի վարքագիծը, և գնահատելու էներգասպառման, արտադրողականության ու մակերեսի միջև փոխզիջումները։

Մեր մոդելի գրած նախագծերն օգտագործելով՝ AMD-ն նաև հաստատել է PPA-ի միանիշ տոկոսային բարելավումներ իր հաջորդ սերնդի առաջատար CPU-ի առանցքային բլոկներում։ Ապագայում GPU-ի և CPU-ի համար ակնկալում ենք PPA-ի հետագա բարելավումներ՝ նույնիսկ ամենաօպտիմալացված ելակետային տարբերակի համեմատ։

RISC-V միջուկների օպտիմալացումը

Jalapeño-ի և AMD-ի չիպերի վրա ստացած մեր արդյունքները ցույց են տալիս, որ մոդելները կարող են բարելավել արտադրական նախագծերը։ Չիպերի նախագծման կարողությունների առաջընթացը մոդելների մի սերնդից մյուսը չափելու համար յուրաքանչյուր մոդել փորձարկեցինք բաց կոդով երկու 32-բիթանոց RISC-V միջուկների վրա։ PicoRV32-ը կոմպակտ միջուկ է՝ նախատեսված FPGA կոչվող վերածրագրավորվող չիպերի համար։ OpenTitan-ն իր անվտանգության չիպում Ibex-ն օգտագործում է որպես ներկառուցված պրոցեսոր։ Երկուսն էլ լիարժեք պրոցեսորային միջուկներ են՝ նախատեսված ներկառուցված համակարգերի՝ միկրոկառավարիչների դասի աշխատանքային բեռների համար։

Յուրաքանչյուր մոդելի տրամադրեցինք յուրաքանչյուր միջուկի սկզբնական ապարատային նկարագրությունը և խնդրեցինք բարձրացնել թողունակությունը՝ հրահանգների քանակը, որը միջուկը կարող է կատարել մեկ վայրկյանում։ Օրինակ՝ փոփոխությունը կարող է թույլ տալ միջուկին հրահանգն ավարտել ավելի քիչ տակտերով, բայց երկարացնել յուրաքանչյուր տակտի տևողությունը։ Թողունակության չափումը հաշվի է առնում երկու ազդեցությունն էլ։

Յուրաքանչյուր նախագծի ելքային տվյալները ստուգեցինք սիմուլյացիայով։ Նախագծերը ստանում էին զրո միավոր, եթե չէին անցնում որևէ ստուգում կամ զբաղեցնում էին սկզբնական միջուկի մակերեսի ավելի քան 16-ապատիկը։ Ստուգումներն անցած նախագծերի համար չափեցինք մեկ տակտում կատարվող հրահանգների քանակը՝ մոդելներից թաքցված աշխատանքային բեռների վրա։ Այդ աշխատանքային բեռների արդյունքների երկրաչափական միջինը բազմապատկեցինք Yosys-ով գնահատված առավելագույն տակտային հաճախությամբ։ Այդպես ստացանք մեկ վայրկյանում կատարվող հրահանգների քանակի գնահատականը։ Յուրաքանչյուր միջուկի համար նույն սահմանափակումներով դիտարկված լավագույն թողունակությանը վերագրեցինք 1.0 միավոր։ Գծապատկերները ցույց են տալիս փորձարկումների միջին միավորը՝ ներառյալ զրո միավոր ստացածները։

Յուրաքանչյուր փորձարկման համար մոտ 112,000 թոքենի համադրելի բյուջեով GPT‑6.2 Astra-ն երկու միջուկների դեպքում էլ ստացավ ամենաբարձր միջին միավորը։ GPT‑6.1 Sol-ը նույնպես երկու դեպքում էլ միավորներով գերազանցեց GPT‑5.6 Sol-ին։

Առկա PicoRV32 միջուկի դեպքում GPT‑6.2 Astra-ն ավելի մեծ համադրելի բյուջեներով ստանում է ամենաբարձր միջին միավորը։ Մոտ 112,000 թոքենի դեպքում դրա միավորը մոտ երկու անգամ գերազանցում է GPT‑6 Astra-ի միավորին։

Առկա Ibex միջուկի դեպքում GPT‑6.2 Astra-ի միջին միավորը շարունակում է բարձրանալ թոքենների բյուջեի ավելացմանը զուգընթաց։ GPT‑6 Astra-ի և GPT‑6.1 Sol-ի արդյունքներն ավելի մոտ են իրար։

RISC-V միջուկի նախագծումը տեխնիկական պահանջներից

Երկրորդ առաջադրանքի համար յուրաքանչյուր մոդելի տրամադրեցինք գրավոր պահանջներ և բաց կոդից վերցված ձևանմուշներ, որոնք ցույց էին տալիս, թե ինչպես է միջուկը միանում համակարգի մյուս մասերին։ Մոդելն ինքն էր ընտրում, թե ինչպես են տվյալները շարժվելու միջուկի ներսում և ինչպես է աշխատանքը բաժանվելու փուլերի։ Յուրաքանչյուր միջուկի համար ճշտության ստուգումները, հիշողության ու քեշի կարգավորումները և թողունակության թիրախները թողեցինք նույնը, ինչ RTL-ի օպտիմալացման առաջադրանքում։

Յուրաքանչյուր փորձարկման համար մոտ 112,000 թոքեն օգտագործելիս բոլոր հինգ մոդելներն ավելի բարձր միավորներ ստացան, երբ միջուկը նախագծում էին գրավոր պահանջներից, քան երբ փորձում էին բարելավել առկա նախագիծը։ Սա ճիշտ էր թե՛ PicoRV32-ի, թե՛ Ibex-ի դեպքում։ GPT‑6.2 Astra-ի բարելավումն Ibex-ի դեպքում ավելի մեծ էր, քան PicoRV32-ի դեպքում։ Ամբողջական գնահատումը ներառում էր 9,881 գնահատված փորձարկում՝ երկու առաջադրանքներով, երկու միջուկներով և թոքենների բոլոր բյուջեներով։

PicoRV32-ի տեխնիկական պահանջներից նախագծելիս GPT‑6.2 Astra-ի միջին միավորը գերազանցում է 0.7-ը մոտ 112,000 թոքենի դեպքում և ավելի բարձր է հաջորդ երկու դիտարկված բյուջեների դեպքում։

Ibex-ը տեխնիկական պահանջներից նախագծելիս GPT‑6.2 Astra-ն մոտ 112,000 թոքենի դեպքում ստանում է միջինը մոտ 0.75 միավոր։ Ավելի մեծ, բոլորի համար նույն բյուջեների դեպքում դրա կորը մնում է մյուսներից բարձր։

Գրավոր պահանջներից սկսելը մոդելներին հնարավորություն է տալիս բաց թողնել սկզբնական միջուկներում առկա որոշ գործառույթներ, օրինակ՝ արտադրողականության հաշվիչներն ու լրացուցիչ հրահանգները։ Այդ գործառույթները փորձնական աշխատանքային բեռների դեպքում կարող են քիչ նպաստել թողունակության բարձրացմանը, ինչը կարող է մասամբ բացատրել միավորների առավելությունը։ Այդ գործառույթները պարտադիր դարձնելը, սխեմայի մակերեսի ավելի խիստ սահմանաչափը և ֆիզիկական սինթեզից հետո ժամանակային բնութագրերի ստուգումը փորձարկումն ավելի կմոտեցնեին արտադրական չիպերի նախագծման իրական պայմաններին։

Հաջորդ քայլերը

Մենք ցույց տվեցինք, որ մեր մոդելները RISC-V գնահատումների շրջանակում կարող են ուսումնասիրել պրոցեսորների նոր ճարտարապետություններ։ Մենք նաև նոր բարելավումներ ենք ներդրել այնպիսի բարդ արտադրական նախագծերում, ինչպիսիք են Jalapeño-ն և AMD-ի հաջորդ սերնդի առաջատար GPU-ն ու CPU-ն։ Մոդելների զարգացումը վստահելի գնահատման գործիքների վրա հիմնելու և լուծվող նախագծային խնդիրների շրջանակն ընդլայնելու համար համագործակցում ենք Synopsys-ի հետ։ Մենք ուսուցանում ենք նոր մոդելին՝ GPT‑Synopsys⁠(բացվում է նոր պատուհանում)-ին, օգտագործել Synopsys-ի էլեկտրոնային նախագծման ավտոմատացման (EDA) գործիքներն այնպես, ինչպես դա անում են չիպերի նախագծման փորձագետները։