Mikroshēmu projektēšanas attīstība ar OpenAI modeļiem
OpenAI modeļi strauji uzlabo mikroshēmas, kas nodrošina MI darbību. Augustā mēs stāstījām, kā OpenAI inženieri izmantoja mūsu robežšķirtnes modeļus, lai paātrinātu mūsu pirmās īpaši izstrādātās inferenču mikroshēmas Jalapeño izstrādi. Šeit sīkāk aplūkojam ekspertu līmeņa projektēšanas uzlabojumus, kas ļāva sasniegt Jalapeño rezultātus, un to, kā sadarbībā ar AMD izmantojam to pašu pieeju, lai panāktu būtiskus uzlabojumus citu ražotāju aparatūrā.
Lai izmērītu mūsu modeļa spējas veikt mikroshēmu projektēšanas uzdevumus no sākuma līdz beigām, mēs pārbaudījām secīgas modeļu paaudzes ar diviem atvērtā pirmkoda procesoru projektiem un guvām interesantas atziņas. Lai spēju attīstību balstītu uzticamos novērtēšanas rīkos, mēs sadarbojamies ar Synopsys, integrējot robežšķirtnes MI elektroniskās projektēšanas automatizācijas (EDA) rīkos, kurus inženieri jau izmanto mikroshēmu projektēšanai un pārbaudei.
Mēs sākām izmantot GPT‑4o Jalapeño projektēšanā 2025. gada sākumā. Pat šis agrīnais modelis atrada veidus, kā panākt ievērojamus PPA uzlabojumus, piemēram:
Vektoru blokā, kas pārvalda un izpilda paralēlās skaitļošanas uzdevumus, ietaupījumus deva peldošā komata summatori un reizinātāji, pārveidošanas funkcijas, redukcijas loģika un speciālo funkciju bloks. Modeļi pētīja gan alternatīvus loģikas īstenošanas veidus, gan aprēķinu sadalījumu pa konveijera posmiem, atrodot iespējas koplietot aparatūru un samazināt starprezultātu glabāšanai nepieciešamo vietu.
Matricu blokā, kas veic aritmētiskās darbības, uzlabojumi summējās peldošā komata summatoros, reizinātājos un zemas precizitātes skalārā reizinājuma shēmās. Viens pārprojektēts reizinātājs pēc sintēzes aizņēma aptuveni par 15 % mazāku šūnu laukumu, vienlaikus samazinot latentumu no diviem takts cikliem līdz vienam. Atsevišķa summatora pārprojektēšana samazināja šūnu laukumu aptuveni par 15 %, saglabājot divu takts ciklu latentumu. Turpmāki skalārā reizinājuma loģikas un konveijera organizācijas uzlabojumi deva papildu ietaupījumus visā blokā.
Vērtējot kopējo Jalapeño projektēšanas darbu, komanda lēš, ka modeļu ierosinātās izmaiņas samazināja standartšūnu laukumu aptuveni par 13 % vektoru blokā un par 10 % matricu blokā. Šīs optimizācijas tika apstiprinātas reālās mikroshēmās Jalapeño silīcija mikroshēmu sākotnējās palaišanas laikā.
Sadarbībā ar AMD pie PPA uzlabojumiem esam panākuši līdz pat 14 % uzlabojumu salīdzinājumā ar rūpīgi optimizētiem sākotnējiem risinājumiem vadošā GPU IP blokos. Mūsu modelis atrada papildu uzlabojumus, pārrakstot kodu, kas apraksta mikroshēmas shēmas (SystemVerilog RTL). Tas atbilst aptuveni gada progresam, kas sasniegts nepilnos 5 mēnešos, — vēl nebijis rezultāts vismodernāko mikroshēmu projektēšanā. AMD jau ir iekļāvis daļu šo izmaiņu nesen ražošanai nodotā projektā, bet pārējās pievienojis ražošanas projektu failiem izmantošanai turpmākajās versijās.
Esam novērojuši, ka modelis spriež par RTL pieredzējuša mikroarhitektūras speciālista līmenī. Modelis var pārrakstīt shēmas, kas veic aprēķinus, vada darbības vai pārvieto datus. Tas izmantoja Synopsys rīkus, lai pārbaudītu, vai katra pārrakstītā versija saglabā bloka darbību, un novērtētu kompromisus starp enerģijas patēriņu, veiktspēju un laukumu.
Izmantojot mūsu modeļa izstrādātos projektus, AMD arī apstiprināja PPA uzlabojumus viencipara procentu apmērā sava gaidāmā nākamās paaudzes vadošā CPU galvenajos blokos. Turpmāk mēs sagaidām papildu PPA uzlabojumus GPU un CPU, salīdzinot ar visvairāk optimizēto sākotnējo risinājumu.
Mūsu rezultāti ar Jalapeño un AMD mikroshēmām liecina, ka modeļi spēj uzlabot ražošanā izmantotus projektus. Lai izmērītu mikroshēmu projektēšanas spēju attīstību no vienas modeļu paaudzes līdz nākamajai, mēs pārbaudījām katru modeli ar diviem atvērtā pirmkoda 32 bitu RISC-V kodoliem. PicoRV32 ir kompakts kodols, kas paredzēts pārprogrammējamām mikroshēmām jeb FPGA. OpenTitan izmanto Ibex kā iegulto procesoru savā drošības mikroshēmā. Katrs no tiem ir pilnvērtīgs procesora kodols iegultām sistēmām ar mikrokontrolleru klases darba slodzēm.
Katram modelim mēs iedevām abu kodolu sākotnējos aparatūras aprakstus un lūdzām palielināt caurlaidspēju (instrukciju skaitu, ko kodols spēj izpildīt sekundē). Piemēram, kāda izmaiņa varētu ļaut kodolam izpildīt instrukciju mazāk takts ciklos, bet pagarināt katru ciklu. Caurlaidspējas mērījums atspoguļo abus efektus.
Mēs pārbaudījām katra projekta izvaddatus simulācijā. Projekti saņēma nulli punktu, ja tie neizturēja kādu pārbaudi vai aizņēma vairāk nekā 16 reižu lielāku laukumu nekā sākotnējais kodols. Projektiem, kas izturēja pārbaudes, mēs mērījām vienā takts ciklā izpildīto instrukciju skaitu ar modeļiem neatklātām darba slodzēm. Mēs aprēķinājām šo darba slodžu rezultātu ģeometrisko vidējo un reizinājām to ar maksimālo takts frekvenci, kas aplēsta ar Yosys. Tā mēs ieguvām aplēsi par sekundē izpildīto instrukciju skaitu. Katram kodolam labākajai caurlaidspējai, ko novērojām ar vienādiem ierobežojumiem, piešķīrām vērtējumu 1,0. Diagrammās parādīts visu mēģinājumu vidējais vērtējums, ieskaitot tos, kas saņēma nulli.
Ar salīdzināmu budžetu — aptuveni 112 000 tekstvienību katrā mēģinājumā — GPT‑6.2 Astra sasniedza augstāko vidējo vērtējumu abiem kodoliem. Arī GPT‑6.1 Sol abiem kodoliem pārspēja GPT‑5.6 Sol.
Optimizējot esošo PicoRV32 kodolu, GPT‑6.2 Astra ir augstākais vidējais vērtējums pie lielākiem salīdzināmiem budžetiem. Pie aptuveni 112 000 tekstvienību tā vērtējums ir aptuveni divreiz augstāks nekā GPT‑6 Astra.
Optimizējot esošo Ibex kodolu, GPT‑6.2 Astra vidējais vērtējums turpina pieaugt, modelim sasniedzot arvien lielākus budžetus. GPT‑6 Astra un GPT‑6.1 Sol rezultāti ir tuvāki viens otram.
Otrajā uzdevumā mēs katram modelim iedevām rakstiskas prasības un veidnes no atvērtā pirmkoda, kas parādīja, kā kodols savienojas ar pārējo sistēmu. Modelis izvēlējās, kā dati pārvietosies kodolā un kā sadalīt darbu posmos. Katram kodolam mēs saglabājām tādas pašas darbības pareizības pārbaudes, atmiņas un kešatmiņas iestatījumus un caurlaidspējas mērķus kā RTL optimizācijas uzdevumā.
Izmantojot aptuveni 112 000 tekstvienību katrā mēģinājumā, visi pieci modeļi saņēma augstāku vērtējumu, projektējot kodolu pēc rakstiskām prasībām, nekā mēģinot uzlabot esošo projektu. Tas attiecās gan uz PicoRV32, gan Ibex. GPT‑6.2 Astra uzlabojums bija lielāks Ibex nekā PicoRV32 gadījumā. Pilnais novērtējums ietvēra 9881 novērtētu mēģinājumu abiem uzdevumiem, abiem kodoliem un visiem tekstvienību budžetiem.
Projektējot pēc PicoRV32 specifikācijas, GPT‑6.2 Astra vidējais vērtējums pārsniedz 0,7 pie aptuveni 112 000 tekstvienību un ir vēl augstāks pie nākamajiem diviem pārbaudītajiem budžetiem.
Projektējot Ibex pēc specifikācijas, GPT‑6.2 Astra vidējais vērtējums ir aptuveni 0,75 pie aptuveni 112 000 tekstvienību. Pie lielākiem, visiem modeļiem vienādiem budžetiem tā līkne saglabājas virs pārējām.
Projektējot pēc rakstiskām prasībām, modeļi var neiekļaut sākotnējo kodolu funkcijas, piemēram, veiktspējas skaitītājus un papildu instrukcijas. Šīs funkcijas var maz ietekmēt caurlaidspēju testa darba slodzēs, un tas varētu daļēji izskaidrot augstāko vērtējumu. Ja šīs funkcijas būtu obligātas, shēmas laukuma ierobežojums — stingrāks un laika parametri tiktu pārbaudīti pēc fiziskās sintēzes, tests precīzāk atspoguļotu ražošanai paredzētu mikroshēmu projektēšanu.
Esam parādījuši, ka mūsu modeļi spēj pētīt jaunas procesoru arhitektūras RISC-V novērtējumos, un esam panākuši jaunus papildu uzlabojumus jau augsti attīstītos ražošanai paredzētos projektos, piemēram, Jalapeño un AMD nākamās paaudzes vadošajos GPU un CPU. Lai modeļu attīstību balstītu uzticamos novērtēšanas rīkos un risinātu plašāku projektēšanas uzdevumu klāstu, mēs sadarbojamies ar Synopsys, apmācot jaunu modeli GPT‑Synopsys(atveras jaunā logā) izmantot Synopsys elektroniskās projektēšanas automatizācijas (EDA) rīkus tā, kā to dara pieredzējuši mikroshēmu projektētāji.


