Chipontwerp verbeteren met OpenAI-modellen
De modellen van OpenAI verbeteren in hoog tempo de chips waarop AI draait. In augustus vertelden we hoe engineers van OpenAI onze grensverleggende modellen gebruikten om de ontwikkeling van onze eerste op maat gemaakte inferentiechip, Jalapeño, te versnellen. Hier gaan we dieper in op de ontwerpverbeteringen op expertniveau die Jalapeño beter maakten, en laten we zien hoe we samen met AMD dezelfde aanpak toepassen om ook hardware van derden aanzienlijk te verbeteren.
Om te meten hoe goed onze modellen volledige chipontwerptaken kunnen uitvoeren, hebben we opeenvolgende generaties getest op twee opensource-processorontwerpen. Dat leverde interessante bevindingen op. Om de ontwikkeling van modelcapaciteiten te baseren op betrouwbare evaluatie, werken we bovendien samen met Synopsys. Samen integreren we grensverleggende intelligentie met de tools voor elektronische ontwerpautomatisering (EDA) die engineers al gebruiken om chips te ontwerpen en te verifiëren.
Begin 2025 begonnen we GPT‑4o in te zetten bij het ontwerp van Jalapeño. Zelfs dat vroege model vond manieren om substantiële PPA-verbeteringen te realiseren, zoals:
In de vectoreenheid, die parallelle rekentaken beheert en uitvoert, kwamen de besparingen voort uit optellers en vermenigvuldigers voor drijvende-kommagetallen, conversiefuncties, reductielogica en de eenheid voor speciale functies. De modellen onderzochten zowel alternatieve implementaties van de logica als manieren om berekeningen over pijplijnfasen te verdelen. Daarbij vonden ze mogelijkheden om hardware te delen en tussentijdse opslag te verminderen.
In de matrixeenheid, een rekencomponent, stapelden de verbeteringen zich op bij optellers en vermenigvuldigers voor drijvende-kommagetallen en schakelingen voor inwendige producten met lage precisie. Een herontworpen vermenigvuldiger gebruikte bij synthese ongeveer 15% minder celoppervlak en bracht de latentie terug van twee klokcycli naar één. Een afzonderlijk herontwerp van een opteller verminderde het celoppervlak met ongeveer 15%, met behoud van de latentie van twee cycli. Verdere verbeteringen in de logica voor inwendige producten en de indeling van de pijplijn leverden extra besparingen op in het hele blok.
Het team schat dat de door modellen voorgestelde wijzigingen binnen het bredere Jalapeño-ontwerpproject het oppervlak van standaardcellen met ongeveer 13% verminderden in de vectoreenheid en met 10% in de matrixeenheid. Deze optimalisaties zijn op de fysieke chip bevestigd tijdens de eerste ingebruikname van Jalapeño.
Samen met AMD hebben we gewerkt aan PPA-verbeteringen en bij het IP van hun toonaangevende GPU tot 14% verbetering gezien ten opzichte van al sterk geoptimaliseerde referentieontwerpen. Ons model vond verdere verbeteringen door de code te herschrijven die de schakelingen van de chip beschrijft (SystemVerilog RTL). Dat komt neer op ongeveer een jaar vooruitgang in minder dan 5 maanden: ongekende resultaten aan de grenzen van chipontwerp. AMD heeft een deel van deze wijzigingen al verwerkt in een recent ontwerp dat naar de fabrikant is gestuurd. Andere wijzigingen zijn toegevoegd aan de ontwerpbestanden voor productie, voor gebruik in toekomstige versies.
We hebben gezien dat het model over RTL redeneert op het niveau van een deskundige microarchitect. Het model kan schakelingen herschrijven die berekeningen uitvoeren, bewerkingen aansturen of gegevens verplaatsen. Het gebruikte Synopsys-tools om te verifiëren dat het gedrag van het blok bij elke herschrijving behouden bleef en om de afwegingen tussen energieverbruik, prestaties en oppervlak te beoordelen.
AMD bevestigde ook PPA-verbeteringen van enkele procenten in belangrijke blokken van zijn aanstaande toonaangevende CPU van de volgende generatie, met ontwerpen die door ons model waren geschreven. We verwachten in de toekomst verdere PPA-verbeteringen voor GPU's en CPU's ten opzichte van het meest geoptimaliseerde referentieontwerp.
Onze resultaten met Jalapeño en de chips van AMD laten zien dat modellen productieontwerpen kunnen verbeteren. Om te meten hoeveel de capaciteiten voor chipontwerp per modelgeneratie vooruitgaan, hebben we elk model getest op twee opensource 32-bits RISC-V-kernen. PicoRV32 is een compacte kern, ontworpen voor herprogrammeerbare chips die FPGA's worden genoemd. OpenTitan gebruikt Ibex als ingebouwde processor in zijn beveiligingschip. Beide zijn volledige processorkernen voor workloads in ingebedde systemen op microcontrollerniveau.
We gaven elk model de oorspronkelijke hardwarebeschrijving van elke kern en vroegen het om de doorvoer te verhogen: het aantal instructies dat de kern per seconde kan uitvoeren. Een wijziging kan er bijvoorbeeld voor zorgen dat een kern een instructie in minder klokcycli afrondt, maar dat elke cyclus langer duurt. Door de doorvoer te meten, nemen we beide effecten mee.
We controleerden de uitvoer van elk ontwerp in een simulatie. Ontwerpen kregen een score van nul als ze niet door een controle kwamen of meer dan 16 keer het oppervlak van de oorspronkelijke kern gebruikten. Voor ontwerpen die wel door de controles kwamen, maten we het aantal instructies per klokcyclus op workloads die voor de modellen verborgen bleven. We namen het meetkundig gemiddelde over die workloads en vermenigvuldigden dit met de maximale klokfrequentie die met Yosys was geschat. Dat gaf ons een schatting van het aantal instructies per seconde. Voor elke kern kenden we een score van 1,0 toe aan de hoogste doorvoer die we onder dezelfde voorwaarden waarnamen. De grafieken tonen de gemiddelde score over alle runs, inclusief de runs die nul scoorden.
Met een vergelijkbaar budget van ongeveer 112.000 tokens per run behaalde GPT‑6.2 Astra op beide kernen de hoogste gemiddelde score. Ook GPT‑6.1 Sol scoorde op beide kernen hoger dan GPT‑5.6 Sol.
Bij de bestaande PicoRV32-kern behaalt GPT‑6.2 Astra de hoogste gemiddelde score bij de hogere vergelijkbare budgetten. Rond 112.000 tokens is de score ongeveer twee keer zo hoog als die van GPT‑6 Astra.
Bij de bestaande Ibex-kern blijft de gemiddelde score van GPT‑6.2 Astra stijgen naarmate het hogere budgetten benut. GPT‑6 Astra en GPT‑6.1 Sol liggen dichter bij elkaar.
Voor de tweede taak gaven we elk model schriftelijke eisen en sjablonen uit de opensourcecode die laten zien hoe de kern op de rest van het systeem is aangesloten. Het model bepaalde hoe gegevens door de kern zouden bewegen en hoe het werk in fasen werd verdeeld. Voor elke kern gebruikten we dezelfde correctheidscontroles, geheugen- en cache-instellingen en doorvoerdoelen als bij de RTL-optimalisatietaak.
Bij ongeveer 112.000 tokens per run scoorden alle vijf modellen hoger wanneer ze een kern ontwierpen op basis van schriftelijke eisen dan wanneer ze het bestaande ontwerp probeerden te verbeteren. Dat gold voor zowel PicoRV32 als Ibex. GPT‑6.2 Astra boekte bij Ibex meer winst dan bij PicoRV32. De volledige evaluatie omvatte 9.881 beoordeelde runs, verspreid over beide taken, beide kernen en alle tokenbudgetten.
Wanneer GPT‑6.2 Astra uitgaat van een PicoRV32-specificatie, komt het rond 112.000 tokens boven een gemiddelde score van 0,7 uit. Bij de twee volgende geteste budgetten scoort het nog hoger.
Bij het ontwerpen van Ibex vanuit een specificatie behaalt GPT‑6.2 Astra rond 112.000 tokens een gemiddelde score van ongeveer 0,75. Bij hogere budgetten waarop ook de andere modellen zijn getest, blijft de curve boven die van de rest.
Door uit te gaan van schriftelijke eisen krijgen de modellen ruimte om functies uit de oorspronkelijke kernen weg te laten, zoals prestatietellers en aanvullende instructies. Die functies dragen mogelijk weinig bij aan de doorvoer bij de testworkloads, wat een deel van het scorevoordeel kan verklaren. Door die functies verplicht te stellen, het oppervlak van de schakeling strikter te begrenzen en de timing na fysieke synthese te controleren, zou de test representatiever worden voor het ontwerpen van productiechips.
We hebben aangetoond dat onze modellen nieuwe processorarchitecturen kunnen verkennen in RISC-V-evaluaties. Ook hebben we aanvullende verbeteringen gerealiseerd in geavanceerde productieontwerpen, zoals Jalapeño en AMD's toonaangevende GPU en CPU van de volgende generatie. Om modelontwikkeling te baseren op betrouwbare evaluatie en meer soorten ontwerpuitdagingen aan te pakken, werken we samen met Synopsys aan het trainen van GPT‑Synopsys(opent in een nieuw venster). Dit nieuwe model leert de tools voor elektronische ontwerpautomatisering (EDA) van Synopsys te gebruiken zoals deskundige chipontwerpers dat doen.


