Faire progresser la conception de puces avec les modèles OpenAI
Les modèles d’OpenAI améliorent rapidement les puces qui font fonctionner l’IA. En août, nous avons expliqué comment les ingénieurs d’OpenAI ont utilisé nos modèles de pointe pour accélérer le développement de Jalapeño, notre première puce d’inférence sur mesure. Nous examinons ici de plus près les améliorations de conception de niveau expert à l’origine des gains de Jalapeño, et la façon dont nous appliquons la même approche avec AMD pour obtenir des gains significatifs sur du matériel tiers.
Pour mesurer les capacités de notre modèle en matière de conception de puces de bout en bout, nous en avons évalué plusieurs générations successives sur deux conceptions de processeurs open source, avec des résultats intéressants. Et pour appuyer le développement de ces capacités sur des outils d’évaluation fiables, nous travaillons avec Synopsys afin d’intégrer une intelligence de pointe aux outils d’automatisation de la conception électronique (EDA) que les ingénieurs utilisent déjà pour concevoir et vérifier les puces.
Nous avons commencé à utiliser GPT‑4o pour contribuer à la conception de Jalapeño début 2025. Même ce premier modèle a trouvé des moyens d’apporter des améliorations notables en matière de PPA, notamment :
Dans l’unité vectorielle, qui gère et exécute les tâches de calcul parallèle, les économies provenaient des additionneurs et multiplicateurs à virgule flottante, des fonctions de conversion, de la logique de réduction et de l’unité de fonctions spéciales. Les modèles ont exploré à la fois d’autres implémentations logiques et la répartition des calculs entre les étages du pipeline, trouvant des possibilités de partager les ressources matérielles et de réduire le stockage intermédiaire.
Dans l’unité matricielle, un composant arithmétique, les améliorations se sont cumulées au niveau des additionneurs et multiplicateurs à virgule flottante, ainsi que des circuits de produit scalaire à faible précision. La refonte d’un multiplicateur a réduit d’environ 15 % la surface des cellules à la synthèse, tout en faisant passer la latence de deux cycles d’horloge à un seul. La refonte distincte d’un additionneur a réduit la surface des cellules d’environ 15 %, tout en conservant une latence de deux cycles. D’autres améliorations de la logique de produit scalaire et de l’organisation du pipeline ont permis des économies supplémentaires dans l’ensemble du bloc.
Sur l’ensemble du travail de conception de Jalapeño, l’équipe estime que les modifications proposées par les modèles ont réduit la surface des cellules standard d’environ 13 % dans l’unité vectorielle et de 10 % dans l’unité matricielle. Ces optimisations ont été validées sur silicium lors de la mise en service de la puce Jalapeño.
Nous nous sommes associés à AMD pour améliorer le PPA et avons observé jusqu’à 14 % d’amélioration par rapport à des références déjà fortement optimisées sur les blocs IP de son GPU phare. Notre modèle a identifié d’autres améliorations en réécrivant le code qui décrit les circuits de la puce (RTL en SystemVerilog). Cela représente environ un an de progrès réalisés en moins de 5 mois : des résultats sans précédent aux avant-postes de la conception de puces. AMD a déjà intégré certaines de ces modifications à une conception récente envoyée en fabrication, et en a ajouté d’autres à ses fichiers de conception de production pour de futures versions.
Nous avons observé que le modèle raisonne sur le RTL au niveau d’un expert en microarchitecture. Le modèle peut réécrire des circuits qui effectuent des calculs, pilotent des opérations ou déplacent des données. Il a utilisé les outils de Synopsys pour vérifier que chaque réécriture préservait le comportement du bloc et pour évaluer les compromis entre consommation, performances et surface.
AMD a également vérifié des gains de PPA de quelques pour cent sur des blocs clés de son futur CPU phare de nouvelle génération, grâce à des conceptions écrites par notre modèle. À l’avenir, nous prévoyons de nouvelles améliorations du PPA sur les GPU et CPU, par rapport à la référence la plus optimisée.
Nos résultats sur Jalapeño et les puces d’AMD montrent que les modèles peuvent améliorer des conceptions de production. Pour mesurer la progression des capacités de conception de puces d’une génération de modèles à l’autre, nous avons testé chaque modèle sur deux cœurs RISC-V 32 bits open source. PicoRV32 est un cœur compact conçu pour des puces reprogrammables appelées FPGA. OpenTitan utilise Ibex comme processeur embarqué dans sa puce de sécurité. Chacun constitue un cœur de processeur complet destiné aux charges de travail embarquées de type microcontrôleur.
Nous avons fourni à chaque modèle la description matérielle d’origine de chaque cœur et lui avons demandé d’en augmenter le débit, c’est-à-dire le nombre d’instructions que le cœur peut exécuter par seconde. Par exemple, une modification peut permettre à un cœur d’exécuter une instruction en moins de cycles d’horloge, tout en allongeant la durée de chaque cycle. La mesure du débit tient compte de ces deux effets.
Nous avons vérifié les sorties de chaque conception par simulation. Les conceptions obtenaient un score nul si elles échouaient à une vérification ou utilisaient plus de 16 fois la surface du cœur d’origine. Pour les conceptions validées, nous avons mesuré le nombre d’instructions par cycle d’horloge sur des charges de travail non communiquées aux modèles. Nous avons calculé la moyenne géométrique sur ces charges de travail, puis l’avons multipliée par la fréquence d’horloge maximale estimée avec Yosys. Nous avons ainsi obtenu une estimation du nombre d’instructions par seconde. Pour chaque cœur, nous avons attribué un score de 1,0 au meilleur débit observé sous les mêmes contraintes. Les graphiques présentent le score moyen des essais, y compris ceux ayant obtenu un score nul.
Avec un budget comparable d’environ 112 000 tokens par essai, GPT‑6.2 Astra a obtenu le score moyen le plus élevé sur les deux cœurs. GPT‑6.1 Sol a également dépassé GPT‑5.6 Sol sur les deux cœurs.
Sur le cœur PicoRV32 existant, GPT‑6.2 Astra obtient le score moyen le plus élevé aux budgets comparables les plus importants. Vers 112 000 tokens, son score est environ deux fois supérieur à celui de GPT‑6 Astra.
Sur le cœur Ibex existant, le score moyen de GPT‑6.2 Astra continue de progresser à mesure que les budgets qu’il atteint augmentent. GPT‑6 Astra et GPT‑6.1 Sol sont plus proches l’un de l’autre.
Pour la deuxième tâche, nous avons fourni à chaque modèle des exigences écrites et des gabarits issus du code open source montrant comment le cœur se connecte au reste du système. Le modèle a choisi la façon dont les données circuleraient dans le cœur et dont le travail serait réparti en étages. Pour chaque cœur, nous avons conservé les mêmes vérifications de conformité, paramètres de mémoire et de cache, et objectifs de débit que pour la tâche d’optimisation RTL.
À environ 112 000 tokens par essai, les cinq modèles ont obtenu de meilleurs scores en concevant un cœur à partir d’exigences écrites qu’en tentant d’améliorer la conception existante. Ce constat s’applique aussi bien à PicoRV32 qu’à Ibex. GPT‑6.2 Astra a davantage progressé sur Ibex que sur PicoRV32. L’évaluation complète comprenait 9 881 essais notés, couvrant les deux tâches, les deux cœurs et tous les budgets de tokens.
En partant des spécifications de PicoRV32, GPT‑6.2 Astra dépasse un score moyen de 0,7 vers 112 000 tokens et obtient des scores supérieurs aux deux budgets suivants observés.
Sur Ibex, GPT‑6.2 Astra obtient un score moyen d’environ 0,75 vers 112 000 tokens en concevant le cœur à partir des spécifications. Sa courbe reste au-dessus des autres aux budgets communs plus élevés.
Partir d’exigences écrites laisse aux modèles la possibilité d’omettre des fonctionnalités présentes dans les cœurs d’origine, comme les compteurs de performance et les instructions supplémentaires. Ces fonctionnalités contribuent peut-être peu à améliorer le débit sur les charges de travail du test, ce qui pourrait expliquer une partie de l’avantage en matière de score. Rendre ces fonctionnalités obligatoires, imposer une limite plus stricte à la surface des circuits et vérifier les contraintes temporelles après la synthèse physique rendrait le test plus représentatif de la conception de puces de production.
Nous avons démontré que nos modèles peuvent explorer de nouvelles architectures de processeurs dans des évaluations RISC-V et apporter des améliorations inédites à des conceptions de production sophistiquées comme Jalapeño et les GPU et CPU phares de nouvelle génération d’AMD. Pour appuyer le développement des modèles sur des outils d’évaluation fiables et élargir les défis de conception abordés, nous nous associons à Synopsys afin d’entraîner GPT‑Synopsys(ouverture dans une nouvelle fenêtre), un nouveau modèle, à utiliser les outils d’automatisation de la conception électronique (EDA) de Synopsys comme le font les experts en conception de puces.


