OpenAI ची मॉडेल्स AI चालवणाऱ्या चिप्समध्ये वेगाने सुधारणा करत आहेत. OpenAI च्या अभियंत्यांनी आमची पहिली खास अनुमानप्रक्रियेसाठी बनवलेली चिप, Jalapeño, विकसित करण्याचा वेग वाढवण्यासाठी आमची अत्याधुनिक मॉडेल्स कशी वापरली, हे आम्ही ऑगस्टमध्ये सांगितले होते. येथे आम्ही Jalapeño च्या कामगिरीतील वाढीमागील तज्ज्ञ-स्तरावरील रचनात्मक सुधारणांचा सविस्तर आढावा घेत आहोत. तसेच, AMD सोबत हाच दृष्टिकोन वापरून तृतीय-पक्ष हार्डवेअरमध्ये लक्षणीय सुधारणा कशा घडवत आहोत, हेही पाहणार आहोत.
चिप रचनेची कामे सुरुवातीपासून शेवटपर्यंत करण्याची आमच्या मॉडेल्सची क्षमता मोजण्यासाठी, आम्ही त्यांच्या सलग पिढ्यांचे दोन मुक्त-स्रोत प्रोसेसर रचनांवर मूल्यमापन केले. त्यातून काही लक्षवेधी निष्कर्ष समोर आले. तसेच, क्षमता विकसित करताना विश्वासार्ह मूल्यमापन साधनांचा आधार मिळावा म्हणून आम्ही Synopsys सोबत काम करत आहोत. अभियंते चिप्सची रचना आणि पडताळणी करण्यासाठी आधीपासून वापरत असलेल्या इलेक्ट्रॉनिक रचना स्वयंचलन (EDA) साधनांमध्ये अत्याधुनिक बुद्धिमत्ता समाविष्ट करणे, हा यामागचा उद्देश आहे.
आम्ही 2025 च्या सुरुवातीला Jalapeño च्या रचनेसाठी GPT‑4o ची मदत घेण्यास सुरुवात केली. त्या सुरुवातीच्या मॉडेललाही वीजवापर, कामगिरी आणि क्षेत्रफळ (PPA) यात लक्षणीय सुधारणा करण्याचे मार्ग सापडले, जसे की:
समांतर संगणनाची कामे हाताळणाऱ्या आणि पार पाडणाऱ्या सदिश एककात, चल-बिंदू बेरीज व गुणाकार परिपथ, रूपांतरण फलने, संक्षेपण तर्करचना आणि विशेष-कार्य एकक यांमुळे बचत झाली. मॉडेल्सनी तर्करचनेच्या पर्यायी अंमलबजावणींचा तसेच गणना प्रक्रियासाखळीच्या टप्प्यांमध्ये कशा विभागता येतील, याचा शोध घेतला. यातून हार्डवेअरचा सामायिक वापर करण्याचे आणि मधल्या टप्प्यांतील साठवण कमी करण्याचे मार्ग सापडले.
अंकगणितीय घटक असलेल्या आव्यूह एककात, चल-बिंदू बेरीज, गुणाकार आणि कमी अचूकतेच्या अदिश गुणाकार परिपथांतील सुधारणांचा एकत्रित लाभ झाला. गुणाकार परिपथाच्या एका नव्या रचनेत, संश्लेषणादरम्यान पेशींचे क्षेत्रफळ सुमारे 15% कमी लागले आणि विलंबही दोन घड्याळ आवर्तनांवरून एका आवर्तनावर आला. बेरीज परिपथाच्या स्वतंत्र नव्या रचनेत दोन आवर्तनांचा विलंब कायम ठेवून पेशींचे क्षेत्रफळ सुमारे 15% कमी झाले. अदिश गुणाकाराची तर्करचना आणि प्रक्रियासाखळीची मांडणी यांतील पुढील सुधारणांमुळे संपूर्ण खंडात आणखी बचत झाली.
Jalapeño च्या एकूण रचनाप्रक्रियेत मॉडेल्सनी सुचवलेल्या बदलांमुळे सदिश एककातील प्रमाणित पेशींचे क्षेत्रफळ सुमारे 13% आणि आव्यूह एककातील क्षेत्रफळ 10% कमी झाले, असा संघाचा अंदाज आहे. Jalapeño ची सिलिकॉन चिप प्रथम कार्यान्वित करताना या सुधारणांची प्रत्यक्ष चिपवर पुष्टी झाली.
आम्ही PPA सुधारण्यासाठी AMD सोबत भागीदारी केली आहे. त्यांच्या प्रमुख GPU IP वर मोठ्या प्रमाणात अनुकूलन केलेल्या आधारभूत रचनांच्या तुलनेत आम्हाला 14% पर्यंत सुधारणा दिसून आली आहे. आमच्या मॉडेलने चिपच्या परिपथांचे वर्णन करणारा कोड (SystemVerilog RTL) नव्याने लिहून आणखी सुधारणांचे मार्ग शोधले. म्हणजेच, साधारण वर्षभराची प्रगती 5 महिन्यांपेक्षा कमी काळात साध्य झाली—चिप रचनेच्या आघाडीवर हे अभूतपूर्व परिणाम आहेत. AMD ने अलीकडेच उत्पादनासाठी पाठवलेल्या एका रचनेत यापैकी काही बदल आधीच समाविष्ट केले आहेत. इतर बदल भावी आवृत्त्यांमध्ये वापरण्यासाठी उत्पादन रचनेच्या फायलींमध्ये जोडले आहेत.
मॉडेल RTL बद्दल तज्ज्ञ सूक्ष्मवास्तुरचनाकाराच्या पातळीवर तर्कविचार करत असल्याचे आम्ही पाहिले आहे. गणना करणारे, कार्यांचे नियंत्रण करणारे किंवा डेटा हलवणारे परिपथ हे मॉडेल नव्याने लिहू शकते. प्रत्येक पुनर्लेखनानंतर खंडाची कार्यपद्धती कायम राहिल्याची पडताळणी करण्यासाठी आणि वीजवापर, कामगिरी व क्षेत्रफळ यांतील तडजोडींचे मूल्यमापन करण्यासाठी त्याने Synopsys ची साधने वापरली.
आमच्या मॉडेलने लिहिलेल्या रचना वापरून, AMD ने आपल्या आगामी नव्या पिढीतील प्रमुख CPU च्या महत्त्वाच्या खंडांमध्ये PPA मधील एक-अंकी टक्केवारीच्या सुधारणांचीही पडताळणी केली. पुढील काळात GPU आणि CPU मध्ये सर्वाधिक अनुकूलित आधारभूत रचनांच्या तुलनेत PPA मध्ये आणखी सुधारणा होतील, अशी आम्हाला अपेक्षा आहे.
Jalapeño आणि AMD च्या चिप्सवरील आमचे निष्कर्ष दाखवतात की मॉडेल्स उत्पादनासाठीच्या रचनांमध्ये सुधारणा करू शकतात. मॉडेलच्या एका पिढीपासून पुढच्या पिढीपर्यंत चिप रचनेच्या क्षमतेत झालेली प्रगती मोजण्यासाठी, आम्ही प्रत्येक मॉडेलची दोन मुक्त-स्रोत 32-बिट RISC-V कोअर्सवर चाचणी केली. PicoRV32 हा FPGA नावाच्या, पुन्हा प्रोग्राम करता येणाऱ्या चिप्ससाठी तयार केलेला लहान कोअर आहे. OpenTitan आपल्या सुरक्षा चिपमध्ये अंतःस्थापित प्रोसेसर म्हणून Ibex वापरते. यांपैकी प्रत्येक हा अंतःस्थापित प्रणालींतील सूक्ष्मनियंत्रक-श्रेणीच्या कार्यभारांसाठीचा संपूर्ण प्रोसेसर कोअर आहे.
आम्ही प्रत्येक मॉडेलला प्रत्येक कोअरचे मूळ हार्डवेअर वर्णन दिले आणि थ्रुपुट (कोअर दर सेकंदाला कार्यान्वित करू शकणाऱ्या सूचनांची संख्या) वाढवण्यास सांगितले. उदाहरणार्थ, एखाद्या बदलामुळे कोअरला कमी घड्याळ आवर्तनांत सूचना पूर्ण करता येईल, पण प्रत्येक आवर्तनाला अधिक वेळ लागू शकेल. थ्रुपुट मोजल्याने हे दोन्ही परिणाम विचारात घेतले जातात.
आम्ही प्रत्येक रचनेचे निष्पन्न अनुकरणात तपासले. एखाद्या तपासणीत अपयशी ठरलेल्या किंवा मूळ कोअरच्या क्षेत्रफळाच्या 16 पटींपेक्षा अधिक क्षेत्रफळ वापरणाऱ्या रचनांना शून्य गुण दिले. उत्तीर्ण झालेल्या रचनांसाठी, मॉडेल्सपासून लपवलेल्या कार्यभारांवर प्रत्येक घड्याळ आवर्तनामागे किती सूचना कार्यान्वित होतात, हे मोजले. या कार्यभारांवरील मोजमापांची भौमितिक सरासरी काढून तिला Yosys च्या मदतीने अंदाजित केलेल्या कमाल घड्याळ वारंवारतेने गुणले. त्यातून आम्हाला दर सेकंदाला कार्यान्वित होणाऱ्या सूचनांच्या संख्येचा अंदाज मिळाला. प्रत्येक कोअरसाठी, समान मर्यादांमध्ये आम्हाला दिसलेल्या सर्वोत्तम थ्रुपुटला 1.0 गुण दिले. आलेखांमध्ये शून्य गुण मिळालेल्या चाचण्यांसह सर्व चाचण्यांतील सरासरी गुण दाखवले आहेत.
प्रत्येक चाचणीसाठी सुमारे 112,000 टोकनची तुलनीय मर्यादा असताना, दोन्ही कोअर्सवर GPT‑6.2 Astra चे सरासरी गुण सर्वाधिक होते. GPT‑6.1 Sol नेही दोन्हींवर GPT‑5.6 Sol पेक्षा जास्त गुण मिळवले.
विद्यमान PicoRV32 कोअरवर, तुलनीय असलेल्या अधिक मोठ्या टोकन मर्यादांवर GPT‑6.2 Astra चे सरासरी गुण सर्वाधिक आहेत. सुमारे 112,000 टोकनवर त्याचे गुण GPT‑6 Astra च्या जवळपास दुप्पट आहेत.
विद्यमान Ibex कोअरवर, GPT‑6.2 Astra साठी तपासलेल्या टोकन मर्यादा जसजशा वाढतात, तसतसे त्याचे सरासरी गुण वाढत राहतात. GPT‑6 Astra आणि GPT‑6.1 Sol यांचे गुण एकमेकांच्या अधिक जवळ आहेत.
दुसऱ्या कामासाठी, आम्ही प्रत्येक मॉडेलला लेखी आवश्यकता आणि कोअर उर्वरित प्रणालीशी कसा जोडला जातो हे दाखवणारे मुक्त-स्रोत कोडमधील साचे दिले. कोअरमधून डेटा कसा जाईल आणि कामाची टप्प्यांमध्ये विभागणी कशी करायची, हे मॉडेलने ठरवले. प्रत्येक कोअरसाठी, अचूकतेच्या तपासण्या, मेमरी व कॅशेच्या सेटिंग्ज आणि थ्रुपुटची उद्दिष्टे ही RTL अनुकूलनाच्या कामाप्रमाणेच ठेवली.
प्रत्येक चाचणीसाठी सुमारे 112,000 टोकन वापरताना, पाचही मॉडेल्सनी विद्यमान डिझाइन सुधारण्याच्या प्रयत्नांपेक्षा लेखी आवश्यकतांवरून कोअरची डिझाइन करताना अधिक गुण मिळवले. PicoRV32 आणि Ibex या दोन्हींबाबत हे खरे ठरले. GPT‑6.2 Astra च्या गुणांमध्ये PicoRV32 पेक्षा Ibex वर अधिक वाढ झाली. संपूर्ण मूल्यमापनात दोन्ही कामे, दोन्ही कोअर्स आणि सर्व टोकन मर्यादा मिळून गुणांकन केलेल्या 9,881 चाचण्यांचा समावेश होता.
PicoRV32 च्या तपशीलवार आवश्यकतांपासून सुरुवात केल्यावर, सुमारे 112,000 टोकनवर GPT‑6.2 Astra चे सरासरी गुण 0.7 च्या पुढे जातात. त्यानंतर तपासलेल्या पुढील दोन टोकन मर्यादांवर ते आणखी वाढतात.
Ibex च्या तपशीलवार आवश्यकतांवरून डिझाइन तयार करताना, सुमारे 112,000 टोकनवर GPT‑6.2 Astra चे सरासरी गुण जवळपास 0.75 असतात. सर्व मॉडेल्ससाठी समान असलेल्या अधिक मोठ्या टोकन मर्यादांवर त्याची वक्ररेषा इतरांपेक्षा वरच राहते.
लेखी आवश्यकतांपासून सुरुवात केल्यामुळे मॉडेल्सना मूळ कोअर्समधील काही वैशिष्ट्ये वगळण्याची मुभा मिळते, जसे की कामगिरी मोजणारे गणक आणि अतिरिक्त सूचना. चाचणीतील कार्यभारांवर थ्रुपुट सुधारण्यासाठी या वैशिष्ट्यांचा फारसा उपयोग होत नसेल. त्यामुळे गुणांमध्ये दिसणाऱ्या फरकाचा काही भाग स्पष्ट होऊ शकतो. ही वैशिष्ट्ये अनिवार्य केल्यास, सर्किट क्षेत्रावर अधिक कडक मर्यादा घातल्यास आणि भौतिक संश्लेषणानंतर वेळविषयक मोजमापे तपासल्यास, ही चाचणी प्रत्यक्ष उत्पादनासाठीच्या चिप डिझाइनचे अधिक चांगले प्रतिनिधित्व करेल.
आमची मॉडेल्स RISC-V मूल्यमापनांमध्ये नव्या प्रोसेसर वास्तुरचनांचा शोध घेऊ शकतात, हे आम्ही दाखवून दिले आहे. तसेच, Jalapeño आणि AMD च्या पुढील पिढीतील प्रमुख GPU व CPU यांसारख्या आधीच प्रगत असलेल्या उत्पादन डिझाइनमध्येही आम्ही अतिरिक्त सुधारणा घडवून आणल्या आहेत. मॉडेल विकासाला विश्वासार्ह मूल्यमापन टूल्सचा आधार मिळावा आणि डिझाइनमधील अधिक प्रकारची आव्हाने हाताळता यावीत, यासाठी आम्ही Synopsys सोबत भागीदारी करत आहोत. यात GPT‑Synopsys(नवीन विंडोमध्ये उघडेल) या नव्या मॉडेलला, तज्ञ चिप रचनाकारांप्रमाणे Synopsys ची इलेक्ट्रॉनिक डिझाइन ऑटोमेशन (EDA) टूल्स वापरण्याचे प्रशिक्षण दिले जाईल.


