OpenAIનાં મોડલો AIને ચલાવતી ચિપ્સમાં ઝડપથી સુધારા કરી રહ્યાં છે. ઑગસ્ટમાં, અમે જણાવ્યું હતું કે OpenAIના ઇજનેરોએ અમારી પ્રથમ વિશેષરૂપે બનાવેલી અનુમાન ચિપ, Jalapeñoના વિકાસને ઝડપી બનાવવા અમારાં અત્યાધુનિક મોડલોનો કેવી રીતે ઉપયોગ કર્યો. અહીં અમે Jalapeñoમાં મળેલા લાભ પાછળના નિષ્ણાત-સ્તરના ડિઝાઇન સુધારાઓ પર વધુ ઊંડાણથી નજર કરીએ છીએ. સાથે જ, AMD સાથે મળીને તૃતીય-પક્ષ હાર્ડવેરમાં નોંધપાત્ર સુધારા કરવા આ જ અભિગમ કેવી રીતે અપનાવી રહ્યા છીએ તે જોઈએ છીએ.
ચિપ ડિઝાઇનનાં શરૂઆતથી અંત સુધીનાં કાર્યોમાં અમારા મોડલની ક્ષમતા માપવા, અમે તેની અનુગામી પેઢીઓનું બે ખુલ્લા સ્રોતવાળી પ્રોસેસર ડિઝાઇન પર મૂલ્યાંકન કર્યું અને રસપ્રદ તારણો મળ્યાં. ક્ષમતાનો વિકાસ વિશ્વસનીય મૂલ્યાંકન સાધનોના આધારે થાય તે માટે, અમે Synopsys સાથે કામ કરી રહ્યા છીએ. તેનો હેતુ ઇજનેરો ચિપ્સની ડિઝાઇન અને ચકાસણી માટે પહેલેથી વાપરતાં ઇલેક્ટ્રોનિક ડિઝાઇન સ્વચાલન (EDA) સાધનો સાથે અત્યાધુનિક બુદ્ધિમત્તાને જોડવાનો છે.
અમે 2025ની શરૂઆતમાં Jalapeñoની ડિઝાઇનમાં મદદ માટે GPT‑4oનો ઉપયોગ શરૂ કર્યો. તે પ્રારંભિક મોડલે પણ ઊર્જા વપરાશ, કાર્યક્ષમતા અને ક્ષેત્રફળ (PPA)માં નોંધપાત્ર સુધારા કરવાની રીતો શોધી, જેમ કે:
સમાંતર ગણતરીનાં કાર્યોનું સંચાલન અને અમલ કરતા સદિશ એકમમાં, બચત તરલ-બિંદુ સરવાળકો અને ગુણકો, રૂપાંતરણ વિધેયો, સંકોચન તર્ક અને વિશેષ-વિધેય એકમમાંથી મળી. મોડલોએ તર્કના વૈકલ્પિક અમલીકરણો અને ગણતરીઓને પાઇપલાઇનના તબક્કાઓમાં વહેંચવાની રીતો બંને તપાસ્યાં. તેમાંથી હાર્ડવેરનો સહિયારો ઉપયોગ કરવાની અને મધ્યવર્તી સંગ્રહ ઘટાડવાની તકો મળી.
અંકગણિત માટેના ઘટક એવા મેટ્રિક્સ એકમમાં, તરલ-બિંદુ સરવાળકો, ગુણકો અને ઓછી ચોકસાઈવાળા અદિશ ગુણાકાર પરિપથોમાં થયેલા સુધારાઓનો એકંદર લાભ મળ્યો. એક ગુણકની નવી ડિઝાઇને સંશ્લેષણમાં લગભગ 15% ઓછું સેલ ક્ષેત્રફળ વાપર્યું અને વિલંબ બે ઘડિયાળ ચક્રમાંથી ઘટાડીને એક કર્યો. એક અલગ સરવાળકની નવી ડિઝાઇને બે ચક્રનો વિલંબ જાળવી રાખીને સેલ ક્ષેત્રફળ લગભગ 15% ઘટાડ્યું. અદિશ ગુણાકારના તર્ક અને પાઇપલાઇનની ગોઠવણીમાં વધુ સુધારાઓથી સમગ્ર ખંડમાં વધારાની બચત થઈ.
Jalapeñoની સમગ્ર ડિઝાઇન પ્રક્રિયામાં, ટીમના અંદાજ મુજબ મોડલે સૂચવેલા ફેરફારોથી પ્રમાણભૂત સેલનું ક્ષેત્રફળ સદિશ એકમમાં લગભગ 13% અને મેટ્રિક્સ એકમમાં 10% ઘટ્યું. Jalapeñoની સિલિકોન ચિપને પ્રથમ વખત કાર્યરત કરવાની પ્રક્રિયા દરમિયાન આ સુધારા વાસ્તવિક સિલિકોન પર ચકાસાયા.
અમે PPAમાં સુધારા માટે AMD સાથે ભાગીદારી કરી છે. તેના અગ્રણી GPU IPમાં પહેલેથી વ્યાપક ઇષ્ટતમીકરણ કરેલી આધારભૂત ડિઝાઇનની સરખામણીમાં 14% સુધીનો સુધારો જોવા મળ્યો છે. અમારા મોડલે ચિપના પરિપથોનું વર્ણન કરતા કોડને (SystemVerilog RTL) ફરી લખીને વધુ સુધારા શોધ્યા. આ રીતે 5 મહિનાથી ઓછા સમયમાં લગભગ એક વર્ષની પ્રગતિ થઈ છે—ચિપ ડિઝાઇનના મોખરે આ અભૂતપૂર્વ પરિણામો છે. AMDએ ઉત્પાદન માટે મોકલેલી તાજેતરની ડિઝાઇનમાં આમાંના કેટલાક ફેરફારો પહેલેથી સામેલ કર્યા છે. અન્ય ફેરફારો ભવિષ્યનાં સંસ્કરણોમાં વાપરવા માટે તેની ઉત્પાદન ડિઝાઇન ફાઇલોમાં ઉમેર્યા છે.
અમે જોયું છે કે મોડલ RTL વિશે નિષ્ણાત સૂક્ષ્મ-સ્થાપત્ય રચનાકારના સ્તરે તર્ક કરે છે. મોડલ ગણતરી કરતા, કામગીરીનું નિયંત્રણ કરતા અથવા ડેટા ખસેડતા પરિપથોનો કોડ ફરી લખી શકે છે. દરેક પુનર્લેખનમાં ખંડનું વર્તન યથાવત્ રહ્યું છે તેની ચકાસણી કરવા અને ઊર્જા વપરાશ, કાર્યક્ષમતા તથા ક્ષેત્રફળ વચ્ચેના લાભ-ગેરલાભનું મૂલ્યાંકન કરવા તેણે Synopsysનાં સાધનો વાપર્યાં.
અમારા મોડલે લખેલી ડિઝાઇનોનો ઉપયોગ કરીને, AMDએ તેના આવનારા નવી પેઢીના અગ્રણી CPUના મુખ્ય ખંડોમાં PPAમાં એક અંકની ટકાવારી જેટલા સુધારા પણ ચકાસ્યા. આગળ જતાં, અમે GPU અને CPU બંનેમાં સૌથી વધુ ઇષ્ટતમીકરણ કરેલી આધારભૂત ડિઝાઇનની સરખામણીમાં PPAમાં વધુ સુધારાની અપેક્ષા રાખીએ છીએ.
Jalapeño અને AMDની ચિપ્સ પરનાં અમારાં પરિણામો દર્શાવે છે કે મોડલો ઉત્પાદન માટેની ડિઝાઇનોમાં સુધારા કરી શકે છે. મોડલની એક પેઢીથી બીજી પેઢી સુધી ચિપ ડિઝાઇનની ક્ષમતામાં થતી પ્રગતિ માપવા, અમે દરેક મોડલને બે ખુલ્લા સ્રોતવાળા 32-બિટ RISC-V કોર પર ચકાસ્યું. PicoRV32 એક સુઘડ કોર છે, જે FPGA તરીકે ઓળખાતી ફરી પ્રોગ્રામ કરી શકાય તેવી ચિપ્સ માટે બનાવવામાં આવ્યો છે. OpenTitan તેની સુરક્ષા ચિપમાં અંતઃસ્થાપિત પ્રોસેસર તરીકે Ibex વાપરે છે. બંને અંતઃસ્થાપિત, સૂક્ષ્મનિયંત્રક-શ્રેણીનાં કાર્યભાર માટેના સંપૂર્ણ પ્રોસેસર કોર છે.
અમે દરેક મોડલને દરેક કોરનું મૂળ હાર્ડવેર વર્ણન આપ્યું અને થ્રૂપુટ (કોર દર સેકન્ડે અમલમાં મૂકી શકે તે સૂચનાઓની સંખ્યા) વધારવા કહ્યું. ઉદાહરણ તરીકે, કોઈ ફેરફારથી કોર ઓછી સંખ્યામાં ઘડિયાળ ચક્રો વાપરીને સૂચના પૂરી કરી શકે, પરંતુ દરેક ચક્રમાં વધુ સમય લાગી શકે. થ્રૂપુટ માપવાથી આ બંને અસરો ધ્યાનમાં લેવાય છે.
અમે અનુકરણમાં દરેક ડિઝાઇનનાં પરિણામો ચકાસ્યાં. ચકાસણીમાં નિષ્ફળ ગયેલી અથવા મૂળ કોર કરતાં 16 ગણાથી વધુ ક્ષેત્રફળ વાપરતી ડિઝાઇનોને શૂન્ય ગુણ મળ્યા. પાસ થયેલી ડિઝાઇનો માટે, અમે મોડલોથી છુપાવી રાખેલા કાર્યભાર પર પ્રતિ ઘડિયાળ ચક્રે અમલમાં મુકાતી સૂચનાઓની સંખ્યા માપી. અમે તે કાર્યભારો માટે ભૌમિતિક સરેરાશ લીધી અને તેને Yosysથી અંદાજેલી મહત્તમ ઘડિયાળ આવૃત્તિ વડે ગુણી. તેનાથી અમને પ્રતિ સેકન્ડ સૂચનાઓની સંખ્યાનો અંદાજ મળ્યો. દરેક કોર માટે, સમાન મર્યાદાઓ હેઠળ મળેલા શ્રેષ્ઠ થ્રૂપુટને અમે 1.0 ગુણ આપ્યા. આલેખો બધા પ્રયોગોના સરેરાશ ગુણ દર્શાવે છે, જેમાં શૂન્ય ગુણ મેળવનારા પ્રયોગો પણ સામેલ છે.
દર પ્રયોગે આશરે 112,000 ટોકનની તુલનાત્મક ફાળવણી સાથે, GPT‑6.2 Astraએ બંને કોર પર સૌથી વધુ સરેરાશ ગુણ મેળવ્યા. GPT‑6.1 Solએ પણ બંને પર GPT‑5.6 Sol કરતાં વધુ ગુણ મેળવ્યા.
હાલના PicoRV32 કોર પર, વધુ મોટી તુલનાત્મક ફાળવણીઓમાં GPT‑6.2 Astraના સરેરાશ ગુણ સૌથી વધુ છે. લગભગ 112,000 ટોકન પર તેના ગુણ GPT‑6 Astra કરતાં આશરે બમણા છે.
હાલના Ibex કોર પર, GPT‑6.2 Astraને મળતી ટોકન ફાળવણી વધતાં તેના સરેરાશ ગુણ સતત વધે છે. GPT‑6 Astra અને GPT‑6.1 Solના ગુણ એકબીજાની વધુ નજીક છે.
બીજા કાર્ય માટે, અમે દરેક મોડલને લેખિત જરૂરિયાતો અને ખુલ્લા સ્રોતવાળા કોડમાંથી નમૂનાઓ આપ્યા, જે દર્શાવતા હતા કે કોર બાકીની પ્રણાલી સાથે કેવી રીતે જોડાય છે. કોરમાં ડેટા કેવી રીતે વહેશે અને કામને તબક્કાઓમાં કેવી રીતે વહેંચવું તે મોડલે નક્કી કર્યું. દરેક કોર માટે, અમે સચોટતાની ચકાસણીઓ, મેમરી અને કૅશની ગોઠવણીઓ તથા થ્રૂપુટનાં લક્ષ્યો RTLના ઇષ્ટતમીકરણના કાર્ય જેવાં જ રાખ્યાં.
દર પ્રયોગે લગભગ 112,000 ટોકન સાથે, પાંચેય મોડલોએ હાલની ડિઝાઇન સુધારવાનો પ્રયાસ કર્યો તેના કરતાં લેખિત જરૂરિયાતોમાંથી કોરની ડિઝાઇન બનાવી ત્યારે વધુ ગુણ મેળવ્યા. આ પરિણામ PicoRV32 અને Ibex બંને માટે જોવા મળ્યું. GPT‑6.2 Astraને PicoRV32 કરતાં Ibex પર વધુ લાભ મળ્યો. સંપૂર્ણ મૂલ્યાંકનમાં બંને કાર્યો, બંને કોર અને તમામ ટોકન ફાળવણીઓ મળીને ગુણાંકન કરાયેલા 9,881 પ્રયોગોનો સમાવેશ થયો.
PicoRV32ના વિનિર્દેશથી શરૂઆત કરતાં, GPT‑6.2 Astra લગભગ 112,000 ટોકન પર 0.7 સરેરાશ ગુણને વટાવે છે અને ત્યાર પછીની બે પરીક્ષણ કરાયેલી ફાળવણીઓમાં વધુ ગુણ મેળવે છે.
Ibex પર વિનિર્દેશમાંથી ડિઝાઇન બનાવતી વખતે, GPT‑6.2 Astra લગભગ 112,000 ટોકન પર આશરે 0.75 સરેરાશ ગુણ મેળવે છે. બધાં મોડલોને અપાતી વધુ મોટી સમાન ફાળવણીઓ પર તેનો વક્ર અન્ય કરતાં ઊંચો રહે છે.
લેખિત જરૂરિયાતોથી શરૂઆત કરવાથી મોડલોને મૂળ કોરની કેટલીક વિશેષતાઓ છોડી દેવાની છૂટ મળે છે, જેમ કે કાર્યક્ષમતા ગણકો અને વધારાની સૂચનાઓ. પરીક્ષણના કાર્યભારોમાં થ્રૂપુટ સુધારવા માટે આ વિશેષતાઓનો ફાળો નજીવો હોઈ શકે છે, જે વધુ ગુણ મળવાનું એક કારણ હોઈ શકે. આ વિશેષતાઓ ફરજિયાત કરવાથી, પરિપથના ક્ષેત્રફળ પર વધુ કડક મર્યાદા મૂકવાથી અને ભૌતિક સંશ્લેષણ પછી સમયસંબંધિત ચકાસણી કરવાથી પરીક્ષણ વાસ્તવિક ઉત્પાદન માટેની ચિપ ડિઝાઇનને વધુ સારી રીતે પ્રતિબિંબિત કરશે.
અમે દર્શાવ્યું છે કે અમારાં મોડલો RISC-V મૂલ્યાંકનોમાં નવી પ્રોસેસર રચનાઓ શોધી શકે છે. અમે Jalapeño તથા AMDના આગામી પેઢીના અગ્રણી GPU અને CPU જેવી અદ્યતન ઉત્પાદન ડિઝાઇનોમાં પણ તદ્દન નવા સુધારાઓ કર્યા છે. મોડલનો વિકાસ વિશ્વસનીય મૂલ્યાંકન સાધનોના આધારે કરવા અને ડિઝાઇનના વધુ પ્રકારના પડકારો ઉકેલવા, અમે Synopsys સાથે ભાગીદારી કરી રહ્યા છીએ. તેના દ્વારા અમે GPT‑Synopsys(નવી વિન્ડોમાં ખૂલે છે) નામના નવા મોડલને નિષ્ણાત ચિપ ડિઝાઇનરોની જેમ Synopsysનાં ઇલેક્ટ્રોનિક ડિઝાઇન સ્વચાલન (EDA) સાધનો વાપરવાની તાલીમ આપી રહ્યા છીએ.


