U bood nuxurka ugu muhiimsan
OpenAI

Agosto 20, 2024

Badeecad

Fine-tuning hadda waa loo heli karaa GPT‑4o

Si gaar ah u habee noocyo GPT‑4o ah si aad u kordhiso waxqabadka iyo saxnaanta codsiyadaada.

Sawirku wuxuu muujinayaa rinjiyeyn abstrakt ah oo leh hannaan u eg shabag ka kooban xariijimo taagan iyo jiifa oo ku jira huruud diirran, oranji, iyo casaan, kuwaas oo ay dhex galeen buluugyo iyo guduudyo qabow. Leydiyada iyo xariijimaha midabbada leh waxay abuuraan muuqaal firfircoon oo lakabyo leh.
Soo kacaya…

Wargelinta 8-da Maayo, 2026: OpenAI waxay si tartiib ah u soo afjaraysaa taageerada madasha u sii tabbabarida AI-ga hawl gaar ah. Madashu hadda uma furna isticmaaleyaal cusub, laakiin isticmaaleyaasha hadda jira ee madasha u sii tabbabarida AI-ga hawl gaar ah waxay awoodi doonaan inay abuuraan shaqooyin tababar bilaha soo socda. Dhammaan moodelada lagu sameeyay ku tabbabarida AI-ga hawl gaar ah waxay sii ahaan doonaan kuwo diyaar u ah falanqayn ilaa moodeladooda aasaasiga ah laga dhigo kuwo duugoobay(ku furmaa daaqad cusub). Jadwalka waqtiga oo dhammaystiran waxa uu ku qoran yahay halkan(ku furmaa daaqad cusub).


Maanta, waxaan daahfureynaa hawl ku tabbabarida dheeraadka ah ee GPT‑4o, oo ka mid ah sifooyinka ay horumariyeyaashu sida ugu badan u codsadeen. Waxaan sidoo kale urur kasta si bilaash ah ugu soo bandhigeynaa 1M qoraallo tababareed maalintii, ilaa iyo Sebtembar 23.

Horumariyeyaasha ayaa hadda ugu tabbabari kara hawl dheeraad ah GPT‑4o iyagoo adeegsanaya xog-ururinno la habeeyey si ay u helaan waxqabad sare oo kharash hoose uga baxa oo ku habboon kiisaskooda isticmaalka gaarka ah. Tabbabarida dheeraadka ah waxay moodelka u saamaxdaa inuu si rasmi ah u habbeeyo qaab-dhismeedka iyo codka jawaab-celinnada, ama inuu raaco tilmaamo adag oo u gaar ah dhoomeyn gaar ah. Horumariyayaashu waxay durba codsiyadooda u soo saari karaan natiijooyin xooggan, xitaa iyagoo adeegsanaya dhowr iyo toban tusaale oo keliya oo ku jira xog-ururintooda tababarka.

Laga bilaabo koodheynta ilaa wax qorista hal-abuurka leh, hawl ku tabbabarida dheeraad ah waxay saameyn weyn ku yeelan kartaa waxqabadka moodelka dhinacyo kala duwan. Tani waa bilowga oo keliya—waxaan sii wadi doonnaa inaan maalgelinno ballaarinta ikhtiyaarradeenna gaaryeelida moodelka ee loogu talagalay horumariyeyaasha.

Bilaabidda

GPT‑4o fine-tuning waxaa maanta heli kara dhammaan horumariyeyaasha ku jira dhammaan heerarka isticmaalka(ku furmaa daaqad cusub) ee lacagta ah.

Si aad u bilowdo, booqo dashboard-ka fine-tuning-ka(ku furmaa daaqad cusub), guji create, oo ka dooro gpt-4o-2024-08-06 liiska hoos-u-dhaca nooca aasaasiga ah. Kharashka tababarka GPT‑4o fine-tuning waa $25 halkii milyan token, halka inference-ku yahay $3.75 halkii milyan input token iyo $15 halkii milyan output token.

GPT‑4o mini fine-tuning sidoo kale waxaa heli kara dhammaan horumariyeyaasha ku jira dhammaan heerarka isticmaalka ee lacagta ah. Booqo dashboard-ka fine-tuning-ka oo ka dooro gpt-4o-mini-2024-07-18 liiska hoos-u-dhaca nooca aasaasiga ah. GPT‑4o mini, waxaan si bilaash ah u bixinaynaa 2M training tokens maalintii ilaa Sebtembar 23. 

Si aad wax badan uga barato sida loo isticmaalo fine-tuning, booqo dukumeentiyadayada(ku furmaa daaqad cusub).

Gaadhista waxqabad heerka ugu sarreeya ah iyadoo la adeegsanayo GPT-4o fine-tuning

Labadii bilood ee la soo dhaafay, waxaan la shaqaynaynay tiro yar oo lammaanayaal la aamini karo si aan u tijaabino fine-tuning-ka GPT‑4o una baranno kiisaskooda adeegsiga. Halkan waxaa ku yaal dhowr sheeko oo guul ah:

Cosine waxay ku gaadhay natiijooyin heerka ugu sarreeya bartilmaameedka SWE-bench

Cosine(ku furmaa daaqad cusub)’s Genie waa kaaliye AI oo injineernimada software ah oo si madaxbannaan u ogaan kara una xallin kara ciladaha, u dhisi kara sifooyin, una dib-u-habayn kara koodhka isagoo la shaqaynaya isticmaalayaasha. Waxay ka fekeri kartaa dhibaatooyin farsamo oo adag waxayna wax ka beddeli kartaa koodhka iyadoo saxnaan badan leh oo u baahan token-no yar. Genie waxaa awood siiya nooc GPT‑4o ah oo si gaar ah loo habeeyey laguna tababaray tusaalooyin ka yimid injineerro software oo dhab ah marka ay shaqaynayaan, taasoo u suuragelinaysa nooca inuu barto inuu uga jawaabo qaab gaar ah. Nooca sidoo kale waxaa loo tababaray inuu wax ku soo saaro qaabab gaar ah, sida patches si fudud loogu dari karo codebases. 

Nooc GPT‑4o ah oo si gaar ah loo habeeyey, Genie waxay ku gaadhay dhibco SOTA ah oo ah 43.8% bartilmaameedka cusub ee SWE-bench(ku furmaa daaqad cusub) Verified, sida lagu dhawaaqay Talaadadii hore. Genie sidoo kale waxay haysataa dhibco SOTA ah oo ah 30.08% SWE-bench Full, iyadoo ka sarre martay dhibcaheedii hore ee SOTA ee 19.27%, taasoo ah horumarkii ugu weynaa ee abid laga gaaro bartilmaameedkan.

Distyl waxay gashay kaalinta 1aad ee bartilmaameedka BIRD-SQL

Distyl(ku furmaa daaqad cusub), oo ah lammaane bixiya xalal AI ah shirkadaha Fortune 500, ayaa dhowaan gashay kaalinta 1aad ee bartilmaameedka BIRD-SQL(ku furmaa daaqad cusub), oo ah bartilmaameedka ugu horreeya ee text-to-SQL. GPT‑4o ay Distyl si gaar ah u habeysay ayaa gaadhay saxnaan fulin oo ah 71.83% liiska kala sarraynta, waxayna si heer sare ah uga muuqatay hawlo ay ka mid yihiin dib-u-habaynta weydiinta, kala soocidda ujeeddada, silsilada fikirka, iyo is-saxidda, gaar ahaan waxqabad aad u sarreeya oo ku saabsan samaynta SQL.

Liiska kala sarrayntu wuxuu muujinayaa Execution Accuracy (EX), iyadoo “Waxqabadka Aadanaha” uu yahay 92.96%. Noocyada AI ee ka hooseeya waxaa ka mid ah “Distillery + GPT-4o” (71.83%), “ExSL + granite-34b-code” (70.37%), “RECAP + Gemini” (69.03%), iyo “ByteBrain” (68.87%).

Asturnaanta iyo Badbaadada Xogta

Noocyada si gaar ah loo habeeyey waxay si buuxda ugu sii jiraan gacantaada, adigoo leh lahaansho dhammaystiran oo xogta ganacsigaaga ah, oo ay ku jiraan dhammaan gelinnada iyo soo-saarrada. Tani waxay xaqiijinaysaa in xogtaada aan marna la wadaagin ama loo adeegsan tababarka noocyo kale.

Waxaan sidoo kale hirgelinnay yareynno badbaado oo lakabyo leh oo loogu talagalay noocyada si gaar ah loo habeeyey si loo hubiyo inaan si khaldan loo adeegsan. Tusaale ahaan, waxaan si joogto ah ugu wadnaa qiimaynno badbaado oo otomaatig ah noocyada si gaar ah loo habeeyey, waxaanan la soconnaa isticmaalka  si loo hubiyo in codsiyadu u hoggaansamaan siyaasadahayaga isticmaalka.

Waxaan ku faraxsanahay inaan aragno waxa aad dhisaan adigoo si gaar ah u habaynaya GPT‑4o. Haddii aad rabto inaad sahamiso doorashooyin badan oo habaynka nooca ah, fadlan nala soo xiriir kooxdayada—waxaan ku farxi lahayn inaan ku caawinno!

Qorayaal

Andrew Peng, John Allard, Steven Heidel

Mahadnaqyo

Adam Wells, Alec Gorge, Andrew Peng, Beth Hoover, Cary Hudson, Derek Chen, Dev Valladares, Elie Georges, Eric Wallace, Freddie Sulit, John Allard, Karen Li, Kevin Whinnery, Krithika Muthukumar, Lauren Workman, Leher Pathak, Lilian Weng, Lindsay McCallum, Lucy Chen, Michael Kolhede, Miles Brundage, Nick Pyne, Olivier Godement, Owen Cambpell-Moore, Pedro Aguilar, Ravi Teja Mullapudi, Scott Lessans, Sean Chang, Shyamal Anadkat, Steven Heidel, Tabarak Khan, Will Hang