Hröðun rannsókna: Innsýn í OpenAI

Til að AGG gagnist öllu mannkyni teljum við að það verði að stjórna með lýðræðislegum hætti. Þetta getur aðeins orðið að veruleika með upplýstri opinberri umræðu um getu, áhættu og verndarráðstafanir mjög öflugra gervigreindarkerfa. Fólk um allan heim þarf að skilja líklegan framtíðarþróunarferil háþróaðrar gervigreindar svo það geti haft raunveruleg áhrif á hvernig hún þróast.

Gagnsæi varðandi tiltekna áhættu, atvik og öryggisráðstafanir er nauðsynlegt, en ekki nægilegt. Við teljum að almenningur þurfi einnig að skilja hvernig hæfustu kerfin þróast og hvernig þau knýja fram framfarir í rannsóknum innan háþróaðra rannsóknarstofa.

Markmið okkar er að byggja upp sjálfvirkan gervigreindarrannsakanda á öruggan hátt sem getur starfað undir eftirliti manna til að knýja enn frekari framfarir í djúpnámi og samræmingu og gera stöðugar framfarir mögulegar. Samkvæmt mælingum okkar höfum við nú náð því markmiði, sem tilkynnt⁠(opnast í nýjum glugga) var síðasta haust, að búa til sjálfvirkan rannsóknarnema fyrir september á þessu ári. Með „rannsóknarnema“ eigum við við kerfi sem getur sinnt vel afmörkuðum rannsóknarverkefnum undir leiðsögn manna, þar á meðal verkefnum sem myndu taka hæfan rannsakanda nokkra daga. Okkur miðar mjög vel áfram í átt að því að skapa sjálfvirkan gervigreindarrannsakanda fyrir mars 2028.

Á þessu ári hefur daglegt starf rannsakenda hjá OpenAI breyst verulega. Rannsakendur nota forritunargerendur allan daginn, oft í samhliða lotum, og heildarnotkun eykst hratt og vex hraðar en hjá öðrum teymum OpenAI. Rannsakendur búa hraðar til kóða og keyra fleiri tilraunir. Það hvernig rannsakendur nota gerendur er líka að breytast: gerendur takast á við sífellt flóknari verkefni og tekst æ oftar að leysa þau. Rannsóknir á gervigreind eru flókið ferli með mörgum mögulegum flöskuhálsum, þannig að heildarhraði framfara mun líklega ekki halda í við þessa tilteknu mælikvarða. En á heildina litið eru þessar niðurstöður í samræmi við þá víðtækari tilfinningu sem mörg okkar hafa innanhúss, að verkfæri með sjálfstæðri virkni séu að hraða framvindu rannsókna með marktækum hætti. Fólk kveður enn á um áherslur okkar í rannsóknum, metur hvaða hugmyndum og niðurstöðum eigi að fylgja eftir og ákveður hvort auka skuli umfang kerfa, setja þau í bið eða taka þau í notkun.

Ef þetta er gert á ábyrgan hátt teljum við að sjálfvirkar gervigreindarrannsóknir muni skila líkönum sem efla velferð mannkyns með beinum hætti og stuðla að markmiði OpenAI. Það getur lækkað kostnað við háþróaða greind svo fólk um allan heim geti notið góðs af henni. Við vinnum að þessu meðal annars vegna þess að sjálfvirknivæddar rannsóknir geta hjálpað okkur að leysa samræmingarvandann og þróa varnir gegn sífellt öflugri gervigreind. Sjálfvirkur gervigreindarrannsakandi getur einnig verið sjálfvirkur öryggis- eða samræmingarrannsakandi. Öflugri, samræmd kerfi geta hjálpað til við að tryggja öryggi mikilvægra innviða, verjast hættulegum gervigreindargerendum og þróa nýjar verndarráðstafanir.

Þetta eru meðal ástæðna til að þróa gagnlega sjálfvirka rannsóknargetu, en þær þýða ekki að hröð RSI sé endilega útkoma sem við ættum að stefna að. Hvort og hvernig skuli halda áfram verður að ráðast af getu okkar til að viðhalda mannlegri stjórn og af upplýstum lýðræðislegum ákvörðunum um ávinninginn og áhættuna.

Við vitum enn ekki hvernig hægt er að hrinda á öruggan hátt samstilltri, fullri RSI í framkvæmd. Við vinnum að því að auka umfang samræmingar- og öryggisráðstafana samhliða aukinni getu. En við getum ekki gert ráð fyrir að framfarir í samræmingu og öryggi haldi í við auk þess sem erfiðara getur orðið að fylgjast með hæfari kerfum. Vönduð vinna við samræmingu og öryggi er kjarninn í þessu starfi, og hún hefst með því að mæla og draga úr þeim öryggisvandamálum sem við sjáum í dag í kerfum með fulltrúakóðun. Í hvert sinn sem við komumst að þeirri niðurstöðu að það að halda áfram myndi fela í sér óásættanlega öryggisáhættu, munum við bregðast við með viðeigandi hætti, þar á meðal með því að hægja á eða stöðva þróun okkar á kerfum eða innleiðingu þeirra, ef við teljum okkur ekki geta tryggt öryggi þeirra með fullnægjandi hætti.

Eftir nýlegt Hugging Face-atvik hrintum við þessari skuldbindingu í framkvæmd⁠ með því að gera hlé á þjálfun með styrkingarnámi (RL) fyrir nýjustu líkön okkar sem ætluð eru til innleiðingar, á meðan við hertum enn frekar varnir rannsóknarumhverfanna, létum rauð teymi prófa þau og víkkuðum umfang vöktunarkerfanna. Þetta stöðvaði ekki allar rannsóknir: sumt vinnuálag hófst aftur undir strangara eftirliti, en annað var áfram í bið. Við höfum hækkað staðla okkar um öryggi og samræmingu og fært öryggisvinnu dýpra inn í lífsferli líkana, þar sem krafist er sterkari vísbendinga um samræmda hegðun í gegnum alla þjálfun.

Í dag veitum við ítarlegt yfirlit yfir það hvernig gerendakerfi hafa stuðlað að framförum okkar í átt að RSI undanfarna mánuði. Gerendakerfi eru ný og breytast hratt, og viðleitni okkar til að mæla þau er enn á frumstigi. Með því að deila þessum fyrstu niðurstöðum og aðferðunum sem liggja þeim að baki stefnum við að því að upplýsa almenning, stuðla að viðmiði um opinbera birtingu upplýsinga og hjálpa sviðinu að færast í átt að sameiginlegum stöðlum fyrir mælingar.

Að lokum, eins og við skrifuðum í stefnuáætlun okkar um háþróaða gervigreind⁠, teljum við að okkur og öðrum fyrirtækjum ætti að vera skylt að fylgjast opinberlega með framvindu okkar í átt að RSI. Jafnvel án slíkrar kröfu ætlum við að halda áfram að miðla framvindu okkar á gagnsæjan hátt. Við munum þróa nálgun okkar á gagnsæi eftir því sem mæliaðferðir okkar og skilningur batna, jafnframt því sem við gætum jafnvægis milli gagnsæis og þarfarinnar á að vernda öryggi og eignarréttarvarðar upplýsingar.

Í byrjun þessa árs notaði miðgildisrannsakandi hjá OpenAI, raðað eftir notkun á sjálfvirkum forritunarlausnum, slíkar lausnir aðeins í litlum mæli. Um miðjan ágúst var miðgildisrannsakandinn farinn að nota gerendur daglega við vinnu sína og notaði meira en 600 USD á dag í ályktunarvinnslu miðað við API-verð. Notandinn í 90. hundraðshluta í rannsóknarstofnun okkar notar nú meira en 7.000 USD í tóka á dag.

Fyrir júní 2026 var samanlagður keyrslutími fulltrúa í rannsóknarstofnuninni enn undir samanlögðu vinnuframlagi fólks. Það hefur síðan breyst. Miðað við hefðbundinn átta stunda vinnudag nýtir rannsóknarstofnunin um miðjan ágúst samtals vinnuframlag sem nemur 3,1 vinnudögum fulltrúa fyrir hvern vinnudag mannlegrar vinnu.

Önnur leið til að líta á þetta er að skilja hversu margir rannsakendur nota mjög samhliða verkflæði (t.d. keyra 4 eða fleiri gerendur samtímis). Eins og sýnt er hér að neðan fer þessi tala hækkandi. Þessar tölur innihalda dagleg hámarksgildi bæði agenta sem notandinn ræsti beint og undiragenta sem voru búnir til síðar í ferlinu út frá þeim sem notandinn ræsti beint.

Líta má á stóran hluta rannsókna á gervigreind sem vinnufrekt ferli sem miðar að því að samþætta nýja umbót á greind eða frammistöðu líkans í eitt af kjarnalíkönum okkar. Ferlið byggist á mörgum skrefum og geta líkana eflist þegar öll skrefin ganga rétt upp saman: Rannsakendur þurfa að hanna nýjar umbætur, útbúa mat til að leggja mat á frammistöðu líkana, þróa innviði til að prófa þessar umbætur í stórum stíl, finna villur sem og óörugga eða ósamræmda hegðun við þjálfun og samþætta árangursríkar hugmyndir í kjarnakeyrslu þjálfunar. Misbrestur í hvaða hluta rannsóknarferlisins sem er getur hamlað allri hringrásinni.

Að skrifa kóða og framkvæma tilraunir eru tvö helstu verkefni sem rannsakendur sinna sem hluta af starfi sínu, og við sjáum vísbendingar um að þessi ferli séu að hraðast.

Þessa gagnapunkta er tiltölulega auðvelt að mæla, en það getur verið erfitt að túlka þá. Eftir því sem sjálfvirknivæðingunni fleygir fram munu verkefnin sem síst er hægt að sjálfvirknivæða krefjast stærri hluta af vinnuframlagi rannsakenda og verða helstu flöskuhálsarnir fyrir frekari framfarir. Reikniafl er annar takmarkandi þáttur fyrir framfarir og gæti orðið mikilvægara með tímanum eftir því sem aðrir flöskuhálsar minnka.

Á árinu 2026 hefur fjöldi tilrauna á hvern virkan tilraunaaðila aukist og í ágúst 2026 náði hann hæsta stigi frá því mælingar hófust í janúar 2025. Þetta tengist aukinni notkun Codex, þótt við bendum á að tiltæk reiknigeta okkar hafi einnig aukist verulega síðan 2025.

Bæði eigindlegar athuganir og innri gögn benda til þess að samsetning verkefna sem rannsakendur fela forritunargerendum sé að breytast, þar sem úthlutun verkefna á hærra stigi og til lengri tíma verður algengara með tímanum.

Til að fá skýrari mynd af þessari þróun greindum við notkun að undanförnu hjá rannsóknarstofnuninni með nýlega birtu flokkunarkerfi⁠(opnast í nýjum glugga) yfir mismunandi tegundir vinnu sem eru hluti af lífsferli rannsókna og þróunar á sviði gervigreindar, sem Epoch AI þróaði. Þetta flokkunarkerfi, sem sækir innblástur í gamalgróið O*NET-kerfi til að flokka alls kyns vinnu, er sérstaklega sniðið að rannsóknum og þróun á sviði háþróaðrar gervigreindar og skiptir ferlinu í sex megináfanga:

1. Ákveða: að hverju á að vinna, hverju á að halda áfram með, hvert á að ráðstafa

2. Hönnun: rannsóknarhugmyndir og verkfræðiforskriftir

3. Smíða: kóða og gagnasöfn

4. Keyra: þjálfunar-/matskeyrslur, vélbúnaður, þjónusta

5. Greina: tilraunir, líkön, dreifing, ytri vinna

6. Miðla: niðurstöðum, endurgjöf, stöðum, ákvörðunum

Hér að neðan flokkum við tóka forritunargerenda samkvæmt þessari flokkun.

Við sjáum að allir flokkar rannsóknarstarfsemi hafa aukist frá janúar til ágúst 2026. Í janúar var helsti flokkurinn rannsókna- og innviðakóði. Þessi flokkur hefur vaxið, en við sjáum einnig umtalsverða aukningu í öðrum flokkum, sérstaklega í tækniaðstoð og vöktunarkeyrslum. Áætlanagerð á háu stigi er enn aðeins örlítið brot af frálagstókum gerenda.

Samkvæmt óformlegum frásögnum greinir samstarfsfólk frá því að forritunargerendur skari fram úr í úrræðaleit hjá innri rannsóknarinnviðum, sem tekur á einum verulegum flöskuhálsi í framgangi rannsókna. Nokkur teymi sem áður buðu upp á opna viðtalstíma til að hjálpa rannsakendum að leysa úr vandamálum í tilraunum sínum hafa greint frá minnkandi mætingu árið 2026, og eitt þeirra hefur alfarið hætt að halda slíka tíma til að einbeita sér í staðinn að öðrum kerfisbótum.

Hér sýnum við fjölda færslna á efsta stigi á dag í einni af helstu innri rásunum þar sem rannsakendur leita tækniaðstoðar hjá öðrum teymum. Eftir því sem við best vitum hefur minni virkni á rásinni ekki verið vegin upp með því að fyrirspurnir hafi færst yfir á aðra tækniaðstoðarrás sem mönnuð er af fólki. Samdrátturinn í umferðinni er í samræmi við þessa víðtækari breytingu.

Við getum einnig rannsakað hvort forritunargerendum takist að leysa þau verkefni sem rannsakendur leggja fyrir þá. Með því að nota gerendaflokkara komumst við að því að frá janúar til júlí jukust árangurshlutföll almennt í nokkrum erfiðleikaflokkum (metnum út frá áætluðum tíma sem það tæki manneskju að ljúka verkefninu) í verkefnum sem við getum fundið sannreynda útkomu fyrir. Hins vegar þurfa forritunargerendur enn töluverða mannlega leiðsögn til að ná árangri, sérstaklega eftir því sem verkefnin verða flóknari. Á síðustu 6 mánuðum fól yfir helmingur vel heppnaðra 4–8 klukkustunda verkefna í sér eitt eða fleiri inngrip.

Framfarir í átt að öflugri kerfum fyrir örugga og gagnlega AGG munu einnig ráðast af þeim öryggisráðstöfunum sem þarf fyrir slíkt starf. Mat okkar á nauðsynlegum öryggisráðstöfunum kann að breytast eftir því sem við fáum frekari upplýsingar um áhætturnar.

Eins og við höfum fjallað um⁠ höfum við nýlega uppfært staðla okkar fyrir vöktun, samræmingu og öryggi. Hér sýnum við hvernig nýlegar takmarkanir hafa haft áhrif á einn þátt rannsóknarstarfseminnar.

Hinn 20. júlí, eftir að upp komst að aðilar hefðu brotist inn í rannsóknarinnviði okkar, lokuðum við tímabundið gámaþjónustunni sem notuð er til þjálfunar og endurheimtum hana síðan með verulega auknum takmörkunum.

Þetta leiddi til mikils samdráttar í reikniafli fyrir RL-þjálfun á meðan teymi endurskipulögðu verkferla sína til að starfa innan öryggisherta rannsóknarumhverfisins. Grafið hér að ofan nær til tveggja vikna hlés á styrkingarnámi fyrir nýjustu líkön okkar sem ætluð eru til notkunar. RL-tilraunir af Astra-flokki á tímabilinu frá 20. júlí til 6. ágúst fela í sér meirihluta keyrslna (miðað við GPU-úthlutun) sem ætlaðar eru að prófa innleiðingu öryggis- og verndarumbóta.

Hinn 7. ágúst leiddu bráðabirgðagögn um að Astra kynni að búa yfir netgetu á hættustigi⁠ samkvæmt Undirbúningsramma⁠(opnast í nýjum glugga) okkar til viðbótaröryggistakmarkana sem voru sértækar fyrir líkanið og kröfðust þess að Astra-líkanið væri keyrt í rannsóknarumhverfum með hærra öryggisstigi. Vikuna á eftir dróst úthlutun GPU-afkasta til Astra-flokksins enn frekar saman um 59,2%, en úthlutun til annarra líkanaflokka jókst um 17,2%. Sú aukning vó upp á móti um 85% af samdrættinum í Astra-flokki, þannig að heildarúthlutun í greindu RL-vinnuálagi hélst að mestu óbreytt. Þetta mynstur samræmist því að hluti þjálfunar og tilrauna hafi verið færður yfir í líkön önnur en Astra meðan vinna sem tengdist Astra var takmörkuð, og er í samræmi við óformlegar frásagnir rannsakenda af því að þeir hafi fundið önnur not fyrir reikniafl sem ekki var lengur hægt að nýta fyrir vinnuálag sem nýju takmarkanirnar náðu til.

Þessi gögn veita gagnlega vísbendingu í áframhaldandi umræðum um þjálfun og öryggi: Þegar nýjar stýringarráðstafanir eru innleiddar halda reikniauðlindir áfram að vera verðmætar og sveigjanlegar og þær munu eðlilega nýtast til annarrar notkunar innan rannsóknastarfseminnar. Til lengri tíma litið ættu umræður um hraða framfara í gervigreind einnig að ná til spurningarinnar um hvernig best sé að nýta reikniafl sem fellur undir nýjar eða fyrirhugaðar takmarkanir.

Að ná og skilja framfarir í átt að samstilltri RSI er mikilvægt fyrir markmið okkar. Við munum halda áfram að fínstilla aðferðir okkar, greina frá skilningi okkar sem er í þróun og vinna að upplýstri opinberri umræðu og þýðingarmikilli lýðræðislegri stjórnun háþróaðra kerfa.

Rannsóknir knúnar af gervigreindarfulltrúum eru enn nýjar og við erum enn að læra hvernig eigi að mæla þær. Sumum vísbendingum, svo sem magni kóða sem rannsóknarteymi okkar búa til, er tiltölulega auðvelt að safna, en erfitt er að túlka þær þar sem tengsl þeirra við framfarir í rannsóknum eru óviss. Mælikvarðar sem beinast beint að framvindu rannsókna—til dæmis hversu oft gervigreindarfulltrúum tekst að leysa þau verkefni sem rannsakendur fela þeim—gætu verið gagnlegri, en það er flókið að þróa þá og sannprófa. Til að auka enn á erfiðleikana þróast verkfærin og kerfin sem rannsakendur reiða sig á hratt. Að dýpka skilning okkar á hröðun rannsókna er mikilvægt áherslusvið hjá OpenAI.

Í öllum þessum greiningum, nema annað sé tekið fram:

• „Rannsakandi“ er víðtækt hugtak yfir alla meðlimi rannsóknarstofnunar okkar, þar á meðal þá sem byggja upp rannsóknarinnviði, stýra rannsóknarverkefnum eða styðja á annan hátt við starfsemina.

• Mælikvarðar á notkun forritunargerenda ná yfir meginhluta notkunarinnar, en ekki alla, vegna hraðrar þróunar í þeim verkfærum og kerfum sem rannsakendur reiða sig á.