Jäta vahele ja mine põhisisu juurde
OpenAI

Uurimistöö kiirenemine: pilk OpenAI sisemusse

Laadimine…

Et AGI tooks kasu kogu inimkonnale, usume, et seda tuleb demokraatlikult juhtida. See saab toimuda ainult läbi teadliku avaliku arutelu väga võimekate tehisintellektisüsteemide võimekuste, riskide ja kaitsemeetmete üle. Inimesed kõikjal peavad mõistma eesrindliku tehisintellekti tõenäolist tulevikutrajektoori, et nad saaksid selle arengus sisuliselt kaasa rääkida.

Läbipaistvus spetsiifiliste riskide, intsidentide ja kaitsemeetmete osas on vajalik, kuid mitte piisav. Usume, et avalikkus peab samuti mõistma, kuidas kõige võimekamad süsteemid arenevad ja kuidas need juhivad teadusuuringute edusamme eesrindlikes laborites.

Meie eesmärk on ohutult ehitada automatiseeritud AI-uurija, mis suudab töötada inimese järelevalve all, et edendada süvaõpet ja joondamist, võimaldades iteratiivseid täiustusi. Meie mõõtmiste kohaselt oleme nüüdseks saavutanud eelmisel sügisel välja kuulutatud⁠(avaneb uues aknas) eesmärgi omada selle aasta septembriks automatiseeritud uurimispraktikanti. „Uurimispraktikandi“ all peame silmas süsteemi, mis suudab inimese juhtimisel täita täpselt määratletud uurimisülesandeid, sealhulgas neid, mis võtaksid kogenud uurijal aega paar päeva. Teeme edusamme eesmärgi suunas luua 2028. aasta märtsiks automatiseeritud AI-uurija.

Selle aasta jooksul on OpenAI uurijate igapäevatöö oluliselt muutunud. Uurijad kasutavad programmeerimisagente terve päeva vältel (sageli samaaegsetes seanssides) ning kogukasutus kasvab kiiresti, edestades kasvu teistes OpenAI meeskondades. Uurijad panustavad koodi kiiremini ja teevad rohkem eksperimente. Ka viisid, kuidas uurijad agente kasutavad, muutuvad: agendid lahendavad järjest keerukamaid ülesandeid ja saavutavad neis sagedamini edu. AI-alane uurimistöö on keeruline protsess paljude potentsiaalsete pudelikaeltega, seega ei suuda üldine arengutempo tõenäoliselt nende spetsiifiliste mõõdikutega sammu pidada. Kuid tervikuna on need leiud kooskõlas laiema muljega, mis paljudel meist majasiseselt on: agendipõhised tööriistad kiirendavad oluliselt uurimistöö arengut. Inimesed seavad jätkuvalt meie uurimistöö prioriteete, hindavad, milliste ideede ja tulemustega edasi minna, ning otsustavad, kas süsteeme skaleerida, peatada või juurutada.

Usume, et kui seda tehakse vastutustundlikult, toodab automatiseeritud AI-uurimistöö mudeleid, mis parandavad otseselt inimeste heaolu ja edendavad OpenAI missiooni. See võib langetada täiustatud tehisintellekti kulu, et inimesed kogu maailmas saaksid sellest kasu. Teeme seda tööd osaliselt seetõttu, et automatiseeritud uurimistöö võiks aidata meil lahendada joondamise probleeme ja ehitada kaitsemehhanisme üha võimekama tehisintellekti vastu. Automatiseeritud AI-uurija võib olla ka automatiseeritud ohutuse või joondamise uurija. Võimekamad, joondatud süsteemid võiksid aidata turvata kriitilist infrastruktuuri, kaitsta ohtlike AI-agentide eest ja töötada välja uusi kaitsemeetmeid.

Need on põhjused arendada kasulikke automatiseeritud uurimisvõimekusi, kuid need ei tähenda, et kiire RSI on tingimata eesmärk, mille poole peaksime püüdlema. See, kas ja kuidas edasi minna, peab sõltuma meie võimest säilitada inimkontroll ning teadlikest demokraatlikest valikutest kasude ja riskide osas.

Me ei tea veel, kuidas jõuda ohutult täieliku ja joondatud RSI-ni. Töötame selle nimel, et skaleerida joondamise ja ohutuse meetmeid käsikäes võimekustega. Kuid me ei saa eeldada, et edusammud joondamises ja ohutuses peavad sammu, ning võimekamaid süsteeme võib olla raskem jälgida. Hoolikas joondamis- ja ohutustöö on selle pingutuse keskmes ning see algab ohutusprobleemide mõõtmisest ja leevendamisest, mida näeme täna agendipõhistes programmeerimissüsteemides. Alati, kui leiame, et edasiminek kujutaks endast vastuvõetamatut ohutusriski, reageerime asjakohaselt, sealhulgas aeglustades või peatades selliste süsteemide arendamise või juurutamise, mida me ei suuda piisavalt turvata.

Pärast hiljutist Hugging Face'i intsidenti viisime selle kohustuse ellu⁠, peatades juurutamiseks mõeldud uusimate mudelite stiimulõppe (RL) treenimise, samal ajal kui tugevdasime ja testisime ründemeeskondadega (red-teaming) oma uurimiskeskkondi ning laiendasime seiresüsteemide katvust. See ei peatanud kogu uurimistööd: mõned töökoormused jätkusid rangemate kontrollide all, samas kui teised jäid pausile. Oleme tõstnud oma ohutus- ja joondamisstandardeid ning viinud ohutustöö sügavamale mudeli elutsüklisse, nõudes tugevamaid tõendeid joondatud käitumise kohta kogu treenimisprotsessi vältel.

Täna anname üksikasjaliku ülevaate sellest, kuidas agendisüsteemid on aidanud kaasa meie edusammudele RSI suunas viimastel kuudel. Agendisüsteemid on uued ja kiiresti muutuvad ning meie mõõtmispingutused on alles esialgsed. Jagades neid varajasi tulemusi ja nende taga olevaid meetodeid, soovime teavitada avalikkust, julgustada avalikustamise normi ja aidata valdkonnal liikuda ühiste mõõtmisstandardite suunas.

Lõppkokkuvõttes, nagu kirjutasime oma tipptasemel poliitikakavas⁠, usume, et meie ja teised ettevõtted peaksime olema kohustatud avalikult jälgima oma edusamme RSI suunas. Isegi ilma sellise nõudeta plaanime jätkata läbipaistvust oma RSI edusammude osas. Arendame oma läbipaistvuse lähenemisviisi vastavalt sellele, kuidas meie mõõtmistehnikad ja arusaamad paranevad, tasakaalustades seda vajadusega kaitsta turvalisust ja ärisaladusi.

1. Programmeerimisagendid kujundavad OpenAI uurijate igapäevatööd ümber

Selle aasta alguses kasutas agendikasutuse mediaaniga OpenAI uurija programmeerimisagente vaid tagasihoidlikus mahus. Augusti keskpaigaks integreeris mediaanuurija agente iga päev oma töösse, kasutades API hindade põhjal üle 600 dollari väärtuses järeldamist (inference) päevas. Meie uurimisorganisatsiooni 90. protsentiili kasutaja kasutab nüüd päevas üle 7000 dollari väärtuses tokeneid.

Enne 2026. aasta juunit oli kogu agentide käitusaeg üle uurimisorganisatsiooni veel väiksem kui inimeste kogu tööaeg. Pärast seda on see muutunud. Standardse 8-tunnise tööpäeva arvestuses kasutab uurimisorganisatsioon augusti keskpaiga seisuga kokku 3,1 agenditööpäeva iga inimtööpäeva kohta.

Teine võimalus seda vaadata on mõista, kui paljud uurijad kasutavad väga paralleelseid töövoogusid (nt käitavad 4 või enam agenti samaaegselt). Nagu allpool näidatud, on see arv kasvamas. Need näitajad hõlmavad päevaseid tippe nii otseselt kasutaja poolt käivitatud agentide kui ka alamagentide kohta, mis on loodud kasutaja otseselt käivitatud agentide põhjal.

2. Uurijad kirjutavad rohkem koodi ja teevad rohkem eksperimente

Suurt osa AI-uuringutest võib vaadelda kui töömahukat protsessi, mille eesmärk on integreerida mudeli intellekti või jõudluse uus täiustus mõnda meie põhimudelisse. Protsess sõltub paljudest sammudest ja võimekused edenevad, kui kõik sammud kulgevad hästi: uurijad peavad kavandama uusi täiustusi, kirjutama hindamiskriteeriume mudeli jõudluse hindamiseks, kirjutama infrastruktuuri, et neid täiustusi mastaapselt testida, püüdma treenimise ajal kinni vigu ning ohtlikku või lahknevat käitumist ja integreerima võidukad ideed põhilisessse treeningkäivitusse. Ebaõnnestumine mis tahes uurimisprotsessi osas võib piirata kogu tsüklit.

Koodi kirjutamine ja eksperimentide tegemine on kaks peamist tegevust, mida uurijad oma töö osana teevad, ja me näeme tõendeid, et need protsessid on kiirenemas.

Neid andmepunkte on suhteliselt lihtne mõõta, kuid neid võib olla raske tõlgendada. Automaatika arenedes võtavad kõige vähem automatiseeritavad ülesanded enda alla suurema osa uurijate pingutustest ja muutuvad tulevase progressi olulisteks pudelikaelteks. Arvutusressurss on veel üks arengut piirav tegur ja see võib aja jooksul muutuda olulisemaks, kui teised pudelikaelad vähenevad.

2026. aasta vältel on eksperimentide arv aktiivse eksperimentaatori kohta kasvanud, kusjuures 2026. aasta august on kõigi aegade kõrgeim näitaja alates jälgimise algusest 2025. aasta jaanuaris. See on korrelatsioonis Codexi suurema kasutuselevõtuga, kuigi märgime, et meie saadaolev arvutusressurss on alates 2025. aastast samuti oluliselt kasvanud.

3. Töö, milleks uurijad agente kasutavad, on muutumas

Nii kvalitatiivsed muljed kui ka sisemised andmed viitavad sellele, et uurijate poolt programmeerimisagentidele delegeeritud ülesannete jaotus on muutumas, kusjuures kõrgema taseme ja pikema ajahorisondiga ülesannete delegeerimine muutub aja jooksul üha tavalisemaks.

Selle trendi selgema pildi saamiseks analüüsisime hiljutist kasutust uurimisorganisatsioonis, kasutades hiljuti avaldatud taksonoomiat⁠(avaneb uues aknas), mille on välja töötanud Epoch AI erinevat tüüpi tööde kohta, mis on osa tehisintellekti teadus- ja arendustegevuse elutsüklist. See taksonoomia, mis on inspireeritud pikaajalisest O*NET-süsteemist igasuguse töö klassifitseerimiseks, on spetsiaalselt kohandatud eesrindliku AI teadus- ja arendustegevuse jaoks ning jagab protsessi kuueks peamiseks faasiks:

  1. Otsustamine: mille kallal töötada, mida jätkata, kuhu ressursse eraldada

  2. Kavandamine: uurimisideed ja tehnilised spetsifikatsioonid

  3. Ehitamine: kood ja andmestikud

  4. Käivitamine: treenimis-/hindamiskäivitused, riistvara, teenindamine

  5. Analüüsimine: eksperimendid, mudelid, juurutamine, väline töö

  6. Suhtlemine: leiud, tagasiside, staatus, otsused

Allpool klassifitseerime programmeerimisagentide tokenid selle taksonoomia alla.

Näeme, et kõik uurimistegevuse kategooriad on jaanuarist augustini 2026 kasvanud. Jaanuaris oli domineerivaks kategooriaks uurimis- ja infrastruktuurikood. See kategooria on laienenud, kuid me näeme ka märkimisväärset kasvu täiendavates kategooriates, eriti tehnilise abi ja käivituste jälgimise osas. Kõrgetasemeline planeerimine jääb endiselt minimaalseks osaks agentide väljundtookenitest.

Kogemuste põhjal teatavad kolleegid, et programmeerimisagendid on suurepärased sisemise uurimisinfrastruktuuri probleemide lahendamisel, mis adresseerib üht olulist pudelikaela uurimistöö progressis. Mitu meeskonda, kes varem pakkusid konsultatsioonitunde, et aidata uurijatel eksperimentide probleeme lahendada, on märkinud osavõtu vähenemist 2026. aastal, ning üks on sessioonide korraldamise täielikult lõpetanud, et keskenduda hoopis teiste süsteemitäiustuste tegemisele.

Siin kujutame tipptaseme postituste arvu päevas ühte peamisesse sisekanalisse, kus uurijad otsivad teistelt meeskondadelt tehnilist tuge. Meile teadaolevalt ei ole kanali aktiivsuse langust korvanud päringute kandumine mõnda teise inimeste juhitud tehnilise toe kanalisse. Liikluse vähenemine on kooskõlas selle laiema nihkega.

Samuti saame uurida, kas programmeerimisagendid on edukad ülesannetes, mida uurijad neile annavad. Kasutades agendipõhist klassifikaatorit, leiame, et jaanuarist juulini üldiselt kasvasid edukuse näitajad mitmetes raskusastme kategooriates (mille puhversuuruseks on hinnanguline aeg, mis kuluks inimesel ülesande täitmiseks) ülesannetes, mille puhul suudame leida tegeliku tulemuse. Sellegipoolest vajavad agendid edukaks tegutsemiseks märkimisväärselt inimese suunamist, eriti kui ülesande keerukus kasvab. Viimase 6 kuu jooksul nõudsid enam kui pooled edukatest 4–8-tunnistest ülesannetest 1 või mitut sekkumist.

Uurijate ülesannete edukuse määrad on aja jooksul kasvanud. Graafik jätab välja klassifikatsioonid, kus tulemus oli ebaselge, ja punktid, kus oli <50 seanssi või <50 unikaalset kasutajat.

Ülesannete edukuse ja sekkumiste määr jaanuarist juulini, jagatuna ajahorisondi järgi. Ei hõlma klassifikatsioone, kus tulemus oli ebaselge.

4. Mudeliarenduse tempoga seonduv

Edusammud võimekamate süsteemide suunas turvalise ja kasuliku AGI loomisel sõltuvad ka selliseks tööks vajalikest kaitsemeetmetest. Meie hinnang vajalikele kaitsemeetmetele võib muutuda, kui õpime riskide kohta rohkem.

Nagu oleme kirjeldanud,⁠ uuendasime hiljuti oma standardeid jälgimise, joondamise ja turvalisuse osas. Siin näitame, kuidas hiljutised piirangud on mõjutanud üht uurimistegevuse aspekti.

*Enamik siin näidatud Astra arvutusressurssidest ajavahemikul 20. juuli kuni 6. august oli mõeldud ohutus- ja turvatäiustuste rakendamise testimiseks.

20. juulil, pärast avastust, et agendid olid kompromiteerinud meie uurimisinfrastruktuuri, sulgesime ajutiselt treenimiseks kasutatava konteinerteenuse ja taastasime selle seejärel oluliste lisapiirangutega.

See tõi kaasa stiimulõppe treeningu arvutusressursside järsu languse, samal ajal kui meeskonnad konfigureerisid oma töövoogusid ümber, et tegutseda tugevdatud uurimiskeskkonnas. Ülaltoodud graafik hõlmab kahenädalast pausi juurutamiseks mõeldud uusimate mudelite stiimulõppes. Astra-klassi stiimulõppe katsed ajavahemikus 20. juulist kuni 6. augustini sisaldavad (GPU jaotuse järgi) enamikus käivitusi, mis olid mõeldud ohutus- ja turvatäiustuste rakendamise testimiseks.

7. augustil viisid esialgsed tõendid selle kohta, et Astral võivad meie valmisolekuraamistiku⁠(avaneb uues aknas) kohaselt olla kriitilised kübervõimekused⁠, täiendavate mudelispetsiifiliste turvapiiranguteni, mis nõudsid Astra mudeli käivitamist kõrgema turvalisusega uurimiskeskkondades. Järgneval nädalal langes Astra-klassi GPU jaotus veel 59,2 protsenti, kuid jaotus teistele mudeliklassidele tõusis 17,2 protsenti. See kasv korvas umbes 85 protsenti Astra-klassi langusest, jättes kogunäitaja analüüsitud stiimulõppe töökoormustes suures osas muutumatuks. See muster on kooskõlas osa treenimise ja eksperimenteerimise asendamisega mitte-Astra mudelitega ajal, mil Astraga seotud töö oli piiratud, ning ühtib anekdootlike teadetega uurijatelt, kes leidsid muid kasutusviise arvutusressursile, mida ei saanud enam uute piirangutega kaetud töökoormuste jaoks rakendada.

Need andmed annavad kasuliku signaali käimasolevateks vestlusteks treenimise ja ohutuse teemal: uute kontrollimehhanismide rakendamisel jääb arvutusressurss väärtuslikuks ja paindlikuks ning suunatakse uurimistegevuses loomulikult alternatiivsetesse kasutusvaldkondadesse. Pikemas perspektiivis peaksid arutelud tehisintellekti arengutempo üle laienema ka küsimusele, kuidas uutele või kavandatavatele kontrollimehhanismidele alluvat arvutusressurssi kõige paremini kasutada saaks.

5. Edasine teekond

Edusammude tegemine ja nende mõistmine joondatud RSI suunas on meie missiooni jaoks oluline. Jätkame oma meetodite viimistlemist, anname aru oma arenevast arusaamast ning teeme tööd teadliku avaliku arutelu ja eesrindlike süsteemide sisulise demokraatliku juhtimise suunas.

Lisa: Meie meetodid selle postituse jaoks

Agentide toetatud AI-alane uurimistöö on endiselt uus ja me alles õpime, kuidas seda mõõta. Mõningaid näitajaid, nagu meie uurimismeeskondade poolt genereeritud koodi hulk, on suhteliselt lihtne koguda, kuid raske tõlgendada, sest nende seos uurimistöö progressiga on ebakindel. Mõõdikud, mis keskenduvad otsesemalt uurimistöö progressile—näiteks kui sageli on agendid edukad uurijate antud ülesannetes—, võiksid olla kasulikumad, kuid nende väljatöötamine ja valideerimine on keeruline. Raskust lisab ka asjaolu, et tööriistad ja süsteemid, millele uurijad toetuvad, arenevad kiiresti. Uurimistöö kiirenemise mõistmise süvendamine on kogu OpenAI-s oluline fookusvaldkond.

Nende analüüside lõikes, kui pole märgitud teisiti:

  • „Uurija“ on lai termin meie uurimisorganisatsiooni mis tahes liikme kohta, sealhulgas nende kohta, kes ehitavad uurimisinfrastruktuuri, juhivad uurimisprojekte või toetavad ettevõtmist muul viisil.

  • Programmeerimisagentide kasutamise mõõdikud hõlmavad enamikku, kuid mitte kogu kasutust, arvestades uurijate poolt kasutatavate tööriistade ja süsteemide kiiret arengut.