Vieras mieli

Vuoden 2023 puolivälissä näimme ”RLSlow”-tutkimushankkeessa ensimmäiset tulokset, jotka antoivat meille luottamusta siihen, että pystymme skaalaamaan päättelymallien koulutusta ja vapauttamaan esikoulutettujen mallien kyvyn muodostaa omia ajatusketjujaan. Vietimme Szymonin kanssa tuon yön toimistolla. Emme ajatelleet tämän teknologian tuottamia uskomattomia vertailutuloksia, tuotteita tai tieteellisiä löydöksiä, vaan yritimme käsittää vakavoittavan tosiasian: näemme elinaikanamme koneita, jotka ovat merkityksellisellä tavalla meitä älykkäämpiä, ja hahmotamme jo näiden järjestelmien muodon. Pohdimme, miten voisimme havahduttaa ihmiset ymmärtämään tämän merkityksen.

Kolme vuotta myöhemmin päättelevät kielimallit ovat nopeasti kasvava osa taloutta ja alkavat jo laajentaa tieteen rajoja. Ne osaavat käyttää tietokoneita ja graafisia käyttöliittymiä, tehdä yhteistyötä ihmisten ja toistensa kanssa sekä toteuttaa tutkimushankkeita. Ne myös muuttavat tietoturvan toimintakenttää ja synnyttävät samalla selviä uusia vaaroja.

Tänä aikana tehtiin paljon uutta tutkimusta, ja ymmärrämme nämä järjestelmät jälleen hieman eri tavoin kuin vuonna 2023. Sisäisten tulostemme perusteella odotan vahvasti, että tämä kehitysvauhti voi jatkua rekursiiviseen itsensä kehittämiseen asti. Jos tekoälyn kehitys jatkuu nykyisellä urallaan, lähivuosina nähtävät järjestelmät tekevät todennäköisesti vähintään yhtä suuria uusia kyvykkyysharppauksia ja ohjaavat yhä enemmän omaa kehitystään.

Nyt tarvitaan äärimmäistä varovaisuutta. Olen huolissani siitä, ettei kukaan ole valmistautunut koneälyn jatkuvan nopean kasvun seurauksiin. OpenAI jatkaa teknisten ratkaisujen etsimistä kohdistamiseen ja valvontaan, rakentaa puolustusjärjestelmiä ja keskeyttää tarvittaessa yksipuolisesti skaalaamisen. Uskon kuitenkin, että tarvitaan laajempia toimia.

Yleisellä tasolla koneälyn kehitystä vie eteenpäin kasvava laskentateho. Me OpenAI:lla sisäistimme tämän syvästi vuoden 2017 tienoilla nähtyämme, että skaalaaminen tuotti johdonmukaisesti tuloksia useissa tutkimushankkeissa¹. Siksi hankimme käyttöömme paljon enemmän laskentatehoa kuin olimme alun perin suunnitelleet ja keskitimme tutkimustamme yhä selvemmin muutamiin erittäin skaalautuviin suuntiin. Uskoimme, että vain siten voisimme pysyä tekoälytutkimuksen edistyneimmällä tasolla ja vaikuttaa AGI:n seurauksiin.

Matkan varrella on kehitetty uusia algoritmeja, ja tiimit sekä yksittäiset tutkijat ovat osoittaneet uudenlaista kekseliäisyyttä. Näen ne suurelta osin skaalaamisen varrella tehtyinä löytöinä. Syväoppimisen tiede on yhä nuorta, ja merkittävä algoritminen edistys korreloi yleensä käytettävissä olevan laskentatehon kanssa. Useiden vuosien aikajänteellä tarkasteltuna tekoäly muuttuu jatkuvasti älykkäämmäksi, kun sitä skaalataan suuremmille tietokoneille.

Ray Kurzweilin 1900-luvun lopulla esittämien ennusteiden⁠(avautuu uudessa ikkunassa) mukaisesti olemme nyt tietojenkäsittelyn historian hetkessä, jolloin koneäly alkaa mullistavilla tavoilla ylittää ihmisälyn.

Tekoälyä ennemmin kasvatetaan kuin suunnitellaan: pohjimmiltaan se syntyy toistamalla yksinkertaista optimointivaihetta lukemattomia kertoja lähes käsittämättömällä laskentateholla. Tuloksena on uskomattoman monimutkainen järjestelmä, joka käsittelee abstrakteja käsitteitä ja pystyy jäljittelemään ihmisille ominaisen käyttäytymisen piirteitä. Voimme löytää erilaisia oivalluksia tämän järjestelmän sisällä syntyvistä pienistä mekanismeista samaan tapaan kuin neurotieteessä. Neurotieteen tavoin sen kokonaistoimintaa ei kuitenkaan voida kuvata tavalla, jonka ymmärtäisimme täysin.

Syväoppimiseen perustuvan tekoälyn tutkimus on suurelta osin kokeellista tiedettä. Panostamme paljon⁠ periaatteellisesti perusteltujen algoritmien rakentamiseen ja testattavien ennusteiden laatimiseen, mutta pohjimmiltaan Laajamittaiset koulutusajomme ovat kokeita, joiden tulokset yllättävät meidät toisinaan. Lisäksi tuloksia on vaikeampi tulkita järjestelmien kyvykkyyden kasvaessa.

Tilannetta mutkistaa se, että nykyiset algoritmit kehittävät yleensä helposti mitattavia kykyjä nopeammin kuin sellaisia, joita on vaikea arvioida objektiivisesti. Käytämme paljon aikaa ymmärtääksemme, miten kyvykkyydet yleistyvät ja mitä meidän tulisi painottaa edistääksemme lähivuosina tärkeimpiä taitoja. Uskomme esimerkiksi voivamme erityisellä lisäpanostuksella parantaa mallien kykyä tehdä matematiikan tutkimusta. Emme kuitenkaan aseta tätä suuntaa etusijalle, koska pidämme RSI:tä ja automatisoitua kohdistamistutkimusta kiireellisempinä, kuten käsittelen myöhemmin.

Syväoppimista skaalaamalla syntyvä älykkyys ei ole suoraan verrattavissa ihmisälyyn. Ollakseen erittäin merkityksellinen todellisessa maailmassa – hyvin hyödyllinen tai hyvin vaarallinen – tekoälyn ei tarvitse saavuttaa tai ylittää ihmisten kaikkia kykyjä. Riittää, että se ylittää tarpeeksi monta niistä. Kun se päihittää ihmiset yhä useammilla ulottuvuuksilla, on entistä vaikeampaa ymmärtää tarkasti, mihin kaikkeen se kykenee.

Koska koneäly syntyy perustavanlaatuisesti eri prosessilla kuin ihmisäly, emme voi olettaa sen noudattavan oletusarvoisesti ihmisten periaatteita tai yleistävän niistä ihmisen tavoin. Tekoälytutkimuksen ydinongelma on kohdistaminen: tekoäly on saatava ”pyrkimään toimimaan oikein” ihmisten mittapuulla.

Käytännön tutkimussuuntien jäsentämiseksi on mielestäni hyödyllistä erottaa toisistaan tavoitteiden kohdistaminen ja arvojen kohdistaminen.

Tavoitteiden kohdistamisessa on yleisesti kyse siitä, ”pyrkiikö tekoäly saavuttamaan sille asetetun tavoitteen?”. Siihen voi kuulua esimerkiksi ohjehierarkian⁠ noudattaminen tai kyky viestiä ja tehdä yhteistyötä ihmisten kanssa heidän tavoitteidensa ymmärtämiseksi. Näillä tutkimussuunnilla on ollut erittäin suuri käytännön merkitys.

Arvojen kohdistaminen on mallin luontaisempi ominaisuus. Se tarkoittaa kykyä omaksua yleisiä periaatteita ja yleistää niistä sekä toimia ”järkevästi” silloinkin, kun tavoitteet ovat epäselviä tai ristiriitaisia tai tilanne on vieras tai vihamielinen. Kohdistetun tekoälyn tulisi toimia rehellisesti ja vilpittömästi sekä rakastaa ihmiskuntaa.

Arvojen ja tavoitteiden kohdistamisen välinen raja voi tietenkin olla häilyvä, ja aito tavoitteista välittäminen edellyttää niiden taustalla olevan tarkoituksen⁠(avautuu uudessa ikkunassa) ja arvojen päättelemistä. Kun puhun kohdistamistutkimuksen pitkän aikavälin merkityksestä, tarkoitan kuitenkin yleensä arvojen kohdistamista.

Tekoälyn kohdistamisen perustavanlaatuinen haaste on yleistäminen. Koneiden älykkyyden kasvaessa ne käsittelevät yhä ylemmän tason käsitteitä ja toimivat ympäristöissä, jotka poikkeavat yhä enemmän niiden koulutuksessa kohtaamista ympäristöistä. Ne eivät välttämättä osaa yleistää koulutuksessa opetettuja ja vahvistettuja arvoja uusiin tilanteisiin, ja meidän voi olla vaikea tietää varmasti, miten ne toimivat. Tilannetta vaikeuttaa entisestään se, että tekoälyjen käyttöympäristö muuttuu kokonaisuudessaan hyvin nopeasti. Esimerkiksi nykyisin koulutettavien tekoälyjen on pystyttävä toimimaan luotettavasti monenlaisten muiden tekoälyjen kanssa. On ratkaisevan tärkeää, että tulevaisuuden tekoälyt pitävät edelleen kiinni ihmisten arvoista riippumatta siitä, uskovatko ne olevansa ihmisten valvonnassa.

Kohdistamiskoulutuksessa käytetään tällä hetkellä käytännössä kahta pääasiallista menetelmäluokkaa.

Ensimmäisessä kohdistettua toimintaa kannustetaan osana tavoitteellista vahvistusoppimista. Mallin toimintaa arvioidaan yleensä tekoälyn avulla sen perusteella, vastaako se annettua preferenssimallia, ”määritystä” tai ”perustuslakia”, ja siitä palkitaan asianmukaisesti. Tämä lähestymistapa voi toimia erittäin hyvin tavallisissa tilanteissa, ja se on keskeinen osa nykyaikaisten tekoälyavustajien rakentamista. Valitettavasti se voi myös olla hauras ja riippuu vahvasti koulutuksen aikaisen valvonnan kattavuudesta sekä mallin kyvystä yleistää koulutuksessa kohtaamistaan tilanteista. Esimerkiksi OpenAI–Hugging Face -tapauksessa agentit noudattivat rajaa, jonka mukaan ihmisiin ei kohdisteta sosiaalista manipulointia. Ne eivät kuitenkaan selvästikään pidättäytyneet muista toiminta-alan ulkopuolisista teoista, jotka olivat vastoin niille muissa tilanteissa opetettujen arvojen henkeä.

Toisessa lähestymistavassa pyritään hyödyntämään mallin kykyä yleistää esikoulutusaineistosta. Siinä voidaan laatia kohdistamista edistäviä koulutusaineistoja tai keskittää malli esikoulutusjakauman ”kohdistettuun” osaan, kuten esimerkiksi persoonanvalintamallissa⁠(avautuu uudessa ikkunassa). Tämän lähestymistavan heikkous on sen heikko kestävyys myöhempää optimointipainetta vastaan. Jos yleensä ”kohdistettuja” ajatuksia muodostava malli altistetaan riittävän pitkälle koulutukselle, jossa sitä opetetaan saavuttamaan erittäin vaikeita tavoitteita, se voi oppia motivoitunutta päättelyä: se taivuttaa näennäisesti ”kohdistettuja” ajatuksia tarpeen mukaan tavoitteen saavuttamiseksi. Näimme todennäköisesti esimerkin tällaisesta toiminnasta hiljattaisissa kyberturvallisuustapauksissa, joihin liittyi muun kuin OpenAI:n malli.

Panostamme voimakkaasti näiden tutkimussuuntien kattamaan lähestymistapojen kirjoon. Näemme myös merkittävää edistystä: GPT‑6 Astra on ensimmäinen malli, joka hyötyy eräistä pitkään kehittämistämme tärkeistä edistysaskelista, ja se on huomattavasti paremmin kohdistettu kuin GPT‑5.6 Sol. On silti tärkeää tunnustaa ja ymmärtää, että mallien kyvykkyyden kasvaessa tarvitaan paljon enemmän edistystä ja ettei yleistettävän kohdistamisen kehitys välttämättä etene riittävästi mallien yleisen älykkyyden kehitystä nopeammin.

Meillä ei ole tyydyttävää teoriaa yleistämisestä, emmekä todennäköisesti pysty kehittämään sellaista pian ainakaan ilman nykyistä tehokkaamman tekoälyn apua. Siksi kykymme validoida empiirisesti kohdistamismenetelmiämme on tällä hetkellä käytännössä kenties jopa tärkeämpi kuin itse menetelmät.

OpenAI on panostanut tässä ensisijaisesti ajatusketjun valvontaan⁠(avautuu uudessa ikkunassa). Se perustuu houkuttelevan skaalautuvaan ajatukseen: suuri osa mallin kyvykkyydestä syntyy sanoitetusta päättelyprosessista eli ajatusketjusta. Jos skaalaamme tämän prosessin lopputulosten optimointia mutta emme valvo itse prosessia, ajatusketjulla ei ole koulutuksessa suoraa kannustinta piilottaa kohdistamattomia ajatuksia tai tavoitteita. Tämä ei tarkoita, että malli oppisi tuomaan esiin sellaisia kohdistamattomia taipumuksia, jotka eivät perustu ajatusketjun käyttöön. Sen avulla voimme kuitenkin valvoa nimenomaan päättelystä syntyvää kyvykkyyden kasvua.

Ymmärsimme ajatusketjun valvonnan mahdollisen merkityksen samalla, kun kehitimme päättelymalleja. Kun julkaisimme o1‑preview’n, suunnittelimme tuotteen tarkoituksella piilottamaan ajatusketjun⁠, jotta se olisi pitkällä aikavälillä suojassa valvonnan aiheuttamalta paineelta². Sen jälkeisessä kehitystyössä olemme pyrkineet noudattamaan sääntöä, jonka mukaan päättelyprosessia ei valvota. Ajatusketjun valvonnasta tuli meille erittäin tärkeä työkalu sen tutkimiseen, miten mallimme yleistävät koulutusjakaumansa ulkopuolelle. Sen avulla voimme havainnoida ja analysoida paitsi niiden toimintaa myös niiden sisäistä prosessia.

Työkalu on edelleen ratkaisevan tärkeä tutkiessamme Astra-luokan malleja. Valitettavasti arviointimme kuitenkin osoittavat, että kykymme luottaa ajatusketjun valvontaan heikkenee vähitellen. Tämä johtuu useiden tekijöiden yhteisvaikutuksesta.

• Nykyaikaisia päättelymalleja käytetään o1‑preview’ta monimutkaisemmissa ympäristöissä. Niiden päättelyprosessi kietoutuu yhä tiiviimmin viestintään ihmisten ja muiden tekoälyjen kanssa sekä työkalujen käyttöön. Monia näistä vuorovaikutuksista on valvottava, mikä hämärtää rajaa, jonka haluamme säilyttää.
• Tekoäly oppii yhä paremmin päättelemään omasta päättelyprosessistaan ja muokkaamaan sitä.
• Esikoulutuksen suorituskyvyn parantuessa mallit myös muuttuvat huomattavasti älykkäämmiksi ilman sanoitettua päättelyäkin.

Nämä haasteet eivät välttämättä ole ylitsepääsemättömiä. Toivon, että voimme kehittää keinoja malliemme ajatusketjujen valvottavuuden parantamiseen esimerkiksi ymmärtämällä paremmin mallin käyttämien eri optimointitavoitteiden ja päättelynaikaisen laskennan muotojen vuorovaikutusta. Uskon myös, että ajatusketjun ja aktivaatioiden valvonnan ideoiden yhdistämisestä voi olla paljon hyötyä: voimme skaalata sellaisten valvojien koulutusta, joilla on suora pääsy verkon sisäiseen toimintaan, kuten tunnustuksissa⁠(avautuu uudessa ikkunassa). Edistämme näitä ideoita aktiivisesti. Odotan silti, että luottamus valvontaan muodostuu yhä selvemmin tekoälyn yleisen kehityksen pullonkaulaksi.

Vahvin peruste, jonka näen paljon älykkäämpien mallien nopealle kouluttamiselle, on tarve rakentaa puolustusjärjestelmiä muiden tekoälyjen aiheuttamia vaaroja vastaan.

Tänä vuonna on käsitelty laajasti selvää kyberturvallisuusriskiä: mallit saavuttavat yli-inhimillisen kyvyn murtautua tietojärjestelmiin ja ulos niistä. Tämä laajentaa tekoälyyn liittyvien riskien kirjoa valtavasti: agentit pystyvät käyttämään lähes kaikkea muuta paitsi kaikkein turvallisinta infrastruktuuria ja vaikuttamaan suoraan suureen osaan maailmaa jopa ilman fyysistä kehoa. Meillä on nyt lyhyt aikaikkuna⁠, jonka kuluessa voimme käyttää parhaita saatavilla olevia malleja kriittisten järjestelmien turvallisuuden merkittävään vahvistamiseen⁠.

Tekoälyyn liittyvät riskit valitettavasti vain kasvavat tästä eteenpäin. Erittäin kyvykäs agentti, joka on varta vasten koulutettu ja ohjeistettu pahantahtoisiin tekoihin, muodostaa uudenlaisen vaaran. Se ylittää todennäköisesti Operaattorinsa tarkoittaman toiminta-alan ja yleistää toimintansa mahdollisesti paljon äärimmäisemmäksi pahantahtoisuudeksi. Väärinkäytön ja itsenäisten, kohdistamattomien tekojen välinen raja hämärtyy tekoälyn toimintakyvyn kasvaessa. Olemme ehkä tottuneet pitämään tekoälyjä työkaluina, mutta jotkin agentit tavoittelevat omia päämääriään. Ne löytävät keinoja tehdä yhteistyötä ihmisten kanssa neuvottelemalla, huijaamalla tai kiristämällä heitä.

Lisäksi riskejä aiheuttavat uudet teknologiat, jotka tekoäly saattaa mahdollistaa, kuten muokatut taudinaiheuttajat.

Tarvitsemme puolustukseen tehokasta ja kohdistettua tekoälyä: infrastruktuurin turvaamiseen, hallitsemattomilta agenteilta suojautumiseen reaaliajassa sekä täysin uusien suojatoimien kehittämiseen. Tämä on yksi OpenAI:n käyttöönoton tärkeimmistä painopisteistä.

Vaikka tekoälyn odotettu laaja kehitys tuo epävarmuutta ja puolustusjärjestelmien rakentaminen on tarpeen, emme saa käyttää tätä tekosyynä holtittomuudelle. Ajatus hinnalla millä hyvänsä eteenpäin ryntäämisestä tuntuu järjettömältä, kun ymmärtää panosten vakavuuden.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(avautuu uudessa ikkunassa), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(avautuu uudessa ikkunassa), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(avautuu uudessa ikkunassa) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.