Bevorderen van onafhankelijk onderzoek naar AI-alignment

Naarmate AI-systemen krachtiger en autonomer worden, moet onderzoek naar alignment niet alleen gelijke tred houden, maar ook diverser worden. Bij OpenAI investeren we fors in de veiligheid en alignment van onze geavanceerde modellen; dit is cruciaal voor onze missie. Tegelijkertijd geloven we dat het veilig en nuttig houden van AGI niet de taak is van één enkele organisatie. Daarom willen we onafhankelijk onderzoek en conceptuele benaderingen steunen die buiten de grote laboratoria worden ontwikkeld. Omdat niemand precies kan voorspellen hoe de toekomst van AI zich zal ontvouwen, vinden we dat meer mensen invloed moeten hebben op de uitkomst.

Vandaag maken we een subsidie van $ 7,5 miljoen bekend voor The Alignment Project⁠(opent in een nieuw venster), een wereldwijd fonds voor onafhankelijk alignment-onderzoek opgezet door het Britse AI Security Institute (UK AISI). De administratie van de subsidie wordt ondersteund door Renaissance Philanthropy. Onze bijdrage maakt The Alignment Project tot een van de grootste financieringsinitiatieven voor onafhankelijk onderzoek op dit gebied tot nu toe en versterkt het bredere onafhankelijke ecosysteem.

Toonaangevende laboratoria zoals OpenAI hebben een unieke positie om alignment-onderzoek te doen dat afhankelijk is van toegang tot de nieuwste modellen en enorme rekenkracht waar onafhankelijke onderzoekers vaak moeilijk toegang toe hebben. Wij richten onze interne inspanningen vooral op het ontwikkelen van schaalbare methoden, zodat alignment-technieken gelijke tred kunnen houden met de snelle toename van AI-capaciteiten. Wij geloven in iteratieve uitrol: het geleidelijk vergroten van capaciteiten terwijl we tegelijkertijd de veiligheidsmaatregelen aanscherpen. Dit helpt om problemen vroegtijdig te signaleren en geeft concreet bewijs van wat in de praktijk werkt. Verantwoordelijke ontwikkeling vereist dat werk aan veiligheid en alignment nauw verweven is met het bouwen en uitrollen van modellen.

Parallel hieraan profiteert het vakgebied van duurzame investeringen in onafhankelijk, verkennend onderzoek. Dit verbreedt het spectrum aan ideeën en kan nieuwe richtingen onthullen. Onafhankelijk onderzoek blijft essentieel; voor veel vraagstukken hebben grote labs namelijk geen vergelijkbaar voordeel. Een gezond ecosysteem is afhankelijk van externe teams die diverse aannames testen, alternatieve kaders ontwikkelen en theoretische, grensverleggende ideeën verkennen die niet direct passen binnen de roadmap van één specifieke organisatie.

De weg naar AGI vereist mogelijk fundamentele doorbraken die de aard van het alignment-probleem veranderen. Daarom is het belangrijk om onderzoek te steunen dat ook relevant blijft als de huidige dominante methoden niet blijken te schalen zoals verwacht. Juist in die scenario's is een sterk extern ecosysteem, dat fundamenteel, conceptueel en onafhankelijk werk verricht, van groot belang. Het probleem van AI-veiligheid is ongekend belangrijk en we hebben alle hulp nodig, omdat we nog niet weten welke aanpak het meest duurzaam zal blijken naarmate de technologie zich verder ontwikkelt.

Onze subsidie (ongeveer € 6,4 miljoen tegen de huidige wisselkoers) financiert The Alignment Project⁠(opent in een nieuw venster) samen met andere publieke, filantropische en commerciële partners. Het totale fonds bedraagt meer dan € 30 miljoen en ondersteunt een breed portfolio aan wereldwijde projecten. De onderwerpen variëren van computationele complexiteitstheorie, economische (spel)theorie en cognitieve wetenschap tot informatietheorie en cryptografie. Individuele projecten ontvangen doorgaans tussen de € 50.000 en € 1 miljoen en kunnen optioneel toegang krijgen tot rekenkracht en expertise.

Onze financiering creëert geen nieuw programma of selectieproces en beïnvloedt de bestaande procedures niet. Het zorgt er simpelweg voor dat er meer reeds goedgekeurde, hoogwaardige projecten⁠(opent in een nieuw venster) gefinancierd kunnen worden in de huidige ronde.

Het UK AISI is bij uitstek geschikt om deze financiering te sturen. Zij brengen een gevestigde coalitie samen van overheid, academische wereld, filantropie en bedrijfsleven. Daarnaast beschikken ze over een lopend toekenningsproces en een groot aanbod aan voorstellen die al door experts zijn beoordeeld Als Britse onderzoeksorganisatie binnen het ministerie voor Wetenschap, Innovatie en Technologie (DSIT) hebben zij een specifiek mandaat gericht op ernstige AI-risico's en ruime ervaring met het beheren van onderzoeksfondsen.

Omdat de toekomst van AI onvoorspelbaar is en zich zeer snel kan ontwikkelen, geloven wij dat democratisering, 'AI-veerkracht' en iteratieve uitrol essentieel zijn. Terwijl wij bij OpenAI ons eigen veiligheidsonderzoek voortzetten, zal de sector profiteren van een robuust, divers en onafhankelijk ecosysteem dat complementaire benaderingen onderzoekt. Deze subsidie is een stap in die richting. We kijken ernaar uit om te blijven samenwerken met de bredere onderzoeksgemeenschap terwijl het vakgebied zich verder ontwikkelt.