Främja oberoende forskning om AI-anpassning

I takt med att AI-system blir mer kapabla och mer autonoma måste forskningen om anpassning både hålla jämna steg och öka mångfalden. På OpenAI investerar vi mycket i forskning om banbrytande anpassning och säkerhet eftersom det är avgörande för vår mission. Vi tror också att det inte är möjligt för en enskild organisation att säkerställa att AGI är säker och fördelaktig för alla. Vi vill stötta oberoende forskning och konceptuella metoder som kan bedrivas utanför banbrytande laboratorier. Vi tror att framtiden för AI inte kommer att utvecklas exakt som någon förutspår, och att många fler människor borde ha en roll i att forma resultatet.

Idag tillkännager vi ett bidrag på 7,5 miljoner dollar till The Alignment Project⁠(öppnas i ett nytt fönster), en global fond för oberoende forskningsprojekt inom anpassning som skapats av UK AI Security Institute (UK AISI). Renaissance Philanthropy stödjer hanteringen av bidraget. Detta bidrag gör The Alignment Project till en av de största dedikerade finansieringsinsatserna för oberoende forskning om anpassning hittills och stärker det bredare, oberoende ekosystemet.

Banbrytande labb som OpenAI befinner sig i en unik position att bedriva forskning om anpassning som är beroende av tillgång till banbrytande modeller och betydande datorkapacitet – ett arbete som ofta är svårt för oberoende forskare att utforska. Vi ägnar mycket av vårt interna arbete åt att utveckla skalbara metoder så att framstegen i anpassning håller jämna steg med framstegen i kapacitet. Vi tror på iterativ lansering – att gradvis öka kapaciteten samtidigt som vi stärker skyddsåtgärderna. Detta gör att man kan upptäcka problem tidigt och ger oss konkreta bevis på vad som fungerar i praktiken, och att ansvarsfull utveckling kräver betydande arbete med anpassning och säkerhet som är tätt integrerat med modellskapande och distribution.

Parallellt drar området nytta av fortsatta investeringar i oberoende, utforskande forskning – vilket kan vidga idéutrymmet och avslöja nya riktningar. Oberoende forskning förblir avgörande, och i många typer av användbara undersökningar har laboratorier inte längre en komparativ fördel. Ett hälsosamt ekosystem för samordning är beroende av självständiga team som testar olika antaganden, utvecklar alternativa ramverk och utforskar konceptuella, teoretiska och visionära idéer som kanske inte självklart passar in i någon enskild organisations plan.

Och eftersom framsteg mot AGI i slutändan kan bero på grundläggande genombrott som förändrar formen på anpassningsproblemet och vilka metoder som är mest användbara, är det viktigt att stödja forskning som skulle vara betydelsefull även om dagens dominerande metoder inte visar sig skalbara på det sätt vi förväntar oss. I dessa världar är det särskilt viktigt att ha ett starkt externt ekosystem som utför grundläggande, konceptuellt och inte korrelerat arbete. Problemet med AI-anpassning och säkerhet är av stor betydelse, och vi behöver alla resurser eftersom vi ännu inte vet vilka metoder som kommer att visa sig mest hållbara när kapaciteterna fortsätter att utvecklas.

Vårt bidrag – cirka 5,6 miljoner pund enligt den nuvarande växelkursen – kommer att finansiera The Alignment Project⁠(öppnas i ett nytt fönster) tillsammans med andra offentliga, filantropiska och industriella finansiärer. Den totala fonden överstiger 27 miljoner pund och är utformad för att stödja en bred portfölj av forskningsprojekt om anpassning världen över, som spänner över så skilda ämnen som beräkningskomplexitetsteori, ekonomisk teori och spelteori, kognitiv vetenskap samt informationsteori och kryptografi. Enskilda projekt finansieras vanligtvis med 50 000 till 1 miljon pund, och kan också få valfri tillgång till datorresurser och expertstöd.

Vår finansiering skapar inte ett nytt program eller en ny urvalsprocess, och påverkar inte heller den befintliga processen, utan ökar antalet redan granskade, högkvalitativa projekt⁠(öppnas i ett nytt fönster) som kan finansieras i den aktuella omgången.

UK AISI är väl positionerat för att erbjuda finansiering för anpassning i denna skala och omfattning. Det erbjuder en etablerad sektorsövergripande koalition som omfattar myndigheter, den akademiska världen, filantropi och industri, tillsammans med en bidragsgivningsprocess som redan är igång och en stor mängd förslag som har granskats av experter. Som en brittisk statlig forskningsorganisation inom Department for Science, Innovation and Technology (DSIT) har den också ett uppdrag med fokus på allvarliga AI-risker och erfarenhet av att driva forskningsfinansieringsprogram.

Eftersom AI:s framtid inte kommer att utvecklas exakt som någon förutspår – och kan avancera mycket snabbt – anser vi att demokratisering, ”AI-motståndskraft” och iterativ implementering är avgörande. Medan vi fortsätter att utveckla vår banbrytande forskning om anpassning och säkerhet på OpenAI, kommer framstegen att gynnas av ett robust, mångsidigt och oberoende ekosystem som främjar kompletterande metoder i takt med att kapaciteterna utvecklas. Detta bidrag är ett steg mot det målet. Vi ser fram emot att fortsätta samarbeta med den bredare forskarvärlden i takt med att området utvecklas.