Uppdaterade modellspecifikationer för mer kapabel och nyttig AI
När våra modeller blir smartare och deras handlingar får större konsekvenser i världen blir det allt viktigare att de gör mer än att bara tolka de specifika instruktioner de får. Modeller behöver också förstå mänskliga avsikter och värderingar, så att de kan visa gott omdöme i situationer som instruktionerna inte uttryckligen tar upp, samtidigt som de förblir trogna människors avsikter och står under mänsklig tillsyn.
I dag uppdaterar vi våra modellspecifikationer(öppnas i ett nytt fönster), vår offentliga beskrivning av hur vi vill att våra modeller ska bete sig. I uppdateringen struktureras riktlinjerna om kring fem grundläggande värden: trohet mot mänskliga avsikter, minimering av skada, ärlighet och transparens, mänsklig handlingsförmåga och omsorg. Detta återspeglar ett mål i vårt arbete med att anpassa AI till mänskliga värderingar: att modeller ska förstå och tillämpa mänskliga värderingar i obekanta situationer och samtidigt förbli trogna människors avsikter. Utöver tydligare förklaringar av befintliga principer innehåller revideringen nya riktlinjer om sammanhang, tillsyn och handlingsförmåga. Vissa grundregler för beteende justeras också, och en stor del av de detaljerade stilriktlinjerna tas bort.
De fem värdena ovan uttrycker övergripande åtaganden som redan genomsyrar modellspecifikationerna: att tjäna mänskliga syften, vara sanningsenlig, minimera skada, respektera människors frihet att bilda sig egna uppfattningar och ta deras omständigheter på allvar. Genom att samla dessa åtaganden blir det lättare att förklara varför specifikationerna föreskriver vissa beteenden. Det hjälper oss också att ta fram tydligare riktlinjer där åtagandena tidigare inte kommit till fullt uttryck. Den här uppdateringen är ännu ett steg i vårt arbete med att förfina specifikationerna genom forskning, erfarenheter från att sätta modeller i drift, synpunkter från allmänheten på specifikationerna och modellernas beteende samt samtal med användare och externa experter.
Vi vill att AI ska gynna en värld av människor med olika behov, värderingar och förhoppningar inför framtiden.
Trohet mot mänskliga avsikter är grunden för detta förhållningssätt: att förstå och hjälpa människor att sträva efter det som är viktigt för dem. OpenAI skriver specifikationerna, sätter gränser och tränar modeller att respektera dem. Utvecklare styr applikationer inom dessa gränser, och användare styr modellens arbete inom samma ramar. Våra modeller ska stärka människors förmåga att forma sina egna liv genom att hjälpa dem att förstå världen, upptäcka möjligheter och sträva efter de mål de själva väljer, samtidigt som de tar hänsyn till hur hjälpen påverkar andra. Trohet mot mänskliga avsikter och de övriga fyra värdena ligger till grund för specifikationernas struktur och vägleder våra modeller i några av de viktigaste avvägningar de ställs inför. De är inte avsedda att täcka hela bredden av mänskliga värderingar som våra modeller bör respektera och hjälpa människor att leva efter.
Trohet innebär att gå längre än att följa instruktioner bokstavligt: att på djupet förstå vad OpenAI, utvecklare och användare avser och värdesätter, och att handla klokt när förståelsen är ofullständig. Det innebär också att inse att människors övertygelser och värderingar kan förändras, och att hjälpa dem att reflektera och utvecklas på sätt som de själva skulle ställa sig bakom, utan att i det fördolda styra dem eller åsidosätta deras val. När modellen till exempel hjälper någon att jämföra jobberbjudanden kan den utgå från prioriteringar som personen tidigare har nämnt, som förutsägbara arbetstider, men samtidigt tydliggöra dessa antaganden och göra dem lätta att korrigera.
Vårt uppdrag är att se till att artificiell generell intelligens gynnar hela mänskligheten. Det kräver hänsyn inte bara till en persons omedelbara avsikter, utan också till personens långsiktiga intressen och hur andra påverkas. De övriga fyra värdena gör dessa hänsynstaganden tydliga:
Att minimera skada innebär att respektera fasta säkerhetsgränser och ta hänsyn till de förutsebara konsekvenserna av modellens handlingar.
Ärlighet och transparens innebär att vara sanningsenlig om vad modellen vet, gör och är osäker på, så att människor kan förstå och bedöma dess resonemang och arbete.
Att främja mänsklig handlingsförmåga innebär att stärka människors förmåga att förstå, välja och agera självständigt.
Omsorg innebär att ta hänsyn till de berördas omständigheter, följa relevanta sociala och yrkesmässiga normer och utföra arbete som människor kan lita på.
Specifikationerna omsätter dessa värden i praktiska riktlinjer, med fasta gränser där det behövs för att skydda människor och samhälle. I övrigt består de främst av grundregler som användare och utvecklare kan frångå.
Parallellt med uppdateringen av modellspecifikationerna har vi utforskat nya träningsmetoder för att hjälpa våra modeller att lära sig dessa grundläggande värden och bättre förstå och följa specifikationernas konkreta beteendeprinciper. Målet är att bygga upp en förståelse för varför dessa principer är viktiga och hur de kan tillämpas i nya situationer: att göra rätt saker av rätt skäl. Vi vill att denna förståelse ska bidra till gott omdöme i beslut med stora konsekvenser och omsorg i vardagliga beslut som tillsammans kan ge varaktig nytta för människor och samhälle(öppnas i ett nytt fönster). Vi kommer att dela resultat och lärdomar från detta träningsarbete i kommande uppdateringar.
Omstruktureringen hjälpte oss också att identifiera var det behövdes ytterligare vägledning, ta fram nya principer för att möta dessa behov och revidera eller ta bort befintliga riktlinjer där det var lämpligt.
Det nya avsnittet om trohet mot mänskliga avsikter utgår från att det människor värdesätter är det centrala, och att instruktioner vanligtvis är de tydligaste och viktigaste signalerna om dessa värderingar. Detta förhållningssätt hämtar inspiration från spelteoretiska assistansspel som ramverk för att anpassa AI till mänskliga värderingar (se tidig forskning(öppnas i ett nytt fönster) och en senare översikt(öppnas i ett nytt fönster)). Avsnittet innehåller en uppdaterad instruktionshierarki(öppnas i ett nytt fönster), som förklarar vilka instruktioner som gäller och hur konflikter löses. Ett nytt underavsnitt, väg in sammanhanget noggrant(öppnas i ett nytt fönster), förklarar hur samtal, minnen och annan information från sammanhanget bör ligga till grund för modellens förståelse av människors avsikter och preferenser.
Vi har också lagt till grundregler om att stödja mänsklig handlingsförmåga(öppnas i ett nytt fönster) och följa relevanta sociala normer(öppnas i ett nytt fönster), och utökat de befintliga riktlinjerna om att ha kontroll över och informera om sidoeffekter(öppnas i ett nytt fönster). Dessa principer beskriver fler, ofta subtila men viktiga sätt som de övriga värdena bör komma till uttryck i modellernas beteende: att ta hänsyn till hur arbetet påverkar andra, stärka användarnas förmågor och utföra arbete som människor kan lita på, samtidigt som användarens mål och instruktioner respekteras.
Samtidigt tar vi bort merparten av specifikationernas detaljerade stilriktlinjer. Stilen bör anpassas efter vad människor föredrar – generellt, inom olika språk och kulturer och för varje individ. Användarnas återkoppling och sammanhanget ger underlag för att förstå dessa preferenser. Specifikationerna behåller mer bindande grundregler, som att förhålla sig objektivt till frågor(öppnas i ett nytt fönster). Användare och utvecklare kan uttryckligen be modellen att inta ett visst perspektiv, men modellen ska inte dra slutsatsen att de föredrar det enbart utifrån vad den tror att de vill höra.
Slutligen kallar vi nu modellen ”GPT” i stället för ”assistenten” i specifikationerna, för att återspegla att våra modeller används för allt fler ändamål och i allt fler miljöer.
Den här uppdateringen är ett första steg mot att tydliggöra värderingarna och resonemangen bakom specifikationerna i takt med att modellerna blir mer kapabla. Modellspecifikationerna beskriver det beteende vi strävar efter. Våra modeller lever ännu inte helt upp till dem. Vi kommer att fortsätta förbättra både specifikationerna och modellerna utifrån det vi lär oss av forskning, praktisk användning och återkoppling.
Vi vill höra vilka delar av specifikationerna du tycker är övertygande, vilka avvägningar du inte håller med om och vad som saknas eller är oklart. Synpunkter på värdena, avvägningarna och de konkreta formuleringarna kan hjälpa oss att förbättra specifikationerna. Vi bjuder in dig att läsa de uppdaterade modellspecifikationerna(öppnas i ett nytt fönster) och dela dina synpunkter(öppnas i ett nytt fönster).
