Oppdaterte modellspesifikasjoner for mer kapabel og nyttig AI
Etter hvert som modellene våre blir smartere og handlingene deres får større konsekvenser i verden, blir det stadig viktigere at de gjør mer enn bare å tolke de konkrete instruksjonene de får. Modellene må også forstå menneskers intensjoner og verdier, slik at de kan vise god dømmekraft i situasjoner instruksjonene ikke uttrykkelig dekker, samtidig som de forblir tro mot menneskers intensjoner og underlagt menneskelig tilsyn.
I dag oppdaterer vi modellspesifikasjonene(åpnes i et nytt vindu), vår offentlige beskrivelse av hvordan vi ønsker at modellene våre skal oppføre seg. Oppdateringen omorganiserer retningslinjene rundt fem grunnleggende verdier: trofasthet mot menneskers intensjoner, minimering av skade, ærlighet og åpenhet, menneskelig selvbestemmelse og omsorg. Dette gjenspeiler et mål med arbeidet vårt med verditilpasning: at modellene skal forstå og anvende menneskelige verdier i ukjente situasjoner, samtidig som de forblir tro mot menneskers intensjoner. I tillegg til tydeligere forklaringer av eksisterende prinsipper gir revisjonen nye retningslinjer om kontekst, tilsyn og selvbestemmelse, justerer noen standarder for atferd og fjerner mye av den detaljerte stilveiledningen.
De fem verdiene ovenfor uttrykker overordnede forpliktelser som allerede gjenspeiles gjennom hele modellspesifikasjonene: å tjene menneskelige formål, være sannferdig, minimere skade, respektere folks frihet til å danne seg egne synspunkter og ta livssituasjonen deres på alvor. Ved å samle disse forpliktelsene blir det lettere å forklare hvorfor spesifikasjonene stiller de atferdskravene de gjør, og å utvikle tydeligere retningslinjer der forpliktelsene har vært mindre klart uttrykt. Denne oppdateringen er nok et steg i arbeidet med å videreutvikle spesifikasjonene gjennom forskning, erfaringer med å ta modeller i bruk, tilbakemeldinger fra offentligheten om spesifikasjonene og modellenes atferd, og samtaler med brukere og eksterne eksperter.
Vi ønsker at AI skal komme en verden av mennesker med ulike behov, verdier og håp for fremtiden til gode.
Trofasthet mot menneskers intensjoner er grunnlaget for denne tilnærmingen: å forstå hva som betyr noe for folk, og hjelpe dem med å oppnå det. OpenAI skriver spesifikasjonene, setter grenser og trener modellene til å respektere dem. Utviklere styrer applikasjonene innenfor disse grensene, og brukerne styrer modellens arbeid innenfor de samme rammene. Modellene våre skal gi folk større mulighet til å forme sine egne liv ved å hjelpe dem med å forstå verden, oppdage muligheter og arbeide mot målene de selv velger, samtidig som de tar på alvor hvordan denne hjelpen påvirker andre. Trofasthet mot menneskers intensjoner og de fire andre verdiene danner strukturen i spesifikasjonene og veileder modellene våre i noen av de viktigste avveiningene de står overfor. De er ikke ment å dekke hele spekteret av menneskelige verdier som modellene våre skal respektere og hjelpe folk med å leve etter.
Trofasthet innebærer mer enn å følge instruksjoner bokstavelig. Det handler om å forstå i dybden hva OpenAI, utviklere og brukere ønsker og verdsetter, og å handle klokt når denne forståelsen er ufullstendig. Det innebærer også å erkjenne at folks overbevisninger og verdier kan endre seg, og å hjelpe dem med å reflektere og utvikle seg på måter de selv ville støttet, uten å styre dem i det skjulte eller overstyre valgene deres. Når modellen for eksempel hjelper noen med å sammenligne jobbtilbud, kan den ta utgangspunkt i prioriteringer de har delt tidligere – som forutsigbar arbeidstid – og samtidig gjøre disse antakelsene synlige og enkle å korrigere.
Vårt oppdrag er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. Det krever at vi ikke bare tar hensyn til hva noen ønsker her og nå, men også til deres langsiktige interesser og konsekvensene for andre. De fire andre verdiene tydeliggjør disse hensynene:
Å minimere skade innebærer å respektere faste sikkerhetsgrenser og ta hensyn til forutsigbare konsekvenser av modellens handlinger.
Ærlighet og åpenhet innebærer å være sannferdig om hva modellen vet, gjør og er usikker på, slik at folk kan forstå og vurdere modellens resonnering og arbeid.
Å legge til rette for menneskelig selvbestemmelse innebærer å styrke folks evne til å forstå, velge og handle på egen hånd.
Omsorg innebærer å ta hensyn til situasjonen til dem som berøres, følge relevante sosiale og faglige normer og levere arbeid folk kan stole på.
Spesifikasjonene omsetter disse verdiene til praktiske retningslinjer, med faste grenser der det er nødvendig for å beskytte mennesker og samfunn. Ellers består de hovedsakelig av standarder som brukere og utviklere kan overstyre.
Parallelt med denne oppdateringen av modellspesifikasjonene har vi utforsket nye treningsmetoder for å hjelpe modellene våre med å lære disse kjerneverdiene og bedre forstå og følge spesifikasjonenes konkrete atferdsprinsipper. Målet er å bygge en forståelse av hvorfor disse prinsippene er viktige, og hvordan de skal brukes i nye situasjoner: å gjøre de riktige tingene av de riktige grunnene. Vi ønsker at denne forståelsen skal bidra til god dømmekraft i beslutninger med store konsekvenser og omtanke i hverdagslige beslutninger som til sammen kan gi varige gevinster for mennesker og samfunn(åpnes i et nytt vindu). Vi vil dele resultater og lærdommer fra dette treningsarbeidet i fremtidige oppdateringer.
Omorganiseringen hjalp oss også med å se hvor det var behov for mer veiledning, utvikle nye prinsipper for å dekke behovet og revidere eller fjerne eksisterende retningslinjer der det var nødvendig.
Det nye avsnittet om trofasthet mot menneskers intensjoner tar utgangspunkt i at det folk verdsetter, kommer først, og at instruksjoner vanligvis er de tydeligste og viktigste signalene om disse verdiene. Denne tilnærmingen bygger på et rammeverk som bruker assistansespill til å forstå verditilpasning (se tidlig forskning(åpnes i et nytt vindu) og en senere oversikt(åpnes i et nytt vindu)). Avsnittet inneholder et oppdatert instruksjonshierarki(åpnes i et nytt vindu) som forklarer hvilke instruksjoner som gjelder, og hvordan konflikter løses. Et nytt underavsnitt, vurder konteksten nøye(åpnes i et nytt vindu), forklarer hvordan samtaler, minner og andre opplysninger fra konteksten skal bidra til modellens forståelse av folks intensjoner og preferanser.
Vi har også lagt til standarder for å støtte menneskelig selvbestemmelse(åpnes i et nytt vindu) og følge relevante sosiale normer(åpnes i et nytt vindu), og utvidet eksisterende retningslinjer for å kontrollere og informere om utilsiktede virkninger(åpnes i et nytt vindu). Disse prinsippene beskriver flere måter de øvrige verdiene bør komme til uttrykk i modellenes atferd på – ofte lite synlige, men viktige: å ta hensyn til hvordan arbeidet påvirker andre, styrke brukernes evner og levere arbeid folk kan stole på, samtidig som brukerens mål og instruksjoner respekteres.
Samtidig fjerner vi det meste av den detaljerte stilveiledningen i spesifikasjonene. Stilen bør tilpasses folks preferanser – både generelt, innenfor språk og kulturer og for den enkelte. Tilbakemeldinger fra brukerne og konteksten gir holdepunkter for hva disse preferansene er. Spesifikasjonene beholder mer forpliktende standarder, som å tilnærme seg spørsmål objektivt(åpnes i et nytt vindu). Brukere og utviklere kan uttrykkelig be modellen om å innta et bestemt perspektiv, men modellen skal ikke anta at de ønsker dette bare ut fra hva den tror de vil høre.
Til slutt omtaler vi nå modellen som «GPT» i stedet for «assistenten» i spesifikasjonene. Dette gjenspeiler at modellene våre brukes til stadig flere formål og i stadig flere sammenhenger.
Denne oppdateringen er et første steg mot å gjøre verdiene og begrunnelsene bak spesifikasjonene tydeligere etter hvert som modellene blir mer kapable. Modellspesifikasjonene beskriver atferden vi jobber mot. Modellene våre gjenspeiler den ennå ikke fullt ut. Vi vil fortsette å forbedre både spesifikasjonene og modellene etter hvert som vi lærer av forskning, praktisk bruk og tilbakemeldinger.
Vi vil gjerne høre hvilke deler av spesifikasjonene du finner overbevisende, hvilke avveininger du er uenig i, og hva de overser eller lar stå uklart. Tilbakemeldinger om verdiene, avveiningene og konkrete formuleringer kan hjelpe oss med å forbedre dem. Vi inviterer deg til å lese de oppdaterte modellspesifikasjonene(åpnes i et nytt vindu) og dele ditt syn(åpnes i et nytt vindu).
