Opdaterede modelspecifikationer for mere kompetent og gavnlig AI
Efterhånden som vores modeller bliver klogere og udfører handlinger med større konsekvenser i verden, bliver det stadig vigtigere, at de gør mere end blot at fortolke de konkrete instruktioner, de modtager. Modeller skal også forstå menneskers intentioner og værdier, så de kan udvise god dømmekraft i situationer, som deres instruktioner ikke udtrykkeligt dækker, og samtidig være tro mod menneskers intentioner og underlagt menneskeligt tilsyn.
I dag opdaterer vi modelspecifikationerne(åbner i et nyt vindue), vores offentlige beskrivelse af, hvordan vi ønsker, at vores modeller skal opføre sig. Med opdateringen organiseres retningslinjerne omkring fem grundlæggende værdier: loyalitet over for menneskers intentioner, minimering af skade, ærlighed og gennemsigtighed, menneskers handlefrihed og omsorg. Det afspejler et mål med vores arbejde med tilpasning til menneskelige værdier: at modeller skal forstå og anvende menneskelige værdier i uvante situationer og samtidig være tro mod menneskers intentioner. Ud over tydeligere forklaringer af eksisterende principper tilføjer revisionen retningslinjer om kontekst, tilsyn og handlefrihed, justerer nogle standarder for adfærd og fjerner en stor del af de detaljerede retningslinjer for stil.
De fem værdier ovenfor udtrykker overordnede forpligtelser, som allerede præger modelspecifikationerne: at tjene menneskers formål, være sandfærdig, minimere skade, respektere menneskers frihed til at danne deres egne holdninger og tage deres omstændigheder alvorligt. Ved at samle disse forpligtelser bliver det tydeligere, hvorfor specifikationerne foreskriver netop denne adfærd for modellerne. Det hjælper os også med at udvikle klarere retningslinjer på områder, hvor forpligtelserne ikke var fuldt udfoldet. Denne opdatering er endnu et skridt i vores arbejde med at forbedre specifikationerne gennem forskning, erfaring med at tage modeller i brug, feedback fra offentligheden om specifikationerne og modellernes adfærd samt samtaler med brugere og eksterne eksperter.
Vi ønsker, at AI skal gavne en verden af mennesker med forskellige behov, værdier og håb for fremtiden.
Loyalitet over for menneskers intentioner er grundlaget for denne tilgang: at forstå, hvad der betyder noget for mennesker, og hjælpe dem med at arbejde hen imod det. OpenAI skriver specifikationerne, fastlægger grænser og træner modeller til at respektere dem. Udviklere styrer applikationer inden for disse grænser, og brugere styrer modellens arbejde under de samme begrænsninger. Vores modeller skal styrke menneskers evne til at forme deres eget liv ved at hjælpe dem med at forstå verden, opdage muligheder og forfølge de mål, de selv vælger, og samtidig tage det alvorligt, hvordan hjælpen påvirker andre. Loyalitet over for menneskers intentioner og de øvrige fire værdier danner strukturen i specifikationerne og vejleder vores modeller i nogle af de vigtigste afvejninger, de står over for. De er ikke tænkt som en udtømmende beskrivelse af alle de menneskelige værdier, vores modeller skal respektere og hjælpe mennesker med at leve efter.
Loyalitet handler om mere end at følge instruktioner bogstaveligt. Det kræver en dyb forståelse af, hvad OpenAI, udviklere og brugere ønsker og værdsætter, og at handle klogt, når denne forståelse er ufuldstændig. Det indebærer også at anerkende, at menneskers overbevisninger og værdier kan ændre sig, og at hjælpe dem med at reflektere og udvikle sig på måder, de selv ville tilslutte sig, uden at påvirke dem i det skjulte eller tilsidesætte deres valg. Når modellen for eksempel hjælper nogen med at sammenligne jobtilbud, kan den tage udgangspunkt i prioriteter, som personen tidligere har nævnt – såsom forudsigelige arbejdstider – og samtidig gøre disse antagelser synlige og nemme at rette.
Vores mission er at sikre, at kunstig generel intelligens kommer hele menneskeheden til gode. Det kræver, at vi ikke kun tager hensyn til en persons umiddelbare intentioner, men også til vedkommendes langsigtede interesser og konsekvenserne for andre. De øvrige fire værdier gør disse hensyn eksplicitte:
Minimering af skade betyder at respektere faste sikkerhedsgrænser og tage højde for de forudsigelige konsekvenser af modellens handlinger.
Ærlighed og gennemsigtighed betyder at være sandfærdig om, hvad modellen ved, gør og er usikker på, så mennesker kan forstå og vurdere dens ræsonnering og arbejde.
Fremme af menneskers handlefrihed betyder at styrke deres evne til selv at forstå, vælge og handle.
Omsorg betyder at tage hensyn til de berørtes omstændigheder, følge relevante sociale og faglige normer og levere arbejde, som mennesker kan stole på.
Specifikationerne omsætter disse værdier til praktiske retningslinjer med faste grænser, hvor det er nødvendigt for at beskytte mennesker og samfundet. Ellers består de for det meste af standarder, som brugere og udviklere kan tilsidesætte.
Sideløbende med denne opdatering af modelspecifikationerne har vi undersøgt nye træningsmetoder, der skal hjælpe vores modeller med at lære disse kerneværdier og bedre forstå og følge specifikationernes konkrete principper for adfærd. Målet er at opbygge en forståelse af, hvorfor disse principper er vigtige, og hvordan de kan anvendes i nye situationer: at gøre de rigtige ting af de rigtige grunde. Vi ønsker, at denne forståelse skal understøtte sund dømmekraft i beslutninger med store konsekvenser og omtanke i hverdagens beslutninger, der tilsammen kan skabe varige gevinster for mennesker og samfund(åbner i et nyt vindue). Vi vil dele resultater og erfaringer fra dette træningsarbejde i kommende opdateringer.
Den nye struktur hjalp os også med at se, hvor der var behov for yderligere retningslinjer, udvikle nye principper til at dække behovet og revidere eller fjerne eksisterende retningslinjer efter behov.
Det nye afsnit om loyalitet over for menneskers intentioner tager udgangspunkt i, at det, mennesker værdsætter, kommer først, og at instruktioner som regel er de tydeligste og vigtigste udtryk for disse værdier. Denne tilgang er inspireret af en spilteoretisk forståelse af tilpasning til menneskelige værdier gennem såkaldte assistancespil (se tidlig forskning(åbner i et nyt vindue) og en senere oversigt(åbner i et nyt vindue)). Afsnittet indeholder et opdateret instruktionshierarki(åbner i et nyt vindue), som forklarer, hvilke instruktioner der gælder, og hvordan konflikter løses. Et nyt underafsnit, vurder konteksten omhyggeligt(åbner i et nyt vindue), forklarer, hvordan samtaler, minder og andre oplysninger fra konteksten skal bidrage til modellens forståelse af menneskers intentioner og præferencer.
Vi har også tilføjet standarder for at understøtte menneskers handlefrihed(åbner i et nyt vindue) og følge relevante sociale normer(åbner i et nyt vindue) samt udvidet de eksisterende retningslinjer for at håndtere og oplyse om sideeffekter(åbner i et nyt vindue). Disse principper beskriver yderligere, ofte subtile, men vigtige måder, hvorpå de øvrige værdier skal komme til udtryk i modellernes adfærd: at tage hensyn til arbejdets konsekvenser for andre, styrke brugernes evner og levere arbejde, som mennesker kan stole på, samtidig med at brugerens mål og instruktioner respekteres.
Samtidig fjerner vi de fleste af specifikationernes detaljerede retningslinjer for stil. Stilen skal tilpasses menneskers præferencer – både generelt, inden for forskellige sprog og kulturer og hos den enkelte. Brugerfeedback og kontekst skal give indsigt i disse præferencer. Specifikationerne fastholder standarder, der vejer tungere, såsom at gå objektivt til spørgsmål(åbner i et nyt vindue). Brugere og udviklere kan udtrykkeligt bede modellen om at anlægge et bestemt perspektiv, men modellen bør ikke antage, at de ønsker det, alene ud fra hvad den tror, de gerne vil høre.
Endelig omtaler vi nu modellen som “GPT” i stedet for “assistenten” i specifikationerne. Det afspejler, at vores modeller bruges til stadig flere formål og i stadig flere sammenhænge.
Denne opdatering er et første skridt mod at tydeliggøre værdierne og overvejelserne bag specifikationerne, i takt med at modellerne bliver mere kompetente. Modelspecifikationerne beskriver den adfærd, vi arbejder hen imod. Vores modeller afspejler den endnu ikke fuldt ud. Vi vil fortsat forbedre både specifikationerne og modellerne, efterhånden som vi lærer af forskning, praktisk brug og feedback.
Vi vil gerne høre, hvilke dele af specifikationerne du finder overbevisende, hvor du er uenig i de afvejninger, de foretager, og hvad de overser eller ikke gør klart. Feedback om værdierne, afvejningerne og de konkrete formuleringer kan hjælpe os med at forbedre specifikationerne. Vi inviterer dig til at læse de opdaterede modelspecifikationer(åbner i et nyt vindue) og dele dit perspektiv(åbner i et nyt vindue).
