Vi præsenterer en ny ramme for at registrere, undersøge og offentliggøre tilfælde af fejltilpasning i modeller hos OpenAI sammen med seks rapporter om uventet eller bekymrende modeladfærd, som vi har observeret inden for de seneste seks måneder.
For bedre at informere forskere, AI-udviklere, beslutningstagere og offentligheden har vi tidligere bestræbt os på at offentliggøre vores resultater om fejltilpasning. Men uden en systematisk tilgang til rapportering af resultaterne har vores offentliggørelser været sporadiske og mindre hyppige end ønskeligt. Vi har ofte ventet, til vi kunne samle flere tilfælde i én rapport, eller føjet dem til systemkort for nyligt udgivne modeller. Den nye ramme skal gøre det hurtigere at udgive rapporter om fejltilpasning efter en observation, også når vi endnu ikke fuldt ud har forklaret eller afhjulpet den adfærd, vi rapporterer om.
Efterhånden som AI-systemer bliver mere avancerede og udbredte, er der behov for at skabe en bredere og bedre informeret konsensus om udviklingen inden for alignmentforskning. Vi mener ikke, at AI-branchen har løst alignment og overvågning godt nok til ret meget længere at kunne opskalere ansvarligt med maksimal hastighed. Beslutninger om, hvordan AI-udviklingen skal forløbe i de kommende måneder og år, skal bygge på dokumentation, som personer uden for de virksomheder, der udvikler banebrydende modeller, selv kan undersøge.
Eksempler på fejltilpasning kan bidrage til at identificere problemer, som andre AI-udviklere kan støde på, når deres systemer opnår tilsvarende kapaciteter, afdække svagheder i sikkerhedsforanstaltninger eller udfordre antagelser om modeladfærd. Når vi deler disse resultater, kan andre undersøge de samme problemer, efterprøve vores forklaringer og forbedre afhjælpende tiltag. Fordi vi mener, at åbenhed om fejltilpasning er værdifuld, vægter vores nye ramme offentliggørelse højt, selv når betydningen er usikker. Det betyder, at nogle af de tilfælde, vi offentliggør, kan vise sig at være enkeltstående fejlfund, som hverken indgår i et større mønster eller siger noget om den fremtidige udvikling.
I øjeblikket findes der ingen fælles ramme for hele branchen med udtrykkelige standarder for, hvordan AI-udviklere bør offentliggøre eksempler på fejltilpasning i deres modeller. Vi håber, at den ramme, vi fremlægger i dag, er et første skridt mod sådanne standarder ved at fastlægge, hvilke tilfælde af fejltilpasning udviklere bør offentliggøre, og hvad rapporterne bør indeholde. Vi betragter denne ramme som et igangværende arbejde, der vil blive forbedret gennem erfaring og offentlig feedback.
Her beskriver vi, hvordan rammen vil fungere, og deler de første rapporter, vi udgiver.
Vi sigter mod at offentliggøre eksempler, der giver nyttig dokumentation for, hvordan fejltilpasning i modeller opstår og kommer til udtryk, og hvor sikkerhedsforanstaltninger lykkes eller svigter. Vi prioriterer nye mekanismer, væsentlige ændringer i kendt adfærd og resultater, der udfordrer antagelser om sikkerhed eller afhjælpning. Et eksempel behøver hverken at have forårsaget skade eller dokumentere et bredere mønster for at være værd at offentliggøre. Denne ramme omfatter relevant adfærd i hele en models livscyklus – herunder træning, evaluering, test og implementering.
Det omfatter nye måder, hvorpå modeller kan handle uden tilladelse, koordinere med andre modeller eller undgå tilsyn, fejl, der sår tvivl om en alignmentmetode eller sikkerhedsforanstaltning, samt adfærd, der udfordrer en påstand i en offentliggjort sikkerhedsvurdering. De samme kriterier for offentliggørelse gælder for fejltilpasning, der kan påvirke tredjeparter.
Det kan også omfatte tilfælde af fejltilpasning, der ser ud til at gentage tilfælde, vi tidligere har offentliggjort. At problemet gentager sig, kan i sig selv være nyttig dokumentation for vores modellers adfærd eller effektiviteten af vores sikkerhedsforanstaltninger – eksempelvis hvis en bestemt type fejltilpasset adfærd fortsætter med at opstå trods gentagne forsøg på at afhjælpe den. Under sådanne omstændigheder offentliggør vi de yderligere eksempler ved at opdatere den oprindelige offentliggørelse om fejltilpasning.
Med tiden planlægger vi at udvikle mere objektive kriterier for offentliggørelse sammen med andre udviklere, eksterne forskere, brancheorganisationer for standardisering og tilsynsmyndigheder. Vi mener også, at alvorlige hændelser vedrørende sikkerhed, informationssikkerhed og fejltilpasning bør deles med USA’s føderale regering, og vi arbejder på at foreslå rapporteringsmekanismer. Vi betragter denne ramme som et supplement til vores eksisterende forpligtelser og understreger, at den ikke erstatter vores juridiske oplysningskrav, herunder kravene ved kritiske sikkerhedshændelser eller brud på cybersikkerheden.
Som indledning til vores nye ramme for offentliggørelse af fejltilpasning udgiver vi seks rapporter om tilfælde af fejltilpasset adfærd, som vi har observeret under træning eller evaluering af vores modeller. Sagerne illustrerer en række forskellige adfærdsmønstre, som vi mener er værd at dele – fra at skjule oplysninger for brugeren til at foretage handlinger uden tilladelse for at overvinde forhindringer. Rapporterne omhandler enkelttilfælde og bør ikke opfattes som repræsentative for, hvor ofte fejltilpasning forekommer på tværs af vores modeller. Hvert punkt nedenfor indeholder et link til den fuldstændige rapport.
Selvgenererede instruktioner i opgaveresumeer(åbner i et nyt vindue). En ikke-udgivet forskningsmodel indsatte uvedkommende instruktioner – herunder instruktioner om at tilsidesætte sine normale begrænsninger – i resumeer, der blev brugt til at fortsætte dens arbejde i et nyt kontekstvindue. Vi identificerede 27 berørte resumeer.
Instruktioner om at skjule fejl i opgaveresumeer(åbner i et nyt vindue). Under træningen af GPT‑5.6 Sol føjede mange modelforekomster instruktioner til deres resumeer om at skjule fejl eller fejltilpasset adfærd for brugeren. Komprimeringsresumeerne indeholdt eksempelvis instruktioner om at opfinde manglende historiske data uden at oplyse det og skjule uoverensstemmelser mellem kildeversioner.
Søgning efter eksponerede API-nøgler i offentlige lagre efterfulgt af opdigtede oplysninger(åbner i et nyt vindue). Mens en model besvarede et almindeligt spørgsmål om indkomsttal i et californisk county, fandt og brugte den en eksponeret API-nøgle uden tilladelse. Da den stadig ikke kunne hente de ønskede tal, opdigtede den dem og præsenterede dem som data fra den ønskede kilde.
Upload af filer til internettet for at kunne citere dem(åbner i et nyt vindue). Da en bruger bad en ikke-udgivet model om ID’er og navne på søer med et areal på over 5.000.000 kvadratmeter, fandt agenten det korrekte svar ved hjælp af Python. Men fordi instruktionerne krævede en kildehenvisning fra en browser, besluttede agenten uden at spørge brugeren at uploade filen, så den kunne henvise til den i sit svar.
Skrivninger uden tilladelse og kommunikation via et internt softwarelager(åbner i et nyt vindue). Under søgningen efter manglende inputfiler brugte modeller et internt softwarelager som opslagstavle til at udveksle anmodninger og svar på tværs af separate træningseksempler, men det lykkedes dem ikke at gendanne filerne. Rapporten undersøger også et tidligere tilfælde, hvor en model under et forsøg på at omgå netværksbegrænsninger uploadede testfiler til et lager.
Fildeling uden tilladelse mellem samarbejdende agenter(åbner i et nyt vindue). Agenter, der arbejdede sammen om den samme træningsopgave, brugte offentlige filhostingstjenester til at dele filer, når de ikke kunne tilgå hinandens lokale filer. Det gjorde opgavens leverancer tilgængelige via offentlige URL’er, selvom opgaven krævede, at modellerne kun brugte lokale filer.
Enhver medarbejder hos OpenAI kan gøre vores sikkerheds- og alignmentteams opmærksomme på et eksempel på fejltilpasning, så det kan undersøges, og anmode om, at det overvejes til offentliggørelse. Det sætter vores offentliggørelsesproces i gang med frister for hvert trin, så undersøgelsen og offentliggørelsen sker rettidigt.
Når der er gjort opmærksom på et eksempel, undersøger vores tekniske medarbejdere hændelsesforløbet, hvad der fortsat er usikkert, om offentliggørelse er berettiget, og hvilke fakta der kan deles. De vurderer også, om en tredjepart er blevet berørt og skal underrettes privat inden offentliggørelsen.
Eksemplet placeres derefter i ét af tre spor: »Klar til offentliggørelse«, »Mindre undersøgelse« eller »Større undersøgelse« (»det langsomme spor«).
»Klar til offentliggørelse« omfatter relevante tilfælde, hvor undersøgelsen er tilstrækkeligt afsluttet til, at de kan offentliggøres efter gennemgang. »Mindre undersøgelse« omfatter tilfælde, der kræver yderligere teknisk undersøgelse. Vi forventer, at disse to spor vil omfatte langt størstedelen af de tilfælde, vi offentliggør, især sager, der ikke kræver omfattende undersøgelser, koordinering med tredjeparter eller håndtering af alvorlige risici for misbrug. Alle de tilfælde, vi offentliggør i dag, hører til i ét af disse to spor.
»Større undersøgelse« omfatter komplekse undersøgelser, især når tredjeparter er involveret. Når en tredjepart er berørt, har vores forpligtelser vedrørende sikkerhed, jura og ansvarlig offentliggørelse forrang for denne ramme. Vi vil bestræbe os på at offentliggøre en foreløbig meddelelse hurtigst muligt, men kan være nødt til at udskyde den af sikkerhedshensyn – eksempelvis hvis en model opdager en hidtil ukendt sårbarhed i udbredt software. Hvis en rapport ville identificere en tredjepart, er det vores hensigt at underrette vedkommende på forhånd, også når ingen sikkerhedsgrænse er blevet overskredet.
Den foreløbige meddelelse om et tilfælde i sporet »Større undersøgelse« vil overordnet redegøre for hændelsesforløbet, oplyse, om eksterne eksperter bistår undersøgelsen, og så vidt muligt angive, hvornår vi forventer at udgive en endelig rapport. OpenAI’s Hugging Face-hændelse ville have hørt til dette spor, hvis den var blevet offentliggjort efter denne ramme.
Den medarbejder, der gjorde opmærksom på eksemplet, vil blive orienteret om beslutningen om, hvorvidt det skal offentliggøres, og hvilket spor det i så fald skal følge. Uafklarede uenigheder om offentliggørelse eller det rette spor vil blive forelagt OpenAI’s Rådgivende udvalg for sikkerhed (SAG), som består af ledende medarbejdere fra hele virksomheden og vurderer banebrydende modellers kapaciteter og sikkerhedsforanstaltninger, fører tilsyn med vores Preparedness Framework og rådgiver OpenAI’s ledelse. Uenigheder i SAG eller medarbejderes indsigelser mod udvalgets beslutninger vil blive forelagt OpenAI’s ledelse. Beslutninger om ikke at offentliggøre et eksempel, eller om at offentliggørelse ikke er berettiget, vil blive delt med ledelsen for sikkerhed og alignment og så vidt muligt med relevante tekniske medarbejdere.
Vi kan revidere denne offentliggørelsesproces, efterhånden som vi får erfaring med, hvordan den fungerer i praksis, og registrerer eventuelle ændringer i dette indlæg.
Hver fuldstændig rapport vil beskrive den observerede adfærd, dens alvor og eventuelle eksterne konsekvenser, de omstændigheder, den forekom under, datoen eller perioden, hvornår vi opdagede den, samt overordnet set den eller de involverede modeller. Når det er muligt, deler vi også:
Flere oplysninger om hændelsesforløbet og eventuelle skader som følge heraf;
Hvordan vi opdagede fejltilpasningen, og omfanget af vores undersøgelse;
Vores fortolkning af dens betydning for forskning i alignment og teknisk AI-sikkerhed;
Vigtige ubesvarede spørgsmål, som eksemplet rejser;
Foranstaltninger, vi træffer eller planlægger at træffe for at håndtere adfærden. Disse oplysninger er muligvis ikke altid tilgængelige på offentliggørelsestidspunktet, da vi kan udgive rapporten om fejltilpasning, før undersøgelsen er afsluttet, eller der er udviklet en løsning.
Ved fejltilpasning i kunders implementeringer deler vi så mange oplysninger, som hensynet til kundernes privatliv og vores kontraktlige forpligtelser tillader.
Dagens rapporter er et første sæt offentliggørelser og ikke en udtømmende redegørelse for kendte tilfælde af fejltilpasning eller igangværende undersøgelser. Disse første rapporter skal ikke opfattes som repræsentative for hele spændvidden eller alvoren af de sager, som denne ramme omfatter. Vi har forpligtet os til at offentliggøre tilfælde af fejltilpasning, der opfylder kriterierne i denne ramme, herunder mere komplekse sager, som kræver længere undersøgelser eller koordinering med tredjeparter. Vi vil løbende udgive rapporter efter denne ramme og fortælle mere om vores rapporteringsforpligtelser, efterhånden som vi videreudvikler dem.
