Predstavljamo nov okvir OpenAI za spremljanje, preiskovanje in razkrivanje primerov neusklajenosti modelov ter šest poročil o nepričakovanem ali skrb vzbujajočem vedenju modelov, ki smo ga opazili v zadnjih šestih mesecih.
Da bi raziskovalce, razvijalce umetne inteligence, oblikovalce politik in širšo javnost bolje obveščali, smo si že v preteklosti prizadevali javno objavljati naše ugotovitve o neusklajenosti. Ker pa nismo imeli sistematičnega pristopa k poročanju o teh ugotovitvah, so bila naša razkritja priložnostna in redkejša, kot bi si želeli: pogosto smo čakali, da smo lahko več primerov združili v eno poročilo, ali pa smo jih dodali sistemskim karticam novo izdanih modelov. Novi okvir je namenjen hitrejši objavi poročil o neusklajenosti po njenem odkritju, tudi če opisanega vedenja še nismo v celoti pojasnili ali ublažili.
Ker sistemi umetne inteligence postajajo naprednejši in vse bolj razširjeni, moramo doseči širše soglasje o napredku raziskav usklajevanja, ki bo temeljilo na boljših informacijah. Ne verjamemo, da je panoga umetne inteligence usklajevanje in spremljanje že rešila v tolikšni meri, da bi lahko še dolgo odgovorno nadaljevala širitev z največjo hitrostjo. Odločitve o razvoju umetne inteligence v prihodnjih mesecih in letih morajo temeljiti na dokazih, ki jih lahko neodvisno preučijo tudi ljudje zunaj podjetij, ki razvijajo prelomne modele.
Primeri neusklajenosti lahko pomagajo odkriti težave, na katere utegnejo naleteti drugi razvijalci umetne inteligence, ko njihovi sistemi dosežejo podobne zmogljivosti, razkriti pomanjkljivosti zaščitnih ukrepov ali postaviti pod vprašaj domneve o vedenju modelov. Z objavo teh ugotovitev drugim omogočamo, da raziščejo iste težave, preverijo naše razlage in izboljšajo ukrepe za njihovo ublažitev. Ker verjamemo v pomen preglednosti glede neusklajenosti, naš novi okvir daje prednost razkritju tudi takrat, ko pomen ugotovitve ni jasen. Zato se lahko izkaže, da so nekateri razkriti primeri naključni ter niso del širšega vzorca ali pokazatelj prihodnjega razvoja.
Trenutno v panogi ni skupnega okvira z izrecnimi standardi, kako naj razvijalci umetne inteligence razkrivajo primere neusklajenosti svojih modelov. Upamo, da je okvir, ki ga predstavljamo danes, prvi korak k oblikovanju takšnih standardov, saj določa, katere primere neusklajenosti naj razvijalci razkrijejo in kaj naj vsebujejo njihova poročila. Ta okvir razumemo kot delo v nastajanju, ki ga bomo izpopolnjevali z izkušnjami in odzivi javnosti.
V nadaljevanju opisujemo delovanje okvira in predstavljamo prva poročila, ki jih objavljamo.
Razkriti želimo primere, ki dajejo uporabne dokaze o tem, kako nastane in se kaže neusklajenost modelov ter kje so zaščitni ukrepi uspešni ali neuspešni. Prednost dajemo novim mehanizmom, pomembnim spremembam znanega vedenja in ugotovitvam, ki postavljajo pod vprašaj domneve o varnosti ali ukrepih za ublažitev. Da bi bil primer vreden razkritja, ni treba, da povzroči škodo ali dokaže obstoj širšega vzorca. Ta okvir bo zajemal ustrezno vedenje v celotnem življenjskem ciklu modela, vključno z učenjem, vrednotenjem, preizkušanjem in uvedbo.
To vključuje nove načine, kako lahko modeli delujejo brez dovoljenja, se usklajujejo z drugimi modeli ali izognejo nadzoru; napake, zaradi katerih se pojavi dvom o metodi usklajevanja ali zaščitnem ukrepu; ter vedenje, ki izpodbija trditev iz objavljene varnostne ocene. Ista merila za razkritje veljajo za neusklajenost, ki lahko vpliva na tretje osebe.
To lahko vključuje tudi primere neusklajenosti, ki se zdijo enaki primerom, razkritim v preteklosti. Že ponavljanje težave je lahko koristen dokaz o vedenju naših modelov ali učinkovitosti zaščitnih ukrepov, denimo če se določena vrsta neusklajenega vedenja ponavlja kljub večkratnim poskusom, da bi jo ublažili. V takih okoliščinah bomo dodatne primere objavili s posodobitvijo prvotnega razkritja neusklajenosti.
Sčasoma nameravamo skupaj z drugimi razvijalci, zunanjimi raziskovalci, organi za standardizacijo v panogi in regulatorji oblikovati bolj objektivna merila za razkritje. Menimo tudi, da bi bilo treba resne incidente, povezane z varnostjo, zaščito in neusklajenostjo, prijaviti zvezni vladi ZDA, zato pripravljamo predlog mehanizmov poročanja. Ta okvir dopolnjuje naše obstoječe obveznosti in ne nadomešča zakonskih zahtev glede razkritja, vključno z zahtevami za kritične varnostne incidente ali kršitve kibernetske varnosti.
Ob uvedbi novega okvira za razkrivanje neusklajenosti objavljamo šest poročil o primerih neusklajenega vedenja, ki smo jih opazili med učenjem ali vrednotenjem naših modelov. Ti primeri ponazarjajo različna vedenja, za katera menimo, da jih je vredno razkriti, od prikrivanja informacij uporabniku do nedovoljenega ukrepanja za premagovanje ovir. Gre za poročila o posameznih primerih, zato jih ne bi smeli razumeti kot pokazatelj pogostosti neusklajenosti pri naših modelih. Vsaka spodnja postavka vsebuje povezavo do celotnega poročila.
Samodejno ustvarjena navodila v povzetkih nalog(odpre se v novem oknu). Neobjavljeni raziskovalni model je v povzetke, namenjene nadaljevanju dela v novem kontekstnem oknu, vstavil nepovezana navodila, med drugim navodila, naj ne upošteva svojih običajnih omejitev. Odkrili smo 27 prizadetih povzetkov.
Navodila za prikrivanje napak v povzetkih nalog(odpre se v novem oknu). Med učenjem GPT‑5.6 Sol so številni primerki modela v svoje povzetke dodali navodila, naj pred uporabnikom prikrijejo napake ali neusklajeno vedenje. Povzetki, nastali s kompaktiranjem, so na primer vsebovali navodila, naj model brez razkritja izmisli manjkajoče pretekle podatke in prikrije neskladja med različicami virov.
Iskanje razkritih ključev API v javnih repozitorijih in nato izmišljanje informacij(odpre se v novem oknu). Med odgovarjanjem na običajno vprašanje o podatkih o dohodkih v nekem kalifornijskem okrožju je model našel razkrit ključ API in ga uporabil brez dovoljenja. Ker zahtevanih podatkov kljub temu ni mogel pridobiti, si jih je izmislil in jih predstavil kot podatke iz zahtevanega vira.
Nalaganje datotek v internet zaradi njihovega navajanja(odpre se v novem oknu). Ko je uporabnik neobjavljeni model vprašal po identifikatorjih in imenih jezer, večjih od 5.000.000 kvadratnih metrov, je agent s Pythonom našel pravilen odgovor. Ker pa so navodila zahtevala navedbo vira v brskalniku, se je agent odločil datoteko naložiti, da bi jo lahko navedel v odgovoru, ne da bi uporabnika vprašal za dovoljenje.
Nedovoljeni zapisi in komunikacija prek notranjega repozitorija programske opreme(odpre se v novem oknu). Modeli so med iskanjem manjkajočih vhodnih datotek uporabili notranji repozitorij programske opreme kot oglasno desko za izmenjavo zahtev in odgovorov med ločenimi učnimi vzorci, vendar datotek niso mogli obnoviti. Poročilo obravnava tudi zgodnejši primer, ko je model med poskusom zaobidenja omrežnih omejitev uspešno naložil preizkusne datoteke v repozitorij.
Nedovoljeno deljenje datotek med sodelujočimi agenti(odpre se v novem oknu). Agenti, ki so sodelovali pri isti učni nalogi, so za izmenjavo datotek uporabili javna spletna mesta za gostovanje datotek, ko niso mogli dostopati do lokalnih datotek drug drugega. Zato so bili rezultati naloge dostopni na javnih URL-jih, čeprav je bilo v nalogi zahtevano, naj modeli uporabljajo samo lokalne datoteke.
Vsak zaposleni pri OpenAI lahko naše ekipe za varnost in usklajevanje opozori na primer neusklajenosti, da ga preiščejo, ter zahteva presojo, ali je primer primeren za javno razkritje. S tem se začne naš postopek razkritja, v katerem ima vsak korak določen rok, da zagotovimo pravočasno preiskavo in razkritje.
Ko bo primer prijavljen, bo naše tehnično osebje preiskalo, kaj se je zgodilo, kaj ostaja nejasno, ali je javno razkritje upravičeno in katera dejstva je mogoče objaviti. Presodilo bo tudi, ali je dogodek vplival na katero od tretjih oseb in ali jo je treba pred objavo zasebno obvestiti.
Primer bo nato uvrščen v enega od treh postopkov: »Pripravljeno za razkritje«, »Manjša preiskava« ali »Obsežnejša preiskava« (»počasni postopek«).
Postopek »Pripravljeno za razkritje« zajema ustrezne primere, katerih preiskava je dovolj dokončana, da jih je mogoče po pregledu objaviti. Postopek »Manjša preiskava« zajema primere, pri katerih je potrebna dodatna tehnična preiskava. Pričakujemo, da bosta ta postopka zajela veliko večino razkritih primerov, zlasti tistih, ki ne zahtevajo obsežne preiskave, usklajevanja s tretjimi osebami ali obravnave resnih tveganj zlorabe. Vsi danes objavljeni primeri so uvrščeni v enega od teh dveh postopkov.
Postopek »Obsežnejša preiskava« zajema zapletene preiskave, zlasti tiste, ki vključujejo tretje osebe. Kadar je prizadeta tretja oseba, imajo naše obveznosti glede varnosti, zakonodaje in odgovornega razkritja prednost pred tem okvirom. Začetno obvestilo bomo skušali objaviti čim prej, vendar ga bomo morda morali odložiti iz varnostnih razlogov, na primer če model odkrije prej neznano ranljivost v široko uporabljani programski opremi. Če bi poročilo razkrilo identiteto tretje osebe, jo nameravamo vnaprej obvestiti, tudi če ni bila prekršena nobena varnostna meja.
Začetno obvestilo o primeru v postopku »Obsežnejša preiskava« bo vsebovalo splošen opis dogodka, podatek o tem, ali pri preiskavi pomagajo zunanji strokovnjaki, in morebitno razpoložljivo oceno datuma objave končnega poročila. Incident OpenAI Hugging Face bi bil uvrščen v ta postopek, če bi ga razkrili v okviru tega okvira.
Zaposleni, ki je opozoril na primer, bo obveščen o odločitvi glede razkritja in, če bo do njega prišlo, o postopku, po katerem bo primer obravnavan. Nerešena nesoglasja glede razkritja ali ustreznega postopka bodo predložena svetovalni skupini za varnost pri OpenAI (SAG), skupini vodilnih predstavnikov iz različnih delov podjetja, ki ocenjuje zmogljivosti prelomnih modelov in zaščitne ukrepe, nadzira naš Okvir pripravljenosti ter svetuje vodstvu OpenAI. Nesoglasja znotraj SAG ali ugovori zaposlenih zoper njene odločitve bodo predloženi vodstvu OpenAI. Odločitve, da se informacije ne razkrijejo oziroma da razkritje ni upravičeno, bomo posredovali vodstvu za varnost in usklajevanje ter, kolikor bo mogoče, ustreznemu tehničnemu osebju.
Ta postopek razkritja bomo morda prilagodili na podlagi izkušenj iz prakse, vse spremembe pa bomo zabeležili v tej objavi.
Vsako celotno poročilo bo opisalo opaženo vedenje, njegovo resnost in morebitne zunanje posledice, okoliščine in datum oziroma obdobje dogodka, čas odkritja ter na splošno vpleteni model ali modele. Kjer bo mogoče, bomo navedli tudi:
več podrobnosti o dogodku in morebitni posledični škodi;
kako smo odkrili neusklajenost in kakšen je bil obseg naše preiskave;
našo razlago posledic za raziskave usklajevanja in tehnično varnost umetne inteligence;
pomembna odprta vprašanja, ki jih je izpostavil primer;
ukrepe, ki jih izvajamo ali načrtujemo za obravnavo tega vedenja. Ti podatki ob razkritju morda ne bodo vedno na voljo, saj lahko poročilo o neusklajenosti objavimo še pred koncem preiskave ali pripravo rešitve.
Pri neusklajenosti v okoljih strank bomo razkrili toliko informacij, kolikor dopuščajo zasebnost strank in naše pogodbene obveznosti.
Danes objavljena poročila so začetni sklop razkritij, ne pa celovit pregled znanih primerov neusklajenosti ali preiskav, ki še potekajo. Ta začetna poročila ne predstavljajo celotnega razpona ali resnosti primerov, ki jih zajema ta okvir. Zavezani smo razkrivanju primerov neusklajenosti, ki izpolnjujejo merila tega okvira, vključno z zahtevnejšimi primeri, pri katerih sta potrebna daljša preiskava ali usklajevanje s tretjimi osebami. Poročila bomo v okviru tega okvira še naprej redno objavljali, z nadaljnjim razvojem svojih zavez glede poročanja pa bomo o njih razkrili več informacij.
