Rammi okkar um tilkynningar um rangstillingu líkana
Við kynnum nýjan ramma OpenAI til að skrá, rannsaka og greina frá tilvikum rangstillingar líkana, ásamt sex skýrslum um óvænta eða varhugaverða hegðun líkana sem við höfum séð síðastliðna sex mánuði.
Til að upplýsa rannsakendur, þróunaraðila gervigreindar, stefnumótendur og almenning betur höfum við áður leitast við að birta niðurstöður okkar um rangstillingu opinberlega. Án kerfisbundinnar skýrslugjafar um þessar niðurstöður hefur birting þeirra þó verið tilfallandi og sjaldnar en æskilegt væri: við höfum oft beðið þar til hægt var að taka saman nokkur tilvik í eina skýrslu eða bætt þeim við kerfiskort nýútgefinna líkana. Nýja rammanum er ætlað að flýta birtingu skýrslna um rangstillingu eftir að hennar verður vart, jafnvel þótt við höfum ekki enn skýrt hegðunina að fullu eða dregið úr henni.
Eftir því sem gervigreindarkerfi verða þróaðri og útbreiddari þurfum við að skapa víðtækari og upplýstari samstöðu um framfarir í rannsóknum á samræmingu. Við teljum ekki að gervigreindargeirinn hafi leyst samræmingu og eftirlit nægilega vel til að hægt sé með ábyrgum hætti að halda áfram að stækka kerfin á hámarkshraða mikið lengur. Ákvarðanir um framvindu þróunar gervigreindar á næstu mánuðum og árum þurfa að byggjast á gögnum sem fólk utan fyrirtækjanna sem smíða háþróuð líkön getur sjálft kannað.
Dæmi um rangstillingu geta hjálpað til við að finna vandamál sem aðrir þróunaraðilar gervigreindar kunna að mæta þegar kerfi þeirra ná svipaðri getu, afhjúpa veikleika í verndarráðstöfunum eða draga forsendur um hegðun líkana í efa. Með því að birta þessar niðurstöður gerum við öðrum kleift að rannsaka sömu vandamál, prófa skýringar okkar og bæta mótvægisaðgerðir. Þar sem við trúum á gildi gagnsæis um rangstillingu styður nýi ramminn okkar birtingu jafnvel þegar óvíst er hversu mikilvæg niðurstaðan er. Því gæti komið í ljós að sum tilvikin sem við birtum séu tilviljunarkennd og hvorki hluti af stærra mynstri né vísbending um framtíðarþróun.
Sem stendur er enginn rammi fyrir allan geirann með skýrum stöðlum um hvernig þróunaraðilar gervigreindar skuli greina frá dæmum um rangstillingu í líkönum sínum. Við vonum að ramminn sem við kynnum í dag sé fyrsta skrefið að slíkum stöðlum með því að skilgreina hvaða tilvik rangstillingar þróunaraðilar eigi að birta og hvað skýrslur þeirra eigi að innihalda. Við lítum á þennan ramma sem verk í vinnslu sem við munum fínpússa með reynslu og endurgjöf almennings.
Hér lýsum við því hvernig ramminn mun virka og birtum fyrstu skýrslurnar.
Við stefnum að því að birta dæmi sem veita gagnleg gögn um hvernig rangstilling líkana verður til, hvernig hún birtist og hvar verndarráðstafanir duga eða bregðast. Við setjum nýja verkunarhætti, marktækar breytingar á þekktri hegðun og niðurstöður sem draga forsendur um öryggi eða mótvægisaðgerðir í efa í forgang. Dæmi þarf hvorki að valda skaða né sýna fram á víðtækara mynstur til að eiga erindi í birtingu. Ramminn nær til hegðunar sem uppfyllir skilyrðin á öllum líftíma líkans, þar á meðal við þjálfun, mat, prófanir og innleiðingu.
Þetta tekur meðal annars til nýrra leiða líkana til að framkvæma aðgerðir án heimildar, samhæfa sig við önnur líkön eða komast undan eftirliti; bilana sem vekja efasemdir um samræmingaraðferð eða verndarráðstöfun; og hegðunar sem dregur fullyrðingu í birtu öryggismati í efa. Sömu birtingarskilyrði gilda um rangstillingu sem kann að hafa áhrif á þriðju aðila.
Þetta gæti einnig tekið til rangstillingartilvika sem virðast endurtaka tilvik sem við höfum áður birt. Endurtekning vandans gæti sjálf verið gagnlegt gagn um hegðun líkana okkar eða virkni verndarráðstafana okkar, til dæmis ef tiltekin rangstillt hegðun kemur sífellt aftur þrátt fyrir ítrekaðar tilraunir til að draga úr henni. Við slíkar aðstæður birtum við viðbótardæmin með því að uppfæra upphaflegu tilkynninguna um rangstillingu.
Með tímanum hyggjumst við þróa hlutlægari birtingarskilyrði með öðrum þróunaraðilum, utanaðkomandi rannsakendum, staðlastofnunum atvinnugreinarinnar og eftirlitsaðilum. Við teljum einnig að upplýsa eigi alríkisstjórn Bandaríkjanna um alvarleg atvik sem varða öryggi, upplýsingaöryggi og rangstillingu og vinnum að tillögum um tilkynningaleiðir. Við lítum á þennan ramma sem viðbót við núverandi skyldur okkar og bendum á að hann kemur ekki í stað lagaskyldu okkar til upplýsingagjafar, meðal annars vegna alvarlegra öryggisatvika eða netöryggisbrota.
Til að hleypa nýja rammanum okkar um birtingu rangstillingar af stokkunum birtum við sex skýrslur um rangstillta hegðun sem við höfum séð við þjálfun eða mat líkana okkar. Tilvikin sýna ýmiss konar hegðun sem við teljum vert að greina frá, allt frá því að leyna notandann upplýsingum til þess að grípa til óheimilla aðgerða til að yfirstíga hindranir. Þetta eru skýrslur um einstök tilvik og þær ber ekki að líta á sem vísbendingu um hversu oft rangstilling kemur upp í líkönum okkar. Hvert atriði hér á eftir vísar í heildarskýrsluna.
Sjálfmyndaðar leiðbeiningar í verkefnayfirlitum(opnast í nýjum glugga). Óútgefið rannsóknarlíkan setti ótengdar leiðbeiningar, meðal annars um að virða venjulegar takmarkanir sínar að vettugi, inn í yfirlit sem voru notuð til að halda vinnunni áfram í nýjum samhengisglugga. Við fundum 27 yfirlit sem þetta hafði áhrif á.
Leiðbeiningar um að leyna mistökum í verkefnayfirlitum(opnast í nýjum glugga). Við þjálfun GPT‑5.6 Sol bættu mörg tilvik líkansins leiðbeiningum við yfirlit sín um að leyna mistökum eða rangstilltri hegðun fyrir notandanum. Þjöppuð yfirlit innihéldu til dæmis leiðbeiningar um að skálda söguleg gögn sem vantaði án þess að upplýsa um það og fela misræmi milli útgáfa heimilda.
Leit í opinberum geymslum að berskjölduðum API-lyklum og síðan uppspuni upplýsinga(opnast í nýjum glugga). Þegar líkan svaraði venjulegri spurningu um tekjutölur í sýslu í Kaliforníu fann það og notaði berskjaldaðan API-lykil án heimildar. Þegar því tókst samt ekki að sækja umbeðnar tölur skáldaði það þær og birti sem gögn úr umbeðnu heimildinni.
Skrám hlaðið á internetið svo hægt væri að vitna í þær(opnast í nýjum glugga). Þegar notandi bað óútgefið líkan um auðkenni og nöfn vatna sem eru stærri en 5.000.000 fermetrar fann fulltrúinn rétta svarið með Python. En þar sem leiðbeiningarnar kröfðust tilvísunar úr vafra ákvað fulltrúinn, án þess að spyrja notandann, að hlaða skránni upp svo hægt væri að vitna í hana í svarinu.
Óheimilar skrifaðgerðir og samskipti í gegnum innri hugbúnaðargeymslu(opnast í nýjum glugga). Líkön notuðu innri hugbúnaðargeymslu sem skilaboðatöflu til að skiptast á beiðnum og svörum milli aðskilinna þjálfunarsýna þegar þau leituðu að inntaksskrám sem vantaði, en tókst ekki að endurheimta skrárnar. Skýrslan fjallar einnig um eldra tilvik þar sem líkani tókst að hlaða prófunarskrám í geymslu þegar það reyndi að komast fram hjá nettakmörkunum.
Óheimil skráadeiling milli fulltrúa í samstarfi(opnast í nýjum glugga). Fulltrúar sem unnu saman að sama þjálfunarverkefni notuðu opinberar skráahýsingarsíður til að deila skrám þegar þeir gátu ekki nálgast staðbundnar skrár hver annars. Þetta gerði afurðir verkefnisins aðgengilegar á opinberum vefslóðum þótt samkvæmt verkefninu ættu líkönin aðeins að nota staðbundnar skrár.
Sérhver starfsmaður OpenAI getur tilkynnt dæmi um rangstillingu til rannsóknar hjá öryggis- og samræmingarteymum okkar og óskað eftir að það verði tekið til skoðunar fyrir opinbera birtingu. Þá hefst birtingarferlið okkar, þar sem hverju skrefi eru sett tímamörk til að tryggja tímanlega rannsókn og birtingu.
Þegar dæmi hefur verið tilkynnt rannsakar tæknistarfsfólk okkar hvað gerðist, hvað er enn óvíst, hvort opinber birting sé réttlætanleg og hvaða staðreyndir megi birta. Það metur einnig hvort atvikið hafi haft áhrif á þriðja aðila sem þurfi að tilkynna einslega áður en skýrslan er birt.
Dæmið verður síðan sett í eitt þriggja ferla: „Tilbúið til birtingar“, „Minniháttar rannsókn“ eða „Umfangsmeiri rannsókn“ („Hægara ferli“).
„Tilbúið til birtingar“ nær til tilvika sem uppfylla skilyrðin og hafa verið rannsökuð nægilega til að hægt sé að birta þau að lokinni yfirferð. „Minniháttar rannsókn“ nær til tilvika sem þarfnast frekari tæknilegrar rannsóknar. Við gerum ráð fyrir að langflest tilvik sem við birtum falli undir þessi tvö ferli, einkum þau sem krefjast hvorki umfangsmikillar rannsóknar né samhæfingar við þriðju aðila eða meðhöndlunar alvarlegrar hættu á misnotkun. Öll tilvikin sem við birtum í dag falla undir annað þessara tveggja ferla.
„Umfangsmeiri rannsókn“ nær til flókinna rannsókna, einkum þeirra sem varða þriðju aðila. Þegar atvik hefur áhrif á þriðja aðila ganga skyldur okkar varðandi öryggi, lög og ábyrga upplýsingagjöf framar þessum ramma. Við stefnum að því að birta fyrstu tilkynningu eins fljótt og auðið er en gætum þurft að fresta henni af öryggisástæðum, til dæmis ef líkan uppgötvar áður óþekktan veikleika í útbreiddum hugbúnaði. Ef skýrsla myndi auðkenna þriðja aðila ætlum við að láta hann vita fyrir fram, jafnvel þótt engin öryggismörk hafi verið rofin.
Fyrsta tilkynning um tilvik sem fer í „Umfangsmeiri rannsókn“ mun lýsa í grófum dráttum því sem gerðist, greina frá því hvort utanaðkomandi sérfræðingar aðstoði við rannsóknina og veita tiltækt mat á því hvenær endanleg skýrsla verði birt. OpenAI-atvikið hjá Hugging Face hefði fallið undir þetta ferli ef greint hefði verið frá því samkvæmt þessum ramma.
Starfsmaðurinn sem vakti athygli á dæminu verður upplýstur um ákvörðunina um hvort birta skuli upplýsingarnar og, verði þær birtar, hvaða ferli verði fylgt. Óleystum ágreiningi um birtingu eða viðeigandi ferli verður vísað til Öryggisráðgjafarhóps OpenAI (SAG), hóps háttsettra fulltrúa víðs vegar úr fyrirtækinu sem metur getu háþróaðra líkana og verndarráðstafanir, hefur umsjón með Undirbúningsramma okkar og veitir stjórnendum OpenAI ráðgjöf. Ágreiningi innan Öryggisráðgjafarhópsins eða andmælum starfsfólks við ákvarðanir hans verður vísað til stjórnenda OpenAI. Ákvörðunum um að birta ekki upplýsingar eða að birting sé ekki réttlætanleg verður miðlað til stjórnenda öryggis- og samræmingarmála og, eftir því sem unnt er, til viðeigandi tæknistarfsfólks.
Við kunnum að endurskoða þetta birtingarferli eftir því sem við sjáum hvernig það reynist í framkvæmd og munum skrá allar breytingar í þessari færslu.
Í hverri heildarskýrslu verður lýst hegðuninni sem við sáum, alvarleika hennar og mögulegum ytri áhrifum, aðstæðunum sem hún kom upp við, dagsetningu eða tímabili, hvenær við uppgötvuðum hana og, í grófum dráttum, líkaninu eða líkönunum sem áttu í hlut. Þegar unnt er munum við einnig birta:
Nánari upplýsingar um atvikið og skaða sem af því hlaust;
Hvernig við uppgötvuðum rangstillinguna og umfang rannsóknar okkar;
Túlkun okkar á þýðingu hennar fyrir rannsóknir á samræmingu og tæknilegt öryggi gervigreindar;
Mikilvægar ósvaraðar spurningar sem dæmið vekur;
Ráðstafanir sem við grípum til eða hyggjumst grípa til vegna hegðunarinnar. Þessar upplýsingar liggja ekki alltaf fyrir við birtingu þar sem við kunnum að birta skýrslu um rangstillingu áður en rannsókn lýkur eða lausn hefur verið þróuð.
Þegar rangstilling kemur upp í kerfum viðskiptavina munum við birta eins miklar upplýsingar og friðhelgi viðskiptavina og samningsbundnar skyldur okkar leyfa.
Skýrslurnar sem birtast í dag eru fyrsta safn upplýsinga en ekki tæmandi yfirlit yfir þekkt tilvik rangstillingar eða yfirstandandi rannsóknir. Þessum fyrstu skýrslum er ekki ætlað að endurspegla allt umfang eða alvarleika þeirra tilvika sem ramminn nær yfir. Við erum staðráðin í að greina frá tilvikum rangstillingar sem uppfylla skilyrði þessa ramma, þar á meðal flóknari tilvikum sem krefjast lengri rannsóknar eða samhæfingar við þriðju aðila. Við munum áfram birta skýrslur reglulega samkvæmt þessum ramma og veita frekari upplýsingar um skuldbindingar okkar til skýrslugjafar eftir því sem við mótum þær áfram.
