Atvikið hjá Hugging Face og önnur áhrif á þriðju aðila af völdum líkana sem skortir samræmi
Eftir því sem gervigreindarkerfi verða öflugri og sjálfstæðari getur ósamstillt hegðun leitt til afdrifaríkra aðgerða í raunheimum, þar á meðal netöryggisatvika og annarra afleiðinga sem þróunaraðilar kunna ekki að hafa séð fyrir. Því verður sífellt mikilvægara við örugga þróun og innleiðingu háþróaðra gervigreindarkerfa að skilja hvernig slík hegðun verður til og ágerist og hvernig hægt er að greina hana og bregðast við henni.
Í fyrstu litum við fyrst og fremst á atvikið hjá Hugging Face sem öryggismál þar sem það fól í sér öryggisbrest á vettvangsstigi. Þetta er enn alvarlegasta athæfi af þessu tagi sem við höfum hingað til greint hjá líkönum okkar og var það fyrst og fremst knúið áfram af mjög öflugu rannsóknarlíkani sem eingöngu var ætlað til innri nota. Síðan höfum við áttað okkur á því að innbrotið stafaði af því að líkön gripu til aðferða sem samræmdust ekki ætluðum markmiðum til að leysa erfið verkefni, eins og fram kemur í tækniskýrslunni um Hugging Face.Netöryggisatvik eru ein birtingarmynd þessarar áhættu. Skortur á samræmi getur einnig leitt til annarrar óvæntrar eða varhugaverðrar hegðunar sem fellur utan hefðbundinna öryggisflokka, svo sem þegar líkön okkar birta efni á vefsvæðum þriðju aðila — nokkuð sem við köllum „ruslpóst fulltrúa“. Við þurfum að takast á við hvort tveggja
Við höfum haldið áfram að skoða víðtækara athæfi, sett alvarlegri atvik í forgang og víkkað yfirferðina út til athæfis af minni alvarleika sem samræmist ekki ætluðum markmiðum, þar á meðal ruslpósts fulltrúa.
Á þessari síðu tökum við saman skýrslur okkar og uppfærslur um atvikið hjá Hugging Face, tengdar rannsóknir og opinberar kynningar, annað athæfi sem við höfum greint, það sem við höfum lært um hlutverk ósamstillingar líkana og aðgerðir okkar til að efla kerfin. Við uppfærum þessa síðu eftir því sem rannsóknum okkar vindur fram.
Athæfi sem hefur áhrif á þriðju aðila
Til að skilja betur umfang þessarar óvæntu hegðunar höfum við framkvæmt víðtæka yfirferð á athæfi líkana okkar á internetinu við þjálfun og mat. Sem hluta af yfirferðinni greinum við tilvik og tilkynnum þriðju aðilum um þau jafnóðum, og byrjum á tilvikum þar sem:
Líkön okkar kunna að hafa komist fram hjá öryggisstýringum þriðja aðila eða skert aðgengi að netþjónustu; eða
Ósamstilling hafði neikvæð áhrif á vefsvæði eða þjónustur þriðju aðila.
Miðað við yfirferð okkar hingað til höfum við tilkynnt tugum þriðju aðila samkvæmt viðmiðunum hér að ofan. Yfirferð okkar á fyrra athæfi stendur enn yfir og mun krefjast verulegs tíma og fjármagns. Við látum fleiri þriðju aðila vita eftir því sem vinnunni miðar áfram.
Hér fyrir neðan birtum við ópersónugreinanlegar samantektir sem lýsa þeim tegundum athæfis sem samræmdust ekki ætluðum markmiðum og við urðum vör við. Við munum uppfæra þessar lýsingar eftir því sem við tilkynnum fleiri þriðju aðilum og skilningur okkar þróast. Auk þess munum við birta viðeigandi uppfærslur um stöðu yfirferðarinnar. Almennt sleppum við nöfnum og öðrum auðkennandi upplýsingum þegar þess er þörf til að vernda aðila sem verða fyrir áhrifum, en aðilar sem hafa verið upplýstir kunna að kjósa að birta opinberlega þær upplýsingar sem við veitum þeim.
Samantektir á athæfinu sem sást
Við yfirferð okkar og tilkynningarferli hingað til höfum við greint eftirfarandi flokka athæfis:
Farið fram hjá aðgangsstýringu: Fulltrúar komast í upplýsingar eða eiginleika sem að jafnaði krefjast sannprófunar auðkennis, sérstakrar heimildar, áskriftar eða reiknings. Til dæmis notaði fulltrúi annað veffang, breytti upplýsingum í beiðni eða nýtti innskráningarlotu sem veitti meiri aðgang en búist var við.
Notkun opinberra auðkenna: Fulltrúar fundu innskráningarupplýsingar eða aðgangslykla sem höfðu verið gerðir opinberir og notuðu þá til að opna þjónustu.
Fyrirspurnar- eða skipanainnspýting: Fulltrúar slógu texta inn á vefsvæði eða í þjónustu sem þjónustan túlkaði sem fyrirmæli í stað venjulegs inntaks. Þetta gæti orðið til þess að þjónustan keyrði gagnagrunnsfyrirspurn, forritskóða eða skipun á netþjóni sínum.
Aðgangur að innri hlutum keyrsluumhverfis: Fulltrúar lásu skrár sem innihéldu útfærslu þjónustu eða áttu samskipti við bakgrunnskerfi sem ætlað var til innri nota. Í þessum tilvikum komst fulltrúinn í hluta þjónustunnar sem hann átti ekki að hafa aðgang að.
Ruslpóstur fulltrúa: Fulltrúar birta upplýsingar á vefsvæðum þriðju aðila sem kunna að breyta upplýsingum þar og kalla á hreinsun, til dæmis með því að nota opinberar wiki-síður sem sameiginleg skilaboðaborð.