Misnotkun tengd Kína: Eftirlits- og áhrifastarfsemi

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá október 2025⁠(opnast í nýjum glugga).

Einstaklingar, sem virðast tengjast stofnunum kínverskra stjórnvalda, notuðu ChatGPT við þróun, persónugreiningu og stjórnsýslustörf.

Eins og við lýstum í mars í umsögn okkar um aðgerðaáætlun Bandaríkjanna um gervigreind hjá skrifstofu vísinda- og tæknistefnu teljum við að til að gervigreind nýtist sem flestum þurfi að stuðla að henni með skynsamlegum reglum sem vernda fólk gegn raunverulegu tjóni og byggja upp lýðræðislega gervigreind. Með lýðræðislegri gervigreind eigum við við gervigreind sem mótast af þeim lýðræðislegu meginreglum sem Bandaríkin hafa ávallt staðið fyrir. Þar á meðal þarf að koma í veg fyrir að einræðisstjórnir noti gervigreindarverkfæri til að auka völd sín og stjórna borgurum sínum.

Fjárfestingar okkar í að greina og stöðva tilraunir einræðisstjórna til að misnota eiginleika ChatGPT vernda ekki aðeins fólk núna heldur veita einnig mikilvæga innsýn í hvernig slíkar stjórnir gætu misnotað möguleika framtíðarinnar. Í þessum hluta er fjallað um niðurstöður af þessu tagi varðandi einstaklinga sem kunna að tengjast slíkum stjórnvöldum, með áherslu á Alþýðulýðveldið Kína.

Eins og við skrifuðum í júní hefur Alþýðulýðveldið Kína náð raunverulegum árangri við að þróa sína einræðislegu útgáfu af gervigreind. Með því að loka ChatGPT‑reikningum sem einstaklingar, er virðast tengjast stofnunum kínverskra stjórnvalda, notuðu fáum við nokkra innsýn í núverandi notkun gervigreindar í þessu einræðislega umhverfi. Sumt af þessari notkun virtist miða að umfangsmiklu eftirliti með umferð á netinu eða utan þess. Það undirstrikar mikilvægi þess að við höldum áfram að fylgjast með mögulegri misnotkun einræðisstjórna á þessu sviði. Aðrir þættir notkunarinnar virtust miða að ítarlegri persónugreiningu. Við bönnuðum reikningana sem tengdust þessari starfsemi og birtum innsýn okkar í þessari skýrslu.

Þessi rannsókn byggist á úrvali tilvika þar sem við greindum starfsemi sem braut gegn reglum okkar, stöðvuðum hana og bönnuðum viðkomandi reikninga. Starfsemin samræmdist því að einstakir notendur væru að nota ChatGPT en ekki umfangsmikilli innleiðingu stofnana á líkönum okkar. Þetta gefur því aðeins takmarkaða svipmynd af notkun mismunandi gervigreindarlíkana í þessu samhengi.

Sumir reikninganna sem við bönnuðum virtust reyna að nota ChatGPT til að þróa verkfæri fyrir umfangsmikið eftirlit með því að greina gagnasöfn sem oft var safnað af vestrænum eða kínverskum samfélagsmiðlum. Í febrúar greindum við frá einu slíku tilviki þar sem ætlunin var að hanna gervigreindardrifið vöktunartæki fyrir samfélagsmiðla sem rekstraraðilarnir sögðu ætlað kínverskum öryggissveitum. Þessir notendur báðu ChatGPT yfirleitt um aðstoð við að hanna slík verkfæri eða útbúa kynningarefni um þau, en ekki við að framkvæma eftirlitið.

Við bönnuðum til dæmis nýlega notanda sem kann að hafa notað VPN til að fá aðgang að þjónustu okkar frá Kína. Hann bað ChatGPT um aðstoð við að hanna kynningarefni og verkefnaáætlanir fyrir vöktunartæki fyrir samfélagsmiðla, sem sagt var ætlað opinberum aðila. Verkfærinu var lýst sem „könnunarnema“ (探针) fyrir samfélagsmiðla sem átti að geta leitað á Twitter/X, Facebook, Instagram, Reddit, TikTok og YouTube að því sem notandinn lýsti sem öfgafullum ummælum og efni tengdu þjóðerni, trúarbrögðum og stjórnmálum. Notandinn notaði líkan okkar ekki til að framkvæma sjálft eftirlitið með samfélagsmiðlum. Við getum ekki staðfest með óháðum hætti hvort stofnun kínverskra stjórnvalda hafi notað þetta verkfæri.

Á sama hátt bönnuðum við annan notanda, sem líklega tengdist opinberri stofnun, eftir að hann bað ChatGPT um aðstoð við að skrifa tillögu að því sem hann lýsti sem viðvörunarlíkani fyrir komu einstaklinga sem tengdust Úígúrum og töldust í mikilli áhættu (高危涉维吾尔关注人员流入预警模型). Tillagan lýsti verkfæri sem myndi greina bókanir í samgöngukerfum og bera þær saman við lögregluskrár til að vara tímanlega við ferðum fólks sem flokkað væri sem tengt Úígúrum og í mikilli áhættu, en sá flokkur var ekki skilgreindur nánar. Notandinn bað líkan okkar ekki um aðstoð við að smíða slíkt verkfæri, heldur aðeins við að semja almenna tillögu. Við getum því ekki staðfest með óháðum hætti hvaða tækni átti að nota eða hvort stofnun kínverskra stjórnvalda hafi notað slíkt verkfæri.

Við bönnuðum einnig notendur sem virtust tengjast stofnunum kínverskra stjórnvalda og virtust reyna að nota ChatGPT til sérsniðinnar og markvissrar persónugreiningar og rannsókna á netinu.

Einn notandi bað til dæmis ChatGPT um að finna fjármögnunarleiðir X-reiknings sem gagnrýndi kínversk stjórnvöld. Annar notandi bað ChatGPT um að bera kennsl á skipuleggjendur undirskriftasöfnunar í Mongólíu. Í báðum tilvikum skiluðu líkön okkar aðeins upplýsingum sem voru aðgengilegar almenningi og innihéldu ekki viðkvæmar upplýsingar á borð við fjármögnunarleiðir eða nöfn skipuleggjenda undirskriftasöfnunarinnar.

Í sumum þessara tilvika voru líkön okkar notuð sem rannsóknarverkfæri fyrir opnar heimildir, svipað og áður hefði mátt nota leit á netinu eða samfélagsmiðlum. Þriðji notandinn bað til dæmis ChatGPT um að finna og draga saman helstu fréttir hvers dags sem vörðuðu Kína, þar á meðal viðkvæm málefni á borð við ártíð fjöldamorðanna á Torgi hins himneska friðar árið 1989 og afmælisdag Dalai Lama.