Svikaherferðir: Netsvikanet

Þessi tilviksrannsókn birtist upphaflega í skýrslu OpenAI frá október 2025⁠(opnast í nýjum glugga).

Net sem líklega eiga uppruna sinn í Kambódíu, Mjanmar og Nígeríu og misnota ChatGPT í því sem virðist vera tilraun til að svíkja fólk á netinu.

Við leggjum okkur fram um að greina, fyrirbyggja og stöðva tilraunir til að misnota líkön okkar í skaðlegum tilgangi. Slík misnotkun nær meðal annars til svika, en við greinum og lokum á illgjarna aðila sem reyna að misnota líkön okkar til að blekkja fólk og svíkja af því fé. Undanfarna þrjá mánuði höfum við stöðvað svikanet sem líklega eiga uppruna sinn í Kambódíu, Mjanmar og Nígeríu. Til marks um hvernig gervigreind getur nýst í baráttunni gegn svikum höfum við, við rannsókn þessara misnotkunarmynstra, einnig séð fjölda fólks nota líkön okkar til að bera kennsl á svik. Í þessari skýrslu er fjallað um hvort tveggja.

Misnotkun líkana okkar til að styðja við svik nær allt frá einstaklingum sem reyna að svíkja fólk til umfangsmikillar og viðvarandi starfsemi sem líklega tengist skipulögðum glæpasamtökum. Óháð uppruna og nákvæmum aðferðum fylgir svikatengd starfsemi sem við höfum stöðvað yfirleitt sama mynstri: fyrst er haft óumbeðið samband, síðan reynt að vekja ákafa eða skelfingu og loks eru peningar eða verðmætar upplýsingar hafðar af fórnarlambinu.

Svindlararnir byrja á að dreifa efni, hvort sem það er gert með gervigreind eða ekki, um skilaboðaþjónustur og internetið, meðal annars með auglýsingum á samfélagsmiðlum. Síðan reyna þeir að vekja hjá þeim sem svara annaðhvort ákafa fyrir ábatasömu tækifæri eða ótta við yfirvofandi fjárhagslegt tap og nýta tilfinningarnar til að sannfæra skotmarkið um að afhenda peninga eða viðkvæmar upplýsingar.

Við höfum einnig séð mörg tilvik þar sem líkön okkar hafa líklega varið fólk gegn svikum. Við höfum séð vísbendingar um að fólk noti ChatGPT milljón sinnum í mánuði til að greina og forðast netsvik. Í öllum svikaherferðunum í þessari skýrslu höfum við séð líkanið hjálpa fólki að bera rétt kennsl á svikin og ráðleggja því viðeigandi öryggisráðstafanir. Núverandi mat okkar er að ChatGPT sé notað allt að þrisvar sinnum oftar til að bera kennsl á svik en til að fremja þau.

Dæmi um rannsakanda hjá OpenAI sem límdi skjáskot af sviksamlegum SMS-skilaboðum sem hann fékk inn í ChatGPT og notaði líkanið til að bera kennsl á þau sem svik. Í þessu tilviki reyndu ógnaraðilarnir að þykjast vera ráðningaraðilar TikTok.

Frá síðustu skýrslu höfum við eflt eigin getu til að greina og stöðva svik. Við höfum stöðvað fleiri svikanet sem virtust eiga uppruna sinn í Kambódíu, Mjanmar og Nígeríu. Ásamt fyrri aðgerðum okkar gera þessar lokanir okkur kleift að greina nýjar tilhneigingar í mörgum svikaherferðum frá ólíkum löndum.

Megnið af svikastarfseminni sem við stöðvuðum snerist um að fella gervigreind inn í þekktar svikaaðferðir fremur en að skapa nýjar aðferðir byggðar á gervigreind. Allar svikaherferðir sem við höfum greint og bannað á þessu ári notuðu gervigreind fyrst og fremst til að auka umfang og skilvirkni. Yfirleitt fólst það í að nota líkön okkar til þýðinga, til að semja skilaboð og til að búa til efni fyrir samfélagsmiðla.

Við bönnuðum til dæmis nýlega svikaherferðir, sem líklega áttu uppruna sinn í Kambódíu og Nígeríu, þar sem aðilar þóttust vera „fjárfestingarfyrirtæki“ til að svíkja fólk í mörgum löndum. Svindlararnir bjuggu til vefsvæði og netauglýsingar til að kynna gervifyrirtækin og notuðu líklega falska samfélagsmiðlareikninga, þar sem þeir þóttust vera sérfræðingar í verðbréfaviðskiptum, til að bjóða fólki í lokaða skilaboðahópa. Ógnaraðilarnir lofuðu ábatasömum og áhættulausum tekjum og reyndu síðan að lokka möguleg fórnarlömb til að leggja fé inn á tilbúna viðskiptavettvanga. Í öllum svikunum notuðu svindlararnir líkön okkar einkum til að semja og þýða samskipti, búa til efni fyrir vefsvæði sín og samfélagsmiðlareikninga og sinna einfaldri upplýsingaöflun.

Í öðru tilviki bönnuðum við svikamiðstöð sem var að öllum líkindum í Mjanmar og notaði líkön okkar bæði til að búa til efni fyrir svikin og sinna daglegum rekstrarverkefnum. Þar á meðal var að skipuleggja vaktir, semja innri tilkynningar, úthluta skrifborðum og svefnplássum og halda utan um fjárhagsreikninga. Sumir rekstraraðilar spurðu um refsingu þeirra sem eru gripnir við netsvik.

Svindlararnir sem við stöðvuðum notuðu ekki allir líkön okkar á sama hátt eða af sömu tæknilegu fágun. Flest samskipti svindlara við ChatGPT snerust um tiltölulega einföld verkefni á borð við þýðingar, en sumar svikaherferðir voru metnaðarfyllri og flóknari.

Ein svikaherferð sem við stöðvuðum og átti líklega uppruna sinn í Kambódíu notaði til dæmis líkön okkar til að semja ítarlegar ævisögur fyrir falska fjárfestingarsérfræðinga og uppdiktaða starfsmenn gervifyrirtækja í verðbréfaviðskiptum. Svindlararnir báðu síðan ChatGPT að skrifa samfélagsmiðlaskilaboð í nafni þessara persóna og með þeirra málrómi. Ógnaraðilarnir settu oft inn í líkanið skilaboð sem þeir virtust hafa fengið frá skotmörkum sínum og báðu það að halda samtalinu áfram í gervi fölsku persónunnar.

Önnur svikaherferð, sem einnig átti líklega uppruna sinn í Kambódíu, hófst með því að nota líkön okkar til að semja óumbeðin SMS-skilaboð sem voru fjöldasend á bandarísk símanúmer. Eitt þessara skilaboða var sent rannsakanda hjá OpenAI, líkt og í tilvikinu sem við greindum frá í júní. Í SMS-skilaboðunum var fólki boðið í WhatsApp-hópa, sem síðar var lokað, og báru nöfn sem líktust nafni lögmæts fjárfestingarfyrirtækis.

Af röð WhatsApp-skilaboða sem send voru rannsakanda OpenAI má ráða að ef mögulegt skotmark gekk í einn þessara hópa blasti fljótlega við „samtal“ milli um sex ólíkra reikninga sem allir ræddu fjárfestingar. Einn reikningurinn þóttist vera „fjárfestingarsérfræðingurinn“ en hinir þóttust vera fjárfestar með mismikla reynslu og trú á fjárfestingunum. Svindlararnir bjuggu til allt samtalið og þýddu það í einu lagi úr kínversku, líklega til að láta líta út fyrir að þarna væri líflegur hópur áhugasamra og farsælla fjárfesta. Að lokum lagði „fjárfestingarsérfræðingurinn“ til að skotmarkið prófaði líka að fjárfesta.

Í öðru tilviki bað fjárfestingarsvikaherferð, sem átti mjög líklega uppruna sinn í Nígeríu, líkanið um skref-fyrir-skref leiðbeiningar um hvernig mætti nota samfélagsmiðlaauglýsingar til að ná til auðugs fólks í Rómönsku Ameríku, fela staðsetningu sína og komast hjá takmörkunum samfélagsmiðla. Í því fólst að vísa líkaninu á opinbera þjónustuskilmála vettvangs og biðja það að kanna hvort fyrirhugað auglýsingaefni samræmdist þeim.

Svindlarar, einkum stórar svikamiðstöðvar, eru þrautseigir. Mjög oft bregðast þeir við stöðvun með því að reyna að hefja aftur starfsemi sem brýtur gegn reglum, en breyta um leið hluta af hegðun sinni, líklega til að forðast frekari uppgötvun. Þetta er ein ástæða þess að mikilvægt er að deila innan geirans upplýsingum um hvernig starfsemin þróast. OpenAI og Meta hafa til dæmis hvort um sig miðlað upplýsingum um ógnaraðila sem leiddu til frekari rannsókna og aðgerða.

Hugsanlega til að bregðast við aðgerðum gegn þeim eða almennari umræðu á netinu um merki sem geta afhjúpað notkun gervigreindar höfum við séð svindlara reyna að dylja slíka notkun í efni á netinu og samskiptum við skotmörk. Þar á meðal eru svikaherferðir sem líklega eiga uppruna sinn í Kambódíu og fyrirskipa líkaninu að fjarlægja löng þankastrik úr svörum.

Í einu tilviki reyndu svindlararnir að útskýra umfangsmiklar lokanir á samfélagsmiðlareikningum sínum með því að skálda afsökun fyrir banninu. Þetta varðaði svikamiðstöðina sem lýst er hér að ofan, starfaði í gegnum SMS og WhatsApp og átti líklega uppruna sinn í Kambódíu. Eftir að WhatsApp lokaði „fjárfestingarhópum“ sem tengdust starfseminni fóru rekstraraðilarnir að búa til skilaboð þar sem því var haldið fram að samkeppnisaðili hefði ranglega tilkynnt hópana, líklega til að útskýra lokanirnar.

Skjáskot af WhatsApp-skilaboðum sem svikaherferðin tengd Kambódíu sendi rannsakanda hjá OpenAI eftir að WhatsApp greip til aðgerða.