Að skilja kvaðningarvörpun: framarleg öryggisáskorun

Gervigreindarverkfæri eru farin að gera meira en að svara spurningum. Þau geta nú vafrað um vefinn, aðstoðað við rannsóknir, skipulagt ferðir og hjálpað við að kaupa vörur. Þegar þau verða hæfari, með getu til að nálgast gögnin þín í öðrum öppum og framkvæma aðgerðir fyrir þig, koma fram nýjar öryggisáskoranir. Eitt sem við leggjum mikla áherslu á er kvaðningarvörpun.

Kvaðningarvörpun er tegund af blekkingarárás sem er sértæk fyrir samtalsgervigreind. Fyrstu gervigreindarkerfi voru samtöl milli eins notanda og eins fulltrúa. Í gervigreindarvörum í dag getur samtalið þitt innihaldið efni frá mörgum aðilum, þar á meðal af internetinu. Hugmyndin um að þriðji aðili (sem er hvorki notandinn né gervigreindin) gæti villt um fyrir líkaninu með því að setja illgjarnar leiðbeiningar inn í samhengið í samtalinu leiddi til hugtaksins „kvaðningarvörpun“.

Á sama hátt og vefveiðipóstar eða svik á netinu reyna að blekkja fólk til að gefa upp viðkvæmar upplýsingar, reynir kvaðningarvörpun að blekkja gervigreind til að framkvæma eitthvað sem þú baðst ekki um.

Ímyndaðu þér að þú hafir beðið gervigreind um að hjálpa þér að gera rannsóknir á orlofi á netinu, og á meðan hún gerir það rekst hún á villandi efni eða skaðlegar leiðbeiningar sem eru faldar á vefsíðu, til dæmis í athugasemd við skráningu eða í umsögn. Efnið gæti verið vandlega samið til að reyna að blekkja gervigreindina til að mæla með rangri skráningu, eða það sem verra er, til að stela kreditkortaupplýsingum þínum.

Þetta eru aðeins nokkur dæmi um árásir með „kvaðningarvörpun“—skaðlegar leiðbeiningar sem eru hannaðar til að blekkja gervigreindina til að framkvæma eitthvað sem þú ætlaðir ekki, oft faldar í venjulegu efni eins og vefsíðu, skjali eða tölvupósti.

Þessi áhætta eykst eftir því sem gervigreindin hefur aðgang að viðkvæmari gögnum og tekur meira frumkvæði og að sér lengri verkefni.

Að verjast kvaðningarvörpun er áskorun í gervigreindariðnaðinum og lykilatriði hjá OpenAI. Þó að við búumst við að andstæðingar haldi áfram að þróa slíkar árásir, erum við að byggja upp varnir sem eru hannaðar til að framkvæma það verkefni sem notandinn ætlar sér, jafnvel þegar einhver reynir að villa um fyrir þeim. Sú geta er nauðsynleg til að ávinningur af AGG nýtist á öruggan hátt.

Til að vernda notendur okkar og bæta líkön okkar gegn þessum árásum, beitum við marglaga nálgun, þar á meðal eftirfarandi:

Við viljum gervigreind sem þekkir kvaðningarvörpun og fellur ekki fyrir henni. Hins vegar er seigla gegn fjandsamlegum árásum viðvarandi áskorun fyrir vélnám og gervigreind, sem gerir þetta að erfiðu og viðvarandi vandamáli. Við höfum þróað rannsókn sem kallast leiðbeiningarstigveldi⁠ til að vinna að líkönum sem greina á milli leiðbeininga sem er treyst og þeirra sem ekki er treyst. Við höldum áfram að þróa nýjar aðferðir til að þjálfa líkön til að þekkja betur mynstur kvaðningarvörpunar svo þau geti hunsað þau eða flaggað þeim fyrir notendum. Ein af aðferðunum sem við notum er sjálfvirkt rauðteymi, svið sem við höfum verið að rannsaka⁠(opnast í nýjum glugga) í mörg ár, til að þróa nýjar árásir með kvaðningarvörpun.

Við höfum þróað mörg sjálfvirk, gervigreindarknúin vöktunarkerfi⁠ til að bera kennsl á og stöðva kvaðningarvörpunarárásir. Þetta bætir við öryggisþjálfunaraðferðirnar þar sem hægt er að uppfæra þær hratt til að stöðva fljótt allar nýjar árásir sem við uppgötvum. Þessir skimanir hjálpa ekki aðeins við að bera kennsl á mögulegar kvaðningarvörpunarárásir gegn notendum okkar, heldur gera þær okkur einnig kleift að greina fjandsamlegar rannsóknir og prófanir á kvaðningarvörpunarárásum sem nota verkvanginn okkar, áður en þessar árásir eru framkvæmdar í raunheimum.

Við höfum hannað vörur okkar og innviði með ýmsum samverkandi öryggisráðstöfunum til að tryggja öryggi gagna notenda. Þessir eiginleikar, sem við munum skoða nánar í tæknilegum smáatriðum í framtíðarfærslum, eru sérsniðnir fyrir hverja vöru. Til dæmis, til að hjálpa þér að forðast ótraustar vefsíður, munum við biðja þig um að samþykkja ákveðna tengla í ChatGPT, sérstaklega á vefsíðum sem biðja okkur um að ekki skrásetja þær⁠(opnast í nýjum glugga), áður en hægt er að heimsækja þær. Þegar gervigreindin okkar notar verkfæri til að keyra önnur forrit eða kóða (eins og í Canvas eða þróunarverkfærinu okkar Codex), notum við tækni sem kallast sandkassa til að koma í veg fyrir að líkanið geri skaðlegar breytingar sem gætu verið afleiðing af kvaðningarvörpun.

Við bjóðum upp á innbyggðar stýringar í vörum okkar til að hjálpa notendum að vernda sig. Til dæmis, í ChatGPT Atlas, geturðu valið að nota ChatGPT‑fulltrúa í útskráningarstillingu sem gerir honum kleift að hefja verkefni án þess að vera innskráð(ur) á vefsíður. ChatGPT‑fulltrúi gerir einnig hlé og biður um staðfestingu áður en hann tekur viðkvæm skref eins og að ljúka kaupum. Þegar fulltrúinn starfar á viðkvæmum vefsvæðum, höfum við einnig innleitt „Vöktunarstillingu“ sem lætur þig vita af viðkvæmni vefsvæðisins og krefst þess að þú hafir flipann virkan til að fylgjast með því að fulltrúinn vinni sitt verk. Fulltrúinn mun gera hlé ef þú ferð af flipanum með viðkvæmum upplýsingum. Þetta tryggir að þú sért meðvitaður/meðvituð—og hafir stjórn—yfir því hvaða aðgerðir fulltrúinn er að framkvæma.

Við framkvæmum umfangsmikið rauðteymi með innri og ytri teymum til að prófa og bæta varnir okkar, herma eftir hegðun árásaraðila og finna nýjar leiðir til að bæta öryggi okkar. Þetta felur í sér þúsundir klukkustunda sem beinast sérstaklega að kvaðningarvörpun. Eftir að við uppgötvuðum nýjar aðferðir og árásir, bregðast teymi okkar fyrirbyggjandi við öryggisveikleikum og bæta mótvægisaðgerðir fyrir líkönin okkar.

Til að hvetja sjálfstæða öryggisrannsakendur sem starfa í góðri trú til að hjálpa okkur að uppgötva nýjar aðferðir og árásir með kvaðningarvörpun, bjóðum við fjárhagslegar umbunir í gegnum gallaumbunarkerfið⁠(opnast í nýjum glugga) okkar þegar þeir sýna raunhæfa árásarleið sem gæti leitt til óviljandi birtingar á notendagögnum. Við hvetjum utanaðkomandi þátttakendur til að koma þessum málum fljótt á framfæri svo við getum leyst þau og styrkt varnir okkar enn frekar.

Við fræðum notendur um áhættuna sem fylgir því að nota ákveðna eiginleika í vörunni svo þeir geti tekið upplýstar ákvarðanir. Til dæmis, þegar þú tengir ChatGPT við önnur öpp, útskýrum við hvaða gögnum gæti verið veittur aðgangur, hvernig þau gætu verið notuð og hvaða áhætta gæti skapast, eins og að vefsvæði reyni að stela gögnum þínum, ásamt tengli til að læra hvernig þú getur verið öruggari. Við veitum einnig fyrirtækjum stjórn á því hvaða eiginleikar má virkja eða nota af notendum á vinnusvæðum þeirra.

Kvaðningarvörpun er framarleg öryggisáskorun sem við búumst við að muni halda áfram að þróast með tímanum. Ný stig gervigreindar og getu krefjast þess að tæknin, samfélagið og áhættumótvægisstefnan þróist saman. Og líkt og með tölvuvírusa snemma á fyrsta áratug þessarar aldar teljum við mikilvægt að allir skilji ógnina af kvaðningarvörpun og hvernig eigi að takast á við áhættuna, svo við getum öll lært að njóta góðs af þessari tækni á öruggan hátt. Að vera vakandi og varfærinn hjálpar til við að halda gögnunum þínum öruggum þegar þú notar gervigreind og eiginleika sem geta starfað fyrir þig.

Þegar mögulegt er skaltu takmarka aðgang fulltrúa við einungis þau viðkvæmu gögn eða aðgangsupplýsingar sem hann þarf til að ljúka verkefninu. Til dæmis, þegar þú notar fulltrúastillingu í ChatGPT Atlas til að gera rannsóknir um orlof, ef fulltrúinn er aðeins að framkvæma rannsóknir og þarf ekki innskráðan aðgang, notaðu „útskráða“ stillingu.

Við hönnum oft fulltrúa til að fá endanlega staðfestingu frá þér áður en þeir grípa til ákveðinna afdrifaríkra aðgerða, eins og að ljúka kaupum eða senda tölvupóst. Þegar fulltrúi biður þig um að staðfesta aðgerð skaltu vandlega ganga úr skugga um að aðgerðin sé rétt og að allar upplýsingar sem deilt er séu viðeigandi í því samhengi.

Þegar fulltrúi starfar á viðkvæmri síðu, eins og bankanum þínum, fylgstu með því hvernig hann framkvæmir verkið sitt. Þetta er eins og að fylgjast með sjálfkeyrandi bíl með því að halda höndunum á stýrinu.

Að gefa fulltrúa mjög víðtækar leiðbeiningar eins og „farðu yfir tölvupóstinn minn og gríptu til hvaða aðgerða sem nauðsynlegar eru“ getur auðveldað földu skaðlegu efni að villa um fyrir líkaninu, jafnvel þó það sé hannað til að hafa samband við þig áður en það grípur til viðkvæmra aðgerða.

Það er öruggara að biðja fulltrúann um að gera tiltekna hluti og ekki veita honum víðtækt svigrúm til að fylgja hugsanlega skaðlegum leiðbeiningum frá öðrum stöðum, eins og tölvupósti. Þó að þetta ekki tryggi að engar árásir verði gerir það árásaraðilum erfiðara að ná árangri.

Eftir því sem gervigreindartækni þróast munu nýjar áhættur og varúðarráðstafanir koma fram. Fylgstu með nýjustu fréttum frá OpenAI og öðrum áreiðanlegum aðilum til að læra um bestu starfsvenjur.

Kvaðningarvörpun er áfram krefjandi rannsóknarvandamál framarlega, og líkt og hefðbundin svik á vefnum, búumst við við að vinna okkar verði viðvarandi. Þó að við höfum ekki enn orðið vitni að umtalsverðri notkun þessarar tækni af hálfu árásaraðila, búumst við við að andstæðingar muni verja verulegum tíma og fjármagni í að finna leiðir til að blekkja gervigreind með þessum árásum. Við höldum áfram að fjárfesta mikið í að tryggja öryggi vara okkar og í rannsóknum til að auka styrk gervigreindar gegn þessari áhættu. Við munum deila uppfærslum þegar við fáum frekari upplýsingar, þar á meðal um framvindu í öryggisvinnu okkar á þessu sviði. Til dæmis erum við að vinna að skýrslu sem við munum birta fljótlega og sem veitir frekari upplýsingar um hvernig við greinum hvort samskipti gervigreindarinnar þinnar við internetið myndu senda upplýsingar úr samtalinu þínu.

Markmið okkar er að gera þessi kerfi jafn áreiðanleg og örugg og að vinna með traustasta og öryggismeðvitaðasta samstarfsmanni eða vini þínum. Við munum halda áfram að læra af raunverulegri notkun, endurtaka á öruggan hátt og birta það sem við lærum eftir því sem tæknin þróast.