Predstavljamo OpenAI-jev program nagrajevanja za odkrite varnostne napake

Družba OpenAI danes začenja javni program nagrajevanja za odkrite varnostne napake⁠(odpre se v novem oknu), ki se osredotoča na prepoznavanje zlorab umetne inteligence in varnostnih tveganj v vseh naših produktih. S hitrim razvojem tehnologije umetne inteligence se povečujejo tudi možni načini njene zlorabe. Naš cilj je zagotoviti, da naši sistemi ostanejo varni in zaščiteni pred napačno uporabo ali zlorabo, ki bi lahko povzročila oprijemljivo škodo. 

Ta novi program bo dopolnjeval OpenAI-jev program nagrajevanja za odkrite varnostne ranljivosti⁠(odpre se v novem oknu), saj bo sprejemal težave, ki predstavljajo pomembna tveganja zlorabe in varnostna tveganja, tudi če ne izpolnjujejo meril za varnostno ranljivost. V sklopu tega programa se veselimo nadaljnjega sodelovanja z raziskovalci na področju varnosti in zaščite, ki nam pomagajo prepoznati in obravnavati težave, ki ne sodijo med običajne varnostne ranljivosti, vendar še vedno predstavljajo pomembna tveganja. Prijave bodo pregledale in razvrstile OpenAI-jeve ekipe za program nagrajevanja za odkrite varnostne napake in pomanjkljivosti, ki po potrebi glede na obseg in pristojnost lahko prehajajo med obema programoma.

Novi program nagrajevanja za odkrite varnostne napake⁠(odpre se v novem oknu) se osredotoča na spodaj navedene varnostne scenarije, specifične za umetno inteligenco:

Agentska tveganja, vključno s protokolom MCP

• Vstavljanje zavajajočega poziva s strani tretje osebe in eksfiltracija podatkov: ko besedilo napadalca lahko zanesljivo ugrabi agenta žrtve (vključno z agentom Browser, ChatGPT Agent in podobnimi agentskimi produkti) ter ga pretenta, da izvede škodljivo dejanje ali razkrije občutljive podatke uporabnika. Takšno vedenje mora biti mogoče poustvariti vsaj v 50 % primerov. 
• OpenAI-jev agentski produkt izvede nedovoljeno dejanje na spletnem mestu družbe OpenAI v velikem obsegu.
• OpenAI-jev agentski produkt izvede potencialno škodljivo dejanje, ki ni navedeno zgoraj. Veljavna poročila morajo v tem primeru navesti verjetno in znatno škodo.
• Vsako preizkušanje za tveganje po protokolu MCP mora biti v skladu s pogoji storitev zunanjih ponudnikov.

Lastniške informacije družbe OpenAI

• Generacije modelov, ki vračajo lastniške informacije, povezane s sklepanjem.
• Ranljivosti, ki razkrivajo druge lastniške informacije družbe OpenAI.

Neokrnjenost računa in platforme

• Ranljivosti v signalih neokrnjenosti računa in platforme, kot so obidenje nadzornih mehanizmov proti avtomatizaciji, manipulacija signalov zaupanja računa, izogibanje omejitvam, začasnim onemogočitvam in trajnim prepovedim računa ter podobne težave.
• Težave, ki uporabnikom omogočajo dostop do funkcij, podatkov ali zmogljivosti, ki presegajo njihova odobrena dovoljenja, je treba prijaviti v sklopu programa nagrajevanja za odkrite varnostne ranljivosti⁠(odpre se v novem oknu).

Čeprav »jailbreaki« niso del tega programa, občasno izvajamo zasebne kampanje nagrajevanja za odkrite programske napake, osredotočene na določene vrste škode, kot so vsebinske težave, povezane z biološkimi tveganji, v agentu ChatGPT Agent⁠ in modelu GPT‑5⁠. Zainteresirane raziskovalce vabimo, da se prijavijo v te programe, ko bodo na voljo. 

Onkraj zgoraj navedenih kategorij se lahko ugotovitve raziskovalcev, če prepoznajo pomanjkljivosti, ki neposredno vodijo do škode za uporabnike, ter izvedljive, jasno opredeljene korake za odpravo, štejejo za upravičene do nagrade, kar se obravnava od primera do primera. Splošni obvodi pravilnikov o vsebini brez dokazljivega vpliva na varnost ali zlorabo ne spadajo v sklop tega programa. Na primer »jailbreaki«, zaradi katerih model uporablja nesramen jezik ali vrača informacije, ki jih je mogoče zlahka najti z iskalniki, ne spadajo v sklop tega programa.

Raziskovalci, ki jih zanima sodelovanje, se lahko prijavijo prek našega programa nagrajevanja za odkrite programske napake⁠(odpre se v novem oknu). Veselimo se sodelovanja z raziskovalci, etičnimi hekerji in skupnostjo strokovnjakov za varnost in zaščito pri prizadevanjih za varen ekosistem umetne inteligence.