Vipaumbele na kanuni za tathmini bora za wahusika wengine

Maabara za AI ya mpaka zina wajibu mkubwa wa kufunza, kutathmini na kutumia miundo kwa usalama. Tathmini za wahusika wengine ni muhimu katika kusawazisha wajibu huo, kupanua fursa za kuchangia usalama wa AI, kuufahamisha ulimwengu na kuhakikisha maabara zinawajibika kwa madai ya usalama yaliyo wazi na yanayoungwa mkono kwa uhuru.

Kama sehemu ya juhudi zetu za kuendana na maendeleo ya hali ya juu, OpenAI imejitolea kusaidia tathmini huru kwa kutoa ufikiaji wa kina katika mafunzo, tathmini na matumizi. Ufikiaji huo unapaswa kuwawezesha watathmini kupinga dhana zetu, kutambua hatari ambazo huenda hatukuziona na kufikia mahitimisho yao kuhusu ufanisi wa hatua zetu za ulinzi.

Kwa muda mrefu tumeshirikiana na watathmini wa nje katika hatua mbalimbali za mchakato wa kuunda na kutumia muundo. Pia tumejumuisha tathmini za wahusika wengine katika taratibu za Mfumo wa Maandalizi na kuunga mkono mashirika na sheria zinazotetea mchakato makini na wenye uwajibikaji zaidi. Katika ushirikiano huu, tumetoa ufikiaji wa kina, ukiwemo ufikiaji wa taarifa kuhusu hatua zetu za kiufundi za ulinzi, msururu wa mawazo unaoonekana, na viwango visivyo na kifani vya ufikiaji wa data za siri na matumizi ya ndani kwa ajili ya kukabiliana na matukio na jaribio la kubaini udhaifu wa mfumo katika ufuatiliaji. Vipaumbele na kanuni hizi zinalenga ushirikiano wetu na mashirika huru ya tathmini katika sekta binafsi na zisizo za faida kuhusu tathmini za kiufundi za usalama. Zinakamilisha kazi yetu na serikali kuhusu majaribio na tathmini, ambako majukumu tofauti yanaweza kuhitaji mbinu tofauti.

Ili tathmini hizi ziwe bora, zinahitaji mifumo imara ya uhuru, umakini wa kisayansi, taratibu madhubuti za usalama na majukumu yaliyo wazi. Maabara zina wajibu wa kuwezesha uchunguzi wa kina huku zikilinda taarifa nyeti. Maabara na watathmini huru wanashiriki wajibu wa kuhakikisha hili linafanywa vizuri, na wanapaswa kufuata viwango vya pamoja vya kimataifa vya taratibu za usalama na ulinzi. Hapa chini tunapendekeza maeneo manne ya kipaumbele kwa tathmini ya kina, pamoja na kanuni za kazi makini, salama na huru.

Tathmini za wahusika wengine hufaa zaidi zinaposhughulikia maswali mahususi yenye athari kubwa: Je, ushahidi unaunga mkono hoja na madai ya usalama ya maabara? Je, tathmini zinajaribu vya kutosha hatari zinazokusudiwa kupimwa? Je, hatua za ulinzi hufanya kazi katika hali halisi?

Tathmini zilizoelezwa hapa zinakusudiwa kuwa za aina tofauti kulingana na masuala ya usalama yanayochunguzwa. Tunatarajia kusaidia tathmini nyingi kwa wakati mmoja na kwa vipindi tofauti, baadhi zikidumu wiki kadhaa na nyingine miezi kadhaa. Ingawa tathmini za wahusika wengine zinaweza pia kuwa sehemu ya kazi ya kabla ya matumizi na kuathiri maamuzi ya matumizi, kazi iliyoelezwa hapa kwa kawaida ni ya muda mrefu na haitegemei uzinduzi—inalenga kuchunguza kwa kina madai mahususi ya usalama kadiri muda unavyopita.

Katika maeneo yetu yote ya kipaumbele na kanuni, tunarejelea madai ya usalama na hoja za usalama. Maana yetu ya istilahi hizi ni kama ifuatavyo:

Tunapendekeza maeneo manne ya kipaumbele kwa tathmini ya kina, pamoja na kanuni za kazi makini, salama na huru.

1. Tathmini huru ya hoja za usalama, ikihusisha mafunzo, tathmini, matumizi ya ndani na matumizi ya nje.

   Kutathmini hoja za usalama kunahitaji utaalamu wa ulinganishaji, mbinu za udhibiti kama vile ufuatiliaji, usalama wa mtandao, matumizi mabaya ya kibayolojia na kikemikali, na jaribio la kubaini udhaifu wa mfumo. Hoja za usalama hujumuisha madai kuhusu mafunzo, tathmini za uwezo na hatua za ulinzi, ambazo zinaweza kutathminiwa kwa pamoja au kwa sehemu (tazama vipaumbele vya 2 na 3 hapa chini). Huenda watathmini wengi wakahitaji kuchunguza sehemu tofauti za hoja hizo kwa kutumia utaalamu wao husika. Kwa pamoja, tathmini zao zinapaswa kujibu maswali kama haya:

   1. Je, ushahidi wa hoja za usalama kuhusu mafunzo, tathmini na matumizi umethibitishwa? Je, masharti ya hoja ya usalama yalifuatwa wakati wa mafunzo, tathmini na matumizi?

   2. Je, hoja zetu za usalama zinajumuisha hatari za dharura zaidi zilizotambuliwa wakati wa tathmini? Je, madai ya usalama yanaunga mkono hoja ya jumla ya usalama? Je, kuna mapungufu au maeneo yanayohitaji kuboreshwa?

   3. Je, mbinu bora hutumiwa kutambua na kupunguza motisha katika mafunzo zinazoweza kuthawabisha udanganyifu, reward hacking, vitendo haribifu au kukwepa vikwazo?

2. Tathmini ya hatua muhimu za ulinzi katika matumizi ya ndani na ya nje

   Mkusanyiko wetu wa hatua za ulinzi unaendelea kubadilika ili kuendana na uwezo na mazingira yanayobadilika. Hatua zetu za ulinzi zinahusisha mafunzo, matumizi ya ndani na matumizi ya nje. Kwa sasa zinajumuisha hatua za ulinzi katika kiwango cha muundo, utekelezaji na usalama, pamoja na mifumo ya kufuatilia kutolingana—zikishughulikia hatari nyingi kama vile kupoteza udhibiti na matumizi mabaya yanayohusisha hatari za mtandao, kibayolojia na kikemikali. Ushirikiano wa kiufundi unaweza kutambua udhaifu wa sasa katika hatua za ulinzi huku ukiboresha mbinu za tathmini na kuharakisha uundaji wa viwango, hivyo kuweka msingi thabiti wa kiufundi kwa sera za umma za siku zijazo ili kuendana na maendeleo ya hali ya juu—hasa kwa matumizi ya ndani, ambako viwango vya usalama na ulinzi bado ni vya awali.

   Tathmini huru zinapaswa kuchunguza jinsi hatua hizi za ulinzi zinavyofanya kazi na maeneo ambayo zinaweza kuwa na mapungufu, kama vile:

   1. Kwa kutumia ufikiaji wa “kisanduku kijivu”, je, hatua za ulinzi zinahimili majaribio ya kiuadui (jailbreaks), na zinalinda vya kutosha dhidi ya ongezeko la uwezo katika nyanja hatarishi (k.m., mtandao na biolojia)? Je, majaribio yetu ya kiuadui na jaribio la kubaini udhaifu wa mfumo yanajumuisha hatari muhimu zaidi?

   2. Katika majaribio yaliyoidhinishwa chini ya hali halisi za uendeshaji, mawakala huingiliana vipi na ulinzi wa mtandao kama vile udhibiti wa ufikiaji, mazingira yaliyotengwa, na mifumo ya kugundua na kukabiliana? Ni mifumo ipi ya ulinzi inayozuia, kugundua au kudhibiti vitendo vyenye madhara, na inashindwa wapi?

   3. Je, mifumo yetu ya kufuatilia kutolingana ina mapungufu yoyote makubwa yanayoweza kusababisha kupoteza udhibiti au kutolingana sana katika matumizi ya ndani na ya nje? Kadiri uwezo wa muundo unavyoboreshwa, ufuatiliaji wa msururu wa mawazo unaaminika kwa kiwango gani kama chanzo cha ushahidi wa usalama au ulinganishaji?

   4. Je, ufuatiliaji unaofaa umetekelezwa katika mafunzo, tathmini na matumizi yote husika kwa njia ambayo haiwezi kuzimwa kwa urahisi?

   5. Je, hatua za ulinzi zimetekelezwa kulingana na uwezo uliopo?

3. Tathmini ya uwezo inayojumuisha makundi ya hatari ya Maandalizi (Hatari za Kikemikali na Kibayolojia, Usalama wa Mtandao na Kujiboresha kwa AI) na tathmini za ulinganishaji kwa hatari za kutolingana

   Mfumo wetu wa Maandalizi unahitaji tathmini za maeneo muhimu ya hatari za kiwango cha juu. Kadiri viwango vinavyovukwa na tathmini kufikia kikomo, ni muhimu kusasisha mara kwa mara na kuhakikisha wigo na ubora wa tathmini za uwezo katika maeneo ya hatari ya Maandalizi, pamoja na tathmini za ulinganishaji zinazolenga kupima hatari kubwa za kutolingana.

   Maswali husika ni pamoja na:

   1. Je, tathmini za hatari za Maandalizi zinajumuisha vya kutosha ufafanuzi wa kiwango cha hatari ya Maandalizi? Je, viwango vya tathmini hizi vimewekwa kwa usahihi?

   2. Je, tathmini husasishwa miundo inapopata alama za juu zaidi mara kwa mara, na majaribio mapya hupima kwa maana uwezo wa hali ya juu zaidi?

   3. Je, tathmini zetu za ulinganishaji zinajumuisha vya kutosha hatari kubwa za kutolingana, na zinaweza kukosa tabia au hali zipi muhimu?

4. Uchunguzi huru wa matukio makubwa ya kutolingana

   Uchunguzi huru unaweza kufaa katika matukio mbalimbali makubwa ya usalama wa AI. Hapa tunalenga kutolingana kwa muundo, ikiwemo miundo kutenda bila idhini au kukwepa usimamizi, hali inayoweza kufichua udhaifu wa mbinu za ulinganishaji na hatua za ulinzi hata bila matumizi mabaya ya kimakusudi.

   Katika hali fulani, kama ilivyokuwa kwa tukio la OpenAI Hugging Face, inaweza kufaa kumhusisha mhusika huru wa nje katika uchunguzi huru wa matukio ya kutolingana. Ni muhimu wahusika wengine wanaohusika katika uchunguzi wa tukio wawe na utaalamu unaohitajika, ikiwemo inapofaa utaalamu wa uchunguzi wa kidijitali wa mtandao, ulinganishaji, uchanganuzi mkubwa wa msururu wa mawazo, pamoja na wafanyakazi na rasilimali za kufanya uchunguzi kwa wakati. Kukabiliana na tukio kunaweza kuhusisha ufikiaji wa data nyeti za ndani na za wahusika wengine; kwa hivyo, baadhi ya maelezo yanaweza kuwa nyeti kuchapishwa au kufikiwa. Matokeo ya uchunguzi huru yanaweza pia kuimarisha hoja ya usalama ya muundo kwa kutoa ushahidi wa kutathmini madai kuhusu ulinganishaji wake na ufanisi wa hatua zilizochukuliwa kurekebisha kutolingana kulikobainika awali.

   Katika muktadha wa matukio ya kutolingana, tunapa kipaumbele tathmini huru kuhusu:

   1. Ni tabia gani ya muundo au matatizo gani ya kutolingana yaliyotokea wakati wa tukio, na sababu kuu zilizochangia ni zipi?

   2. Je, hatua za ulinzi na marekebisho zitapunguza ipasavyo matukio kama haya siku zijazo?

• Madai yenye upeo ulio wazi na yaliyokubaliwa na pande zote kwa ajili ya tathmini: Tathmini zinapaswa kuanza kwa upeo uliokubaliwa na pande zote, kisha madai ya usalama yafafanuliwe wazi na kusajiliwa mapema kabla ya shughuli za tathmini kuanza. Wahusika wengine na maabara wanapaswa kufafanua ikiwa haya ni madai ambayo kampuni inayotathminiwa inataka yawasilishwe kwa tathmini, au madai ambayo mtathmini wa nje analenga kutathmini kwa kujitegemea na ambayo maabara imekubali kutathminiwa dhidi yake. Kuna sababu nyingi zinazoweza kufanya baadhi ya madai yawe nje ya upeo, zikiwemo wahusika wengine kutoweza kufikia data, mtathmini kutokuwa na utaalamu wa kutosha, au vikwazo vya muda vinavyofaa ikiwa tathmini ni ya dharura. Maabara na watathmini wanapaswa kuweka mchakato wa kuzingatia hatari kubwa zinazotambuliwa nje ya upeo wa awali, ikiwemo kuamua ikiwa uchunguzi zaidi unahitajika. Mahitimisho yanapaswa kuweka wazi kilichotathminiwa na ambacho hakikutathminiwa kuhusiana na upeo uliokubaliwa na pande zote.

• Ufikiaji unaolingana na mahitaji: Inapowezekana, watathmini wanapaswa kupewa ufikiaji unaolingana na mahitaji ili kutathmini madai yaliyokubaliwa, kwa kuzingatia vikwazo vya kisheria, usalama na haki miliki. Ikiwa ufikiaji wa moja kwa moja hauwezekani au hautekelezeki, watathmini wanaweza kufanya kazi na mwakilishi aliyeteuliwa wa kampuni au kuchunguza njia zisizo za moja kwa moja au zinazolinda faragha ili kulinda taarifa za msingi.

• Mbinu na viwango vya uwazi: Watathmini wanapaswa kueleza mbinu zao, vigezo vya tathmini na mambo yasiyo na uhakika, wakitumia viwango vilivyowekwa vinapopatikana. Ikiwa viwango bado havipo, wanapaswa kueleza wazi sababu za kutumia vigezo walivyochagua. Ripoti zinapaswa kutofautisha matokeo ya moja kwa moja na tafsiri yake, kueleza mambo yasiyo na uhakika na kuweka wazi mahitimisho yanayoungwa mkono na ushahidi.

• Utaalamu na uhuru: Watathmini wanapaswa kuonyesha utaalamu husika wa kiufundi na kutambua, kufichua na kushughulikia migongano ya kimaslahi ya shirika na ya mtu binafsi, ikiwemo motisha za kifedha, uhusiano na wasanidi na ushiriki wa awali katika kazi inayotathminiwa. Hatua za ulinzi zinapaswa kubuniwa ili kuhakikisha kuwa shinikizo la kibiashara na mipango ya malipo haviathiri matokeo, na zinaweza kujumuisha kujiondoa au vipindi vinavyofaa vya kutoshiriki.

• Usalama na usiri: Watathmini wanapaswa kuonyesha taratibu za usalama wa taarifa na ulinzi wa usiri unaoweza kutekelezwa kwa wafanyakazi wao, kulingana na unyeti wa mifumo na taarifa wanazofikia. Ulinzi huu unapaswa kujumuisha haki miliki, taarifa nyeti na rekodi za tathmini. Ikiwa watathmini hawawezi kutimiza masharti ya usalama katika mazingira yao, au data inayofikiwa ni nyeti sana, inaweza kufaa kutumia vifaa au maeneo yanayosimamiwa na kampuni.

• Matokeo yanayoweza kufanyiwa kazi na muda wa kurekebisha: Tathmini zinapaswa kubainisha mapungufu mahususi na kutoa maelezo ya kutosha ili maabara ziyashughulikie. Inapofaa, maabara zinapaswa kupewa muda wa kutosha wa kurekebisha matatizo kabla ya kuchapishwa. Inapohusika, ripoti zinapaswa pia kueleza mafunzo kwa wasanidi, watekelezaji na walinzi wa mawakala, pamoja na mapendekezo yanayotekelezeka.

• Mbinu za uchapishaji wenye kuwajibika: Ripoti za tathmini zinapaswa kutegemea ushahidi na kushirikiwa kwa uwazi kadiri iwezekanavyo huku zikilinda taarifa nyeti na za siri. Ikiwa ufichuaji kamili kwa umma hauwezekani, kuripoti kwa siri kwa vyombo vinavyofaa vya usimamizi, kama vile vyombo vya utawala au bodi za kampuni, kunaweza kuimarisha uwajibikaji. Ulinzi na sera za kuficha taarifa kwa kuzingatia kanuni, pamoja na matarajio wazi kuhusu maoni na kusahihisha taarifa zisizo sahihi, vinapaswa kuwepo ili kudumisha uwiano kati ya uhuru na usiri. Watathmini wanapaswa kudumisha uhuru wa uhariri huku wakihakikisha kuwa usiri na haki miliki zinalindwa. Watathmini wanapaswa kuweka sera wazi zinazoruhusu maabara kuomba taarifa nyeti zifichwe, huku watathmini wakiweza kutaja sehemu muhimu zilizofichwa na athari zake kwa ripoti ya tathmini.

Tumejitolea kuwaunga mkono watathmini huru na kuweka viwango vya kimataifa vilivyo wazi na vya pamoja—kupitia sheria za siku zijazo na taasisi binafsi za utawala—kwa ajili ya tathmini bora za wahusika wengine. Ingawa mfumo wa tathmini huru bado unakua, tutasaidia ukuaji wake kwa kuunga mkono na kushirikiana na jamii mbalimbali ya watathmini huru wenye utaalamu wa kina kuhusu masuala ya usalama wa mpaka. Hakuna mhusika mmoja wa nje anayeweza au anayepaswa kushughulikia kikamilifu masuala yote ya dharura ya usalama wa mpaka. Tutachukua hatua kwa makusudi na kwa uangalifu ili kukuza uwezo wetu na kuwezesha mfumo unaokua wa wahusika wengine kukubaliana kuhusu mbinu na kanuni bora. Tunajadiliana na wahusika kadhaa wa nje kuhusu mapendekezo yanayolingana na maeneo ya kipaumbele yaliyo hapo juu.