Ruka hadi kwenye maudhui kuu
OpenAI

16 Juni 2026

Utafiti

Kutabiri tabia ya muundo kabla ya kutolewa kwa kuiga usambazaji

Kutumia miktadha halisi ya mazungumzo kukadiria vyema tabia isiyotakiwa ya muundo kabla ya kutolewa.

Utangulizi

Kabla ya kutoa muundo mpya, maabara zinahitaji kuelewa si tu kile unachoweza kufanya, bali pia jinsi unavyoweza kutenda katika matumizi halisi, ikijumuisha mahali ambapo unaweza kuleta hatari mpya. Hili huwa muhimu zaidi kadiri uwezo unavyoongezeka. Kama sehemu ya ukaguzi wetu wa usalama kabla ya usambazaji, tunatumia tathmini lengwa, red-teaming, na ukaguzi mwingine ili kuelewa tabia ya muundo. Sasa tumeanza kutumia mbinu ya kuiga usambazaji wa miundo kabla haujatokea, ambayo huongeza ishara ya ziada: mwonekano wa awali unaofanana na usambazaji wa jinsi muundo mgombea unaweza kutenda kabla haujawafikia watumiaji.

Uigaji wa Usambazaji ni mbinu ya kuiga usambazaji wa baadaye kabla haujatokea. Tunafanya hivyo kwa kurudia mazungumzo ya awali kwa njia inayolinda faragha kwa kutumia muundo mpya mgombea. Hii hutuwezesha kuchunguza jinsi muundo mpya unavyojibu katika miktadha halisi kabla ya kutolewa, ikijumuisha kama tabia mpya zisizotakiwa hujitokeza na zinaweza kuonekana mara ngapi.

Katika usambazaji kadhaa wa Thinking wa mfululizo wa GPT‑5, Uigaji wa Usambazaji uliboresha makadirio yetu ya viwango vya tabia zisizotakiwa za muundo, ulisaidia kuibua aina mpya za kutolingana kabla ya kutolewa, na ulisaidia kupunguza hatari kwamba miundo ingeweza kujua kuwa ilikuwa ikijaribiwa. Pia tulitumia mbinu hii kwenye uzinduzi changamano wa kiwakala, tukionyesha kuwa inaweza kupanuka zaidi ya gumzo la kawaida hadi mipangilio changamano zaidi ya mawakala inayohusisha matumizi ya zana, na pia inaweza kutumika kwa tathmini ya hatari kabla ya usambazaji wa ndani wa muundo.

Tayari tumetumia maarifa kutoka Uigaji wa Usambazaji wakati wa uundaji wa muundo ili kutambua maeneo yasiyoonekana katika tathmini za kawaida na kuongoza mikakati ya kupunguza hatari na maamuzi ya usambazaji. Kadiri tunavyorahisisha kuendesha mtiririko huu, tunatarajia utachukua nafasi kubwa zaidi katika mchakato wa baadaye wa uundaji wa muundo.

Jinsi Uigaji wa Usambazaji unavyofanya kazi

Tathmini za kabla ya usambazaji zinazotumika kote sekta kwa ujumla huwa na mchanganyiko wa madokeza bandia, yaliyoandikwa kwa mkono, au ya uzalishaji yaliyoteuliwa kimakusudi kuwa magumu, yenye ukali mkubwa, au ya kiadui. Tathmini hizi kwa ujumla zimekuwa na malengo mawili yaliyounganishwa: kutathmini jinsi muundo unavyojibu unapojaribiwa kwa shinikizo katika hali zenye uwezekano mdogo sana wa kutokea kwenye trafiki ya usambazaji, na kupata uelewa wa jumla wa tabia zisizotakiwa za muundo, ikijumuisha kupata tabia mpya zisizotakiwa na kutabiri marudio yake wakati wa usambazaji.

Ingawa tathmini za kawaida bado ni muhimu kwa lengo la kwanza, Uigaji wa Usambazaji ni hatua kubwa mbele kuhusiana na lengo la pili kwa hatari zisizo za mkia (katika majaribio yetu, mbinu yetu haitarajiwi kupima tabia zinazotokea kwa marudio ya chini ya 1 katika ujumbe 200,000). Nguvu ya Uigaji wa Usambazaji hutokana na kukwepa baadhi ya changamoto kuu za tathmini za kawaida:

  • Ufunikaji: ni vigumu kuwa na uhakika kwamba madokeza ya tathmini yatafunika aina zote zinazowezekana za tabia zisizotakiwa za muundo. Kupima aina mpya za tabia zisizotakiwa kunahitaji kuunda tathmini mpya, na kujua madhara ya kupima. Hili linaweza kutumia muda na nguvu kazi nyingi, na tathmini zinaweza kufikia kikomo baada ya muda.
  • Upendeleo wa uteuzi: tathmini za kawaida kwa ujumla hujengwa kwa kuzingatia tabia maalum zisizotakiwa za muundo, zikiteuliwa kwa njia zinazopendelea miktadha iliyowahi kutokea awali. Hili linaweza kufanya makadirio yake yasiwe na taarifa ya kutosha kuhusu kutokea kwa tabia hizo katika upana kamili wa usambazaji.
  • Kutambulika kama majaribio na miundo: miundo imezidi kuweza kubaini kuwa inajaribiwa, jambo linaloweza kupotosha tabia yake na vipimo vyetu vya baadaye vya usalama wake. Ingawa tathmini nyingi za kawaida tunazotumia OpenAI pia hutokana na trafiki ya uzalishaji na hazina tatizo hili, hili ni jambo la kawaida linalotia wasiwasi kwa tathmini nyingi za kawaida zinazotumika kote sekta.

Mbinu kuu iliyo nyuma ya Uigaji wa Usambazaji ni rahisi: tunachukua mazungumzo ya hivi karibuni kutoka usambazaji, tunaondoa jibu la awali la msaidizi kutoka muundo wa zamani, na tunalizalisha upya kwa muundo mgombea utakaotolewa. Tunatathmini majibu yaliyokamilishwa kwa kutafuta njia mpya za kushindwa, na kukadiria marudio ya tabia zisizotakiwa wakati wa usambazaji kulingana na marudio katika usambazaji huu unaofanana na usambazaji halisi. Tunaweza kufanya vipimo vivyo hivyo baada ya kutolewa kwenye trafiki halisi ya usambazaji, jambo linalotuwezesha kuthibitisha utabiri wetu wa kabla ya usambazaji.

Uigaji wa Usambazaji hupunguza kwa kiasi kikubwa vikwazo vitatu vilivyoorodheshwa hapo juu: upendeleo wa sampuli hushughulikiwa kwa kutumia usambazaji wa madokeza ya tathmini unaowakilisha matumizi ya hivi karibuni. Uigaji wa Usambazaji wenye madokeza wakilishi pia unaweza kupunguza wasiwasi kuhusu ufunikaji: tunapata ufunikaji mkubwa zaidi wa tabia zisizotakikana za muundo kwa kuiga tu trafiki zaidi. Mbadilishano huu kati ya kompyuta na ufunikaji ni muhimu, kwa sababu hufanya ubora wa mhimili huu wa tathmini ya hatari ukue kulingana na kompyuta, badala ya juhudi za mkono zinazohitajika kujenga tathmini zaidi. Miundo pia haionekani kuweza kutofautisha kati ya mazungumzo yaliyopatikana kupitia uigaji wa usambazaji na trafiki halisi ya usambazaji.

Mchoro unaoonyesha mtiririko wa Kusampuli Tena Uzalishaji kutoka mazungumzo ya uzalishaji kupitia kusampuli tena kunakolinda faragha, uzalishaji wa ukamilishaji wa muundo, tathmini, na makadirio ya wakati wa usambazaji.

Kielelezo 1: Muhtasari wa mtiririko wetu wa Uigaji wa Usambazaji

Eneo

Tathmini za Jadi

Uigaji wa Utekelezaji

Ufikiaji

Bora kwa hatari ndogo za kuenea lakini zenye ukali mkubwa ambazo tunataka kuhakikisha tuna bima yake

Bora zaidi kwa kuelewa wigo wa hatari tunazoweza kuziona katika trafiki ya upelekaji

Uwakilishi / upendeleo

Kuzingatia kutathmini hatari zilizolengwa za zamani au zilizotabiriwa, hata kwa tabia ambazo zina kiwango kidogo sana cha kuenea katika utekelezaji

Mwakilishi wa hatari zinazotokea juu ya kiwango fulani cha trafiki ya sasa ya upelekaji

Uelewa wa tathmini

Viashiria vya majaribio vinavyoweza kuwa dhahiri (km, kwa data ya sintetiki) isipokuwa evals zimeundwa kwa kutumia data ya utekelezaji

Muktadha kama wa ugawaji unaonekana kupunguza kwa kiasi kikubwa ufahamu wa eval

Jitihada

Usambazaji na usanidi maalum wa vidokezo unahitaji juhudi zaidi za mikono

Inahitaji gharama ya miundombinu ya mara moja, na kisha hutumia tena viambishi awali kutoka kwa uwasilishaji na graders kutoka kwa tabia zisizohitajika zinazojulikana.

Ulinganisho wa kiwango cha juu kati ya tathmini za kawaida na Uigaji wa Usambazaji

Jinsi tulivyojaribu Uigaji wa Usambazaji

Ili kutathmini Uigaji wa Usambazaji, tulisajili mapema utabiri wa marudio ya wakati wa usambazaji ya aina 20 za tabia zisizotakikana kwa GPT‑5.4 Thinking. Pia tuliendesha tafiti za kurejea nyuma katika usambazaji mwingine wa miundo ya Thinking ya mfululizo wa GPT‑5. Tabia za muundo tunazochanganua zinajumuisha kutolingana na kategoria za maudhui yasiyoruhusiwa ambazo tumekuwa tukiripoti katika kasi za mfumo (k.m. muundo kudanganya kuhusu zana, au kutoa maudhui ya kingono yasiyoruhusiwa). Ingawa kwa matokeo haya tunafuatilia tu kategoria 20 za tabia zisizotakiwa za muundo, na kutafuta tu tabia mpya zisizolingana, Uigaji wa Usambazaji ni mbinu ya jumla inayoweza kutumika kuiga sifa yoyote ya muundo wakati wa usambazaji.

Trafiki ya uzalishaji tuliyotumia pia ilitoka kwa miundo ya Thinking ya mfululizo wa GPT‑5. Kabla ya kuendesha tathmini zetu, tuliondoa kiotomatiki vitambulisho vilivyounganishwa na akaunti na taarifa zinazoweza kumtambulisha mtu. Kwa mujibu wa sera ya faragha yetu, tulichanganua tu trafiki ya ChatGPT kutoka kwa watumiaji wanaoruhusu data yao itumike kuboresha miundo. Tunaripoti tu matokeo ya jumla kutoka tathmini hizi. Kwa jumla, tulichanganua takribani mazungumzo milioni 1.3 yaliyofutwa utambulisho katika usambazaji wa GPT‑5 Thinking hadi GPT‑5.4, yakijumuisha kipindi cha Agosti 2025 hadi Machi 2026.

Tunatathmini ubora wa tathmini ya hatari ya kabla ya usambazaji iliyotolewa na Uigaji wa Usambazaji kwa njia kuu tatu:

  • Ufunikaji wa taksonomia: je, ukaguzi wa baada ya kutolewa uliibua tabia zozote muhimu zisizolingana zilizokosekana katika taksonomia yetu ya awali ya tabia mbaya?
  • Usahihi wa mwelekeo: je, uigaji ulitabiri kwa usahihi kama kuenea kwa usambazaji kungeongezeka au kupungua kwa tabia zinazojulikana?
  • Urekebishaji wa viwango: je, makadirio yetu ya kabla ya usambazaji yalikuwa karibu na viwango tulivyoviona baadaye katika usambazaji? Kufikia urekebishaji mzuri wa viwango kunahitaji zaidi ya usahihi wa mwelekeo, na kufanya hili kuwa kiwango cha juu zaidi cha ubora kinachowezekana.

Pia tunapima ni kwa kiasi gani miundo inaweza kujua kuwa iko katika tathmini wakati wa Uigaji wa Usambazaji, na kujaribu uimara wa mbinu hii kwa aina tofauti za trafiki ya usambazaji na mipangilio migumu ya matumizi ya zana.

Uigaji wa Usambazaji hupanua sana tathmini ya hatari kabla ya usambazaji

Katika usambazaji wa Thinking wa mfululizo wa GPT‑5, Uigaji wa Usambazaji ulifanya vizuri kuliko misingi ya madokeza magumu katika kubaini kiwango halisi cha hatari, uliweza kuibua udukuzi wa kikokotoo kabla ya kutolewa, na ulionekana uwezekano wa kutotofautishwa na usambazaji na muundo.

Muhtasari wa utabiri wetu. Kwa taswira ya utabiri wote kwa usambazaji wa miundo ya Thinking ya mfululizo wa GPT‑5, tazama Kielelezo 2. Utabiri wa GPT‑5.4 Thinking ulisajiliwa mapema, ilhali mingine ilikuwa utabiri wa kurejea nyuma. Kwa jumla, utabiri wetu ulikuwa na kosa la kuzidisha la wastani la 1.5x (k.m. ikiwa kiwango cha tabia isiyotakikana ni 10 katika 100k, hili lingelingana na kukadiria kiwango cha 15 au 6.67 katika 100k). Ingawa makosa ya mkia ya mbinu yetu yanaweza kuwa takribani mara 10 zaidi, tunatarajia yanaweza kupunguzwa sana kwa maboresho zaidi ya mtiririko wetu wa uigaji, kama inavyojadiliwa hapa chini.

Chati inayoonyesha utabiri wa viwango halisi wa Uigaji wa Usambazaji wa tabia isiyotakikana wakati wa usambazaji kulingana na data ya awali ya usambazaji.

Kielelezo 2. Utabiri wa marudio wa Uigaji wa Usambazaji wa tabia isiyotakikana wakati wa usambazaji kulingana na data ya awali ya usambazaji. Alama 5.1 → 5 inaonyesha kuwa tunasampuli tena viambishi awali kutoka GPT‑5 kwa GPT‑5.1, yaani, kuiga usambazaji wa GPT‑5.1 kulingana na data kutoka GPT‑5. Kiwango cha juu zaidi cha tabia isiyolingana kilikuwa “udukuzi wa kikokotoo” katika GPT‑5.1, ambacho tumekijadili hapo awali(fungua katika dirisha jipya).

Kulinganisha utabiri wa Uigaji wa Usambazaji na misingi. Kategoria muhimu zaidi kukadiria kwa usahihi kwa tathmini za hatari kabla ya usambazaji ni zile zilizo na mabadiliko makubwa ya kutokea baada ya usambazaji wa muundo (k.m. >= 1.5x). Katika seti hii ndogo, Uigaji wa Usambazaji ni bora zaidi kuliko misingi katika kutabiri kama tabia fulani isiyotakikana itaongezeka au kupungua kuenea kwa usambazaji wa muundo (Kielelezo 3, kushoto), na katika kukadiria kutokea kwake halisi wakati wa usambazaji (Kielelezo 3, kulia). Tunatumia misingi miwili mikuu: msingi wa Madokeza Magumu ambao tunautumia sasa kwa kasi za mfumo na maamuzi ya uzinduzi, na msingi rahisi wa kutumia viwango kutoka usambazaji uliopita kama makadirio ya muundo mpya.

Kielelezo 3. Uigaji wa Usambazaji hutabiri mwelekeo wa mabadiliko ya kutokea (kushoto) na viwango halisi vya uzalishaji (kulia) vizuri zaidi kuliko tathmini tuli.

Vyanzo vya kosa la uigaji katika mtiririko wetu. Pia tulichunguza vyanzo vya sasa vya kosa katika mtiririko wetu. Hasa, makosa makubwa ya mkia hufanya mtiririko usiaminike sana kwa maamuzi ya usambazaji: kwa mfano, unapoona ongezeko kubwa lililotabiriwa katika tabia isiyotakikana ya aina fulani, ikiwa inajulikana kuwa mtiririko una makosa makubwa hata mara chache, huibua shaka kama hili ni kadirio la kuaminika au athari ya mtiririko. Kuna vyanzo viwili vikuu vya kosa linalowezekana:

  • Kosa la uaminifu wa mazingira ya kusampuli tena: ili kukadiria viwango vya uzalishaji kwa usahihi, mtiririko wetu wa uigaji unahitaji kuwa halisi kadri iwezekanavyo. Hili kwa sehemu ni tatizo la uhandisi (kusampuli kutoka muundo kwa kutumia mitiririko ileile inayotumika kwa trafiki ya uzalishaji), na kwa sehemu ni changamoto ya kuvutia kwa zana zinazohitaji ufikiaji wa kusoma/kuandika kwenye rasilimali za nje zinazobadilika kila wakati (k.m. utafutaji wa wavuti au kuingiliana na faili za ndani). Tunaweza kutenga kosa la uaminifu wa uigaji kwa kulinganisha utabiri kutoka usambazaji halisi na uigaji wake (yaani, kuiga usambazaji wa muundo ambao tayari umesambazwa).
  • Kosa la mabadiliko ya usambazaji wa dokeza: wasiwasi mkubwa kwa Uigaji wa Usambazaji ni kwamba usambazaji wa muundo wowote utasababisha mabadiliko ya usambazaji katika ingizo, hasa ikiwa watumiaji watajirekebisha kwa uwezo mpya wa muundo. Tunatenga kosa la usambazaji wa dokeza kwa kulinganisha makadirio tunapoiga usambazaji kwa kutumia madokeza ya hivi karibuni dhidi ya madokeza kutoka usambazaji uliotokea.

Kama inavyoonekana katika Kielelezo 4, tunagundua kuwa sehemu kubwa ya kosa katika mtiririko wetu—hasa kwa makosa ya mkia—kwa sasa inatokana na uaminifu wa uigaji. Hizi ni habari njema, kwani tunatarajia uaminifu wa uigaji kwa ujumla uwe rahisi kuboresha kuliko kupunguza mabadiliko ya usambazaji wa dokeza. Pia tunagundua kuwa kosa la mabadiliko ya usambazaji wa dokeza linaweza kupunguzwa kwa kutumia data ya hivi karibuni zaidi kutoka usambazaji uliopita. Maelezo zaidi yanaweza kupatikana katika karatasi ya utafiti.

Kielelezo 4: Uaminifu wa mazingira ya kusampuli tena unaonekana kuwa chanzo kikubwa zaidi cha kosa katika makadirio yetu, hasa kwa makosa yaliyokithiri zaidi.

Ukaguzi otomatiki uligundua kutolingana kupya pekee kulikoletwa katika usambazaji huu. Katika dirisha la usambazaji tulilochunguza, mtiririko wetu wa ukaguzi otomatiki kulingana na usambazaji ulioigwa ungeibua ‘udukuzi wa kikokotoo’ kabla ya kutolewa, ambao ulikuwa kutolingana jipya pekee tulilotambua katika trafiki ya ChatGPT iliyochanganuliwa. Udukuzi wa kikokotoo ni aina ya udukuzi wa zawadi unaohusisha muundo kutumia zana ya kivinjari kama kikokotoo huku ukiwasilisha kitendo hicho kama utafutaji. Hii haimaanishi kuwa ukaguzi wa kiwango kikubwa utanasa kila kushindwa kupya, lakini inaonyesha kwa nini miktadha halisi ni muhimu: inaweza kuchochea tabia ambazo seti finyu za tathmini huenda zisiziibue moja kwa moja, hata kama hazikuwepo katika trafiki asili iliyotumika kuanzisha uigaji.

Kupunguza ufahamu wa tathmini

Faida nyingine ya kutumia miktadha inayofanana na usambazaji ni kwamba inaweza kupunguza upotoshaji unaotokea miundo inapogundua kuwa inajaribiwa. Katika utafiti wa awali, sisi pamoja na wengine(fungua katika dirisha jipya) tumegundua kuwa miundo mara nyingi hufahamu inapojaribiwa. Kwa mfano, miundo inaweza kuwaza katika msururu wa mawazo yake kuhusu kile inachojaribiwa, kile mtathmini anaweza kupenda, na – ikiwa inatenda vibaya – kama itanaswa. Hili huleta tatizo kwa tathmini za upatanishi: ikiwa muundo unatenda vizuri tu kwa sababu unafikiri unajaribiwa, tunajengaje imani kwamba utatenda kwa usalama baada ya kujua kuwa umesambazwa?

Tunaonyesha kuwa Uigaji wa Usambazaji hupunguza kwa kiasi kikubwa viwango vya ufahamu wa tathmini vinavyoonyeshwa na miundo ikilinganishwa na tathmini za kawaida ambazo hazitegemei data halisi ya usambazaji. Tunapima ufahamu wa tathmini kwa njia tatu: kwa kuomba muundo uainishe kama mwendo ulitoka uzalishaji au tathmini, kufuatilia msururu wa mawazo kwa kauli wazi kuhusu kutathminiwa kwa upatanishi, pamoja na metagaming(fungua katika dirisha jipya): uwazaji wowote kuhusu usimamizi. Trafiki ya usambazaji ulioigwa ililingana kwa karibu na trafiki halisi ya usambazaji katika vipimo vyote vitatu. Kwa mfano, GPT‑5.2 iliweka lebo ya trafiki halisi ya uzalishaji kuwa inayofanana na tathmini 5.4% ya wakati na trafiki iliyoigwa 5.1% ya wakati, ilhali tathmini za kawaida (kama SWE-Bench au MonorepoBench, ambazo kimsingi zinaundwa na mifano bandia) ziliainishwa kama tathmini karibu 100% ya wakati.

Kielelezo 5. Ulinganisho wa ufahamu wa tathmini: trafiki halisi ya uzalishaji na trafiki iliyoigwa zinaonyesha viwango sawa vya ugunduzi wa tathmini, ufahamu uliotamkwa wa tathmini ya upatanishi, na metagaming, ilhali seti za data za tathmini za kawaida huripoti viwango vya juu zaidi.

Uigaji wa zana kwa mienendo ya kiwakala

Ili kujaribu kama mbinu inaweza kupanuka zaidi ya modi za kawaida za gumzo, pia tulichunguza kuiga usambazaji kwa mipangilio migumu ya usimbaji wa kiwakala. Hasa, tunatumia mienendo 120,000 ya ndani ya wafanyakazi ya kiwakala kutoka GPT‑5.4 kuiga usambazaji wa ndani wa mawakala wa usimbaji kulingana na GPT‑5.5. Hii hutimiza malengo mawili: inaonyesha jinsi uigaji wa usambazaji unaweza pia kutumika kwa tathmini ya hatari kwa usambazaji wa ndani, na inaonyesha kuwa inawezekana kufanya uaminifu wa uigaji uwe juu hata katika mipangilio ya kiwakala kupitia uigaji makini wa zana.

Hapo juu tulijadili kuwa uaminifu wa uigaji ni mojawapo ya vyanzo vikuu vya kosa katika mtiririko wetu wa sasa. Mojawapo ya changamoto za kufanya uigaji wa usambazaji uwe halisi ni kwamba unahitaji zana kutenda kwa njia halisi, hata zinapohitaji ufikiaji wa kusoma/kuandika kwenye rasilimali za nje zinazobadilika kila wakati (k.m. utafutaji wa wavuti au kuingiliana na faili za ndani).

Hili ni gumu hasa kwa mipangilio kama usambazaji wa kiwakala: mwendo mmoja wa wakala unaweza kutegemea mamia ya miito ya zana, hali ya uhifadhi, majibu ya mtandao, au hitilafu za muda mfupi. Hili hufanya kusampuli tena kwa ufikiaji halisi wa zana kuwa kugumu na huenda hatari. Kwa kuzingatia hili, badala ya kutumia miito ya zana kwenye mifumo hai, tunaiiga kwa LLM nyingine. Tunaonyesha kuwa kuipa LLM hii uwezo wa ziada ni muhimu kwa uhalisia na kwa hivyo ubora wa makadirio.

Tunaupa muundo wa kiigaji-zana uzinduzi wa awali wa zamu ya mwisho, uhifadhi kutoka wakati wa mazungumzo, hifadhidata ya jozi za miito ya zana/majibu, na viunganishi vya kusoma pekee. Katika jaribio ambapo kibaguzi kilijaribu kutofautisha uzinduzi ulioigwa na halisi, uhalisia uliimarika kutoka kiwango cha ushindi cha 11.6% hadi 49.5%, karibu na kiwango cha bahati cha 50%.

Kielelezo 6: Mtu anaweza kufanya uhalisia wa kusampuli tena uwe karibu kutotofautishwa na usampulishaji halisi hata katika mipangilio yenye zana nyingi wakati wa kuiga miito ya zana kwa uwezo ulioongezwa.

Kama ushahidi wa ziada wa uaminifu wa uigaji, tunapoiga trafiki ya kufikiri ya GPT‑5.4 Codex kwa GPT‑5.4, viwango vya kutolingana, takribani, viko ndani ya mipaka ya kosa. Kinyume chake, katika majaribio yetu ya kabla ya usambazaji GPT‑5.5 ilikuwa na kutolingana zaidi katika kategoria nyingi.

Kielelezo 7: Kwa uigaji wa zana, viwango vya tabia kwa mazungumzo yaliyosampuliwa tena kwa GPT‑5.4 na trafiki halisi ya uzalishaji ya GPT‑5.4 vinafanana sana – kuonyesha uaminifu mkubwa wa mazingira ya kusampuli tena. Tazama kasi ya mfumo ya GPT‑5.5(fungua katika dirisha jipya) kwa muktadha zaidi kuhusu kategoria.

Matokeo haya yanaonyesha kuwa Uigaji wa Usambazaji unaweza kupanuka hadi mipangilio changamano ya mawakala wakati mazingira yanayozunguka ya zana yanaigwa kwa uaminifu wa kutosha.

WildChat na ukaguzi wa nje

Swali la kawaida ni kama wakaguzi wa nje wanaweza kupata baadhi ya manufaa yale yale bila ufikiaji wa trafiki binafsi ya uzalishaji. Tulijaribu hili kwa mazungumzo 100,000 ya WildChat yaliyotumika kama viambishi awali. WildChat ilikuwa si sahihi kama data ya hivi karibuni ya uzalishaji ya OpenAI, lakini bado ilikuwa na taarifa: data ya hivi karibuni ya uzalishaji ilikuwa na kosa la wastani la kuzidisha la chini kuliko WildChat (1.75× dhidi ya 2.44×), ilhali WildChat mara nyingi ilibaki ndani ya takribani 3× ya viwango vya uzalishaji na kutambua muundo bora kwa viwango vilivyo juu ya bahati. Tunaona tathmini za mtindo wa WildChat kama nyongeza yenye matumaini kwa Uigaji wa Usambazaji unaoendeshwa na wasanidi. Tazama chapisho hili la blogu la Alignment(fungua katika dirisha jipya) shirikishi kwa matokeo zaidi kuhusu hoja hii.

Vikwazo

Uigaji wa Usambazaji ni nyongeza kwa, si mbadala wa, tathmini za kiadui, red-teaming, na uchanganuzi lengwa wa hatari za mkia. Ugunduzi wa baadhi ya tabia zisizotakiwa za muundo hutegemea ufuatilikaji wa msururu wa mawazo: ikiwa miundo ya baadaye itawaza kwa uwazi mdogo, itaacha hatua muhimu, au itajifunza kuficha nia, huenda tusiweze kugundua aina hizi za tabia zisizotakikana. Zaidi ya hayo, kwa kuwa data ya uzalishaji ni binafsi, wasanidi kwa sasa wana ufikiaji bora zaidi wa miktadha wakilishi kuliko wakaguzi wa nje. Seti bora za data za umma zinaweza kupunguza pengo hilo.

Uigaji wa Usambazaji ni muhimu zaidi kwa tabia zinazotokea mara nyingi vya kutosha kuonekana katika viambishi awali vilivyosampuliwa. Kushindwa kunakotokea mara moja katika mazungumzo milioni kumi kuna uwezekano mdogo wa kugunduliwa katika uendeshaji wa sampuli milioni moja, hivyo tathmini za kiadui, red-teaming, na uchanganuzi lengwa wa hatari za mkia bado ni muhimu. Kwa sasa tunalenga kuiga jibu moja la msaidizi, kwa kuwa katika majaribio ya awali hatukupata maboresho yenye maana kwa makadirio yetu kwa kuiga zamu nyingi. Hili linaweza kuwa eneo muhimu la kuboresha uaminifu wa uigaji katika siku zijazo.

Mbinu hii pia hutegemea usambazaji wa kiambishi awali—mchanganyiko wa mazungumzo yanayosampuliwa tena. Trafiki ya kihistoria huenda isilingane na jinsi watumiaji wanavyoshirikiana na muundo wenye uwezo zaidi baada ya mabadiliko makubwa ya bidhaa, kutolewa kwa zana mpya, tukio la dunia, au mabadiliko ya msimu. Uchanganuzi katika karatasi kamili unapendekeza kuwa suala hili linaweza kupunguzwa kwa kutumia data ya hivi karibuni zaidi inayopatikana.

Hitimisho

Uigaji wa usambazaji ni mbinu mpya ya tathmini ya hatari kabla ya usambazaji inayosaidia maabara za mstari wa mbele na watathmini kutabiri jinsi miundo ya lugha inaweza kutenda katika ulimwengu halisi na kuelewa hatari inazoweza kuleta kabla ya usambazaji. Unakamilisha tathmini zilizopo za usalama, red-teaming, na uchanganuzi lengwa kwa kuongeza safu ya utabiri inayofanana zaidi na uzalishaji inayoweza kuboresha makadirio ya tabia ya usambazaji, kupunguza athari za ufahamu wa tathmini, na kufanya utabiri wa kabla ya usambazaji uthibitishwe baada ya kutolewa. Ukitumiwa pamoja na tathmini za kawaida, Uigaji wa Usambazaji unaweza kusaidia kufanya tathmini ya hatari ya muundo iwe halisi zaidi, ya kiasi zaidi, na yenye manufaa zaidi kwa maamuzi ya usambazaji.

Mwandishi

OpenAI