It-teknoloġija ta’ OpenAI spjegata

OpenAI inħolqot bħala organizzazzjoni mingħajr skop ta’ qligħ fl-2015 biex tiżgura li l-intelliġenza artifiċjali ġenerali—fil-qosor⁠, IA li hija tal-inqas intelliġenti daqs persuna—tkun ta’ benefiċċju għall-umanità kollha. Aħna nirriċerkaw, niżviluppaw, u noħorġu teknoloġija tal-IA⁠ avvanzata kif ukoll għodod u l-aħjar prattiki għas-sigurtà, l-allinjament, u l-governanza tal-IA. OpenAI għadha mmexxija mill-organizzazzjoni mingħajr skop ta’ qligħ tagħna sal-lum: Inpoġġu l-missjoni tagħna qabel il-profitti, nillimitaw ir-redditi finanzjarji għall-impjegati u l-investituri, u se nirritornaw profitti futuri 'l fuq mil-limitu lill-organizzazzjoni tagħna mingħajr skop ta’ qligħ. Din l-istruttura korporattiva unika tagħtina inċentivi differenti minn kumpaniji oħra tat-teknoloġija. L-għan tagħna mhuwiex li nbiegħu l-akbar ammont ta’ xi ħaġa, iżda li naħdmu lejn dinja fejn kulħadd jibbenefika mill-opportunitajiet soċjali, ekonomiċi, u teknoloġiċi tal-IA.

Bħala parti mill-missjoni ta’ OpenAI, niżviluppaw mudelli fundamentali⁠ ewlenin u nagħmlu l-kapaċitajiet tagħhom disponibbli b’modi siguri u ta’ benefiċċju għal nies madwar id-dinja⁠(jinfetaħ f’tieqa ġdida). Hemm żewġ modi ewlenin kif in-nies jistgħu jaċċessaw il-mudelli tagħna:

1. ChatGPT hija app li tippermetti lin-nies jinteraġixxu mal-mudelli tagħna b’mod konversazzjonali. L-utenti jistgħu jitolbu lill-mudelli tal-lingwa tagħna janalizzaw jew jiktbu test jew kodiċi, jew jitolbu lill-mudelli tal-immaġni tagħna jiġbdu immaġnijiet abbażi ta’ deskrizzjoni testwali. ChatGPT hija disponibbli bla ħlas għall-utenti kollha fuq chatgpt.com⁠(jinfetaħ f’tieqa ġdida). L-utenti jistgħu jiffirmaw għal abbonament premium ta’ kull xahar li jagħmel karatteristiċi u kapaċitajiet addizzjonali disponibbli, u noffru verżjoni enterprise għan-negozji biex jixtruha.
2. L-API tagħna (Application Programming Interface) tippermetti lill-iżviluppaturi jintegraw il-kapaċitajiet u l-benefiċċji tal-mudelli tagħna fl-applikazzjonijiet tagħhom stess. Eluf ta’ organizzazzjonijiet inklużi Duolingo, Spotify, u Morgan Stanley qed jibnu karatteristiċi, applikazzjonijiet, u negozji ġodda billi jużaw l-API tagħna. Kumpanija Daniża msejħa Be My Eyes tuża l-API tagħna biex tgħin utenti għomja u b’vista dgħajfa jtellgħu u jistaqsu mistoqsijiet dwar immaġnijiet, u b’hekk tgħinhom jinnavigaw aħjar f’ambjenti fiżiċi u jiksbu aktar indipendenza. L-API tagħna hija disponibbli fuq platform.openai.com⁠(jinfetaħ f’tieqa ġdida) u l-iżviluppaturi jħallsu għall-aċċess għall-API skont kemm jużawha.

Nagħmlu ChatGPT u l-API tagħna disponibbli flimkien ma’ miżuri estensivi ta’ sigurtà, kif spjegat aktar fid-dettall hawn taħt. Nagħmlu wkoll ċerti mudelli⁠, bħall-mudell tagħna ta’ speech-to-text Whisper u l-mudell tagħna ta’ fehim tal-immaġni msejjaħ CLIP, disponibbli fuq bażi open source wara li nevalwaw ir-riskji potenzjali ta’ dawn ir-rilaxxi.

Biħsiebna nkomplu nagħmlu ChatGPT disponibbli bla ħlas u se naqilgħu dħul minn utenti u negozji li jagħżlu li jħallsu għal servizzi premium. Minħabba l-ispejjeż għoljin tal-iżvilupp u l-offerta ta’ mudelli fundamentali fuq skala kbira, l-organizzazzjoni tagħna mhijiex profitabbli u ma tistenna li tkun profitabbli fil-futur qrib—l-għan tagħna jibqa’ li nagħmlu l-benefiċċji tal-IA disponibbli għad-dinja b’mod wiesa’ u sigur.

L-iżvilupp ta’ mudell tal-lingwa avvanzat bħal GPT‑4 jeħtieġ (1) li ngħallmuh intelliġenza, bħall-ħila li jbassar, jirraġuna, u jsolvi problemi, kif ukoll (2) li nallinjawh mal-valuri u l-preferenzi tal-bniedem. Tal-ewwel isir fi proċess imsejjaħ “qabel it-taħriġ”, li jinvolvi li nuru lill-mudell ammont enormi ta’ għarfien uman tul xhur. Imbagħad biex ninkorporaw l-għażla umana fil-mudell, nużaw it-tieni pass, imsejjaħ “wara t-taħriġ”, fejn nagħmlu l-mudell aktar sigur u aktar użabbli.

Qabel it-taħriġ jgħallem il-lingwa lil mudell, billi jurih firxa wiesgħa ta’ test, u jġiegħlu jipprova jbassar il-kelma li tiġi wara f’kull waħda minn firxa enormi ta’ sekwenzi. Dan jeħtieġ ammont kbir ħafna ta’ komputazzjoni, hekk kif il-mudelli jirrevedu, janalizzaw, u jitgħallmu minn triljuni ta’ kliem. Nibnu superkompjuters biex inħarrġu l-mudelli bażi tagħna, u t-taħriġ ta’ mudell bażi ġdid wieħed jista’ jokkupa superkompjuter għal xhur sħaħ. Permezz ta’ dan il-proċess estensiv, il-mudell mhux biss jitgħallem kif il-kliem joqgħod flimkien grammatikament, iżda wkoll kif il-kliem jaħdem flimkien biex jifforma ideat ta’ livell ogħla, u fl-aħħar mill-aħħar kif sekwenzi ta’ kliem jiffurmaw ħsibijiet strutturati jew iqajmu problemi koerenti. Pereżempju, meta naħsbu fil-kelma “sħaba”, nistgħu naħsbu wkoll fi kliem relatat bħal “sema” u “xita”; meta tingħata sentenza bħal “Is-sigriet tal-kuntentizza hu”, nistgħu naħsbu f’diversi ideat filosofiċi. Meta jikseb ħeffa fit-tbassir tal-kelma li jmiss, il-mudell b’hekk jitgħallem kunċetti u l-elementi bażiċi tal-intelliġenza.

L-output ta’ dan il-proċess—mudell bażi—għandu l-kapaċità notevoli li jsolvi problemi ġodda li ma dehrux fid-data tat-taħriġ tiegħu, anke f’firxa wiesgħa ta’ lingwi. Madankollu, il-mudell bażi waħdu mhuwiex lest għall-użu. Il-mudelli bażi huma qawwija u flessibbli. Huma intelliġenti u sorprendenti, iżda mhux neċessarjament utli jew siguri.

Mudell bażi mhuwiex faċli biex titkellem miegħu: Pereżempju, jekk titlob lill-mudell bażi GPT‑4 biex “ikteb storja dwar prinċipessa…”, normalment ma jiktibx storja. Minflok, jestendi d-dikjarazzjoni tiegħek, billi jbassar kif tkompli. Jista’ joħroġ, pereżempju: “…dwar prinċipessa li tħobb iż-żwiemel.” Mudell bażi wkoll m’għandux salvagwardji biex jipprevjenuh milli joħroġ kontenut mhux mixtieq, bħal materjal mimli mibegħda jew vjolenti. Filwaqt li niffiltraw id-dataset tal-qabel it-taħriġ tagħna għal kontenut mhux mixtieq, din il-mitigazzjoni hija wisq impreċiża biex tagħmel bidliet immirati fil-mudell, u tista’ saħansitra tmur lura jekk tipprevjeni lill-mudell milli jifhem x’m’għandux jgħid jew jagħmel. Sabiex indaħħlu valuri umani fil-mudelli, inkluż x’inhu utli u x’inhu xieraq li jingħad, nirriċerkaw u niżviluppaw tekniki ta’ allinjament u sigurtà għal proċess li nsejħulu wara t-taħriġ.

Wara t-taħriġ huwa kif ninkorporaw l-għażla umana fil-mudelli tagħna, u nbiddluhom f’għodod utli, effettivi, u aktar siguri. Ngħallmu lill-mudell jirrispondi b’modi li n-nies isibuhom aktar utli, u jirrifjuta li jirrispondi b’modi li nemmnu li jkunu ta’ ħsara. Wara t-taħriġ jeħtieġ investiment sinifikanti fir-riċerka, fil-persunal, fl-għażliet tad-disinn, u fil-ħolqien tad-data. Dan huwa qasam attiv ta’ riċerka u investiment għal OpenAI. Nemmnuh ukoll li ħafna nies lil hinn mill-kumpanija tagħna⁠ se jkunu parti mix-xogħol tal-ħolqien tad-data u tat-teħid ta’ deċiżjonijiet tad-disinn biex jirriflettu l-valuri umani.

Wara t-taħriġ jirriżulta f’bidliet immirati fil-mudell, billi juża datasets relattivament żgħar u mfassla bir-reqqa li jirrappreżentaw imġiba ideali. Dan nagħmluh billi nġiegħlu lin-nies jiktbu tweġibiet kampjun u jivvalutaw tweġibiet ipprovduti mill-mudell, u nipprovdu dawk il-kampjuni u l-valutazzjonijiet lura lill-mudell fi proċessi ta’ taħriġ ta’ segwitu. Aħna ppijunajna dawn it-tekniki, inkluż apprendiment ta' tisħiħ minn feedback minn bniedem (RLHF), li issa sar standard tal-industrija. Nużaw RLHF biex ngħallmu lill-mudell isegwi l-istruzzjonijiet, inaqqsu l-probabbiltà li jirritorna kontenut mhux preċiż, u nżidu karatteristiċi ta’ sigurtà.

Qabel ma ħriġna GPT‑4 pubblikament, qattajna 6 xhur intejbu wara t-taħriġ b’mod iterattiv. Matul dan iż-żmien, żviluppajna tekniki biex ngħallmu lill-mudelli tagħna jirrifjutaw li jwieġbu għal talbiet li nemmnu li jistgħu jwasslu għal ħsara potenzjali. Pereżempju, jekk jintalab istruzzjonijiet dwar kif tibni bomba, il-mudell jirrifjuta li jwieġeb. Għamilna GPT‑4 82% inqas probabbli li jwieġeb għal talbiet għal kontenut mhux permess abbażi tal-evalwazzjonijiet interni tagħna, meta mqabbel mal-mudell tal-ġenerazzjoni preċedenti GPT‑3.5. Użajna wkoll dan iż-żmien biex inżidu l-probabbiltà li jipproduċi tweġibiet fattwali b’40%, ngħallmuh jirrispondi b’mod konversazzjonali⁠, u ntejbu l-prestazzjoni tiegħu f’lingwi b’inqas riżorsi, pereżempju fi sħubija mal-Iżlanda⁠.

Inkomplu niżviluppaw tekniki ta’ wara t-taħriġ⁠(jinfetaħ f’tieqa ġdida) biex nirriflettu aħjar l-għażla umana fil-mudelli tagħna. Pereżempju, xi wħud mill-approċċi tagħna jagħtu s-setgħa lin-nies jiddeskrivu r-regoli li sistema għandha ssegwi, minflok ma jkollhom jagħtu marki lil eżempji ta’ mġiba aħjar jew agħar.

Minbarra l-wara t-taħriġ li nagħmlu aħna stess, noffru wkoll lill-klijenti l-abbiltà li “jiffinaw” il-mudelli tagħna biex iwettqu l-għanijiet speċifiċi tagħhom, bħall-kitba ta’ kodiċi tas-software fil-lingwi proprjetarji tagħhom, it-tagħlim ta’ għarfien speċifiku għall-industrija, jew l-allinjament tat-ton tiegħu mal-marka tagħhom. Il-klijenti jagħmlu dan billi jippreparaw data li turi l-imġiba li qed ifittxu li jiksbu u jissottomettuha għal wara t-taħriġ addizzjonali permezz tal-API tagħna. Jekk nassumu li d-data tgħaddi mill-kontrolli tas-sigurtà tagħna, imbagħad nagħmlu l-mudell irfinat li jirriżulta disponibbli biss għal dak il-klijent. B’mod simili għal traffiku ieħor tal-API, nużaw is-sistemi tagħna ta’ monitoraġġ u detezzjoni deskritti hawn taħt biex ngħinu nidentifikaw jekk il-mudelli raffinati jiksrux il-politiki tal-użu tagħna⁠.

Minbarra s-sigurtà permezz tal-wara t-taħriġ, aħna nwettqu ttestjar rigoruż, ninvolvu esperti esterni għal feedback, nibnu u nsaħħu sistemi ta’ sigurtà u monitoraġġ, u nipprovdu riżorsi biex ngħinu lin-nies jużaw il-mudelli tagħna b’mod responsabbli. Dan l-approċċ olistiku għas-sigurtà huwa dak li jippermettilna nimplimentaw u ninfurzaw il-politika tal-użu⁠ tagħna li tipprojbixxi l-użu tal-mudelli tagħna b’modi li jistgħu jikkawżaw ħsara, bħal għall-ġenerazzjoni ta’ kontenut ta’ mibegħda, fastidjuż, jew vjolenti, għal kampanji politiċi, jew għall-ġenerazzjoni ta’ malware.

Red-teaming u evalwazzjonijiet. Nevalwaw kull mudell ġdid ewlieni għal riskji ta’ sigurtà u danni soċjetali potenzjali bħal preġudizzju u diskriminazzjoni. Inwettqu red-teaming⁠ intern u estern, fejn nittestjaw il-mudell għal riskji internament u nipprovdu aċċess bikri lil esperti minn firxa ta’ industriji biex jgħinu jistħarrġu s-sistemi sabiex jimmappjaw u jevalwaw ir-riskji. Nużaw dawn l-evalwazzjonijiet biex niggwidaw aktar l-iżvilupp u r-raffinar tal-mudelli tagħna u s-sistemi ta’ sigurtà, u nippubblikaw is-sejbiet tagħna pubblikament.

Sistemi ta’ monitoraġġ tas-sigurtà. Nibnu u nimplimentaw sistemi ta’ monitoraġġ li jgħinu jidentifikaw kontenut mhux mixtieq u jikkumplimentaw ir-reviżjoni umana ta’ inċidenti speċifiċi. Meta ksur tal-kontenut jiġi skopert minn dawn is-sistemi, nistgħu nieħdu varjetà ta’ azzjonijiet inkluż li nirrifjutaw li nirrispondu, nimmarkaw l-inċident għal reviżjoni umana, jew f’każijiet estremi, nissospendu utent. Il-classifiers tal-kontenut huma mħaddma minn mudelli tal-lingwa raffinati u nkomplu nirriċerkaw kif inżidu l-kopertura, l-effiċjenza, u l-eżattezza tagħhom, l-aktar reċentement nesploraw l-użu ta’ GPT‑4 biex niżviluppaw sistemi ta’ moderazzjoni⁠.

Għodod għall-utenti. Niżviluppaw dokumentazzjoni u għodod għall-utenti tagħna u għall-iżviluppaturi li jibnu applikazzjonijiet fuq il-mudelli tagħna biex nagħtuhom is-setgħa jużaw l-IA b’mod sigur. Qabel noħorġu sistemi ġodda ta’ fruntiera, nippubblikaw rapport li jiddeskrivi l-kapaċitajiet tal-mudell jew tas-sistema, il-limitazzjonijiet, u l-oqsma ta’ użu xieraq u mhux xieraq (pereżempju, il-kards tas-sistema għal GPT‑4⁠(jinfetaħ f’tieqa ġdida) u GPT‑4V⁠). Nagħmlu disponibbli Moderations API⁠(jinfetaħ f’tieqa ġdida) b’xejn sabiex l-utenti jkunu jistgħu jinfurzaw il-politiki tal-użu tagħhom stess. U nippubblikaw riċerka⁠(jinfetaħ f’tieqa ġdida) dwar is-sistemi ta’ sigurtà tagħna.

Nitgħallmu mill-feedback. Aħna nemmnu li t-tagħlim mill-feedback u r-rispons għalih huwa komponent kritiku fil-bini ta’ sistemi tal-IA siguri maż-żmien u fit-twettiq tal-missjoni tagħna. Intejbu kontinwament l-outputs tal-mudelli tagħna, is-sistemi ta’ moderazzjoni, u l-politiki tal-użu abbażi tal-input u l-feedback tal-utenti. Nidħlu wkoll f’konversazzjonijiet kontinwi mal-partijiet interessati dwar l-aktar adozzjoni u adattament ta’ benefiċċju għat-teknoloġija tal-IA.

L-intelliġenza artifiċjali hija fergħa tax-xjenza tal-kompjuter li l-għan tagħha huwa li toħloq sistemi tal-komputazzjoni li jistgħu jġibu ruħhom b’mod tipikament assoċjat mal-intelliġenza umana. Eżempji jinkludu software li jista’ jilgħab logħob bħaċ-ċess, karozzi li jistgħu jsuqu waħedhom, u chatbots li jistgħu jissimulaw konversazzjoni li tixbah dik umana.

L-apprendiment awtomatiku huwa approċċ għall-intelliġenza artifiċjali fejn is-sistemi tal-kompjuter jistgħu jitgħallmu jwettqu kompiti abbażi ta’ informazzjoni jew esperimentazzjoni, minflok ma jiġu pprogrammati pass pass. Pereżempju, sistema ta’ apprendiment awtomatiku tista’ titgħallem tpinġi stampa ta’ qattus billi tara stampi differenti ta’ qtates u titgħallem il-karatteristiċi ta’ dawk l-istampi, minflok ma tingħata istruzzjonijiet linja b’linja dwar kif jidhru l-qtates. Jew, sistema tista’ titgħallem tilgħab video game billi tesperimenta u tiġi ppremjata għal tentattivi b’suċċess, minflok ma jingħatawlha r-regoli tal-logħba u istruzzjonijiet dwar kif tlestiha.

Il-mudelli huma programmi tal-kompjuter li jiġu żviluppati bl-użu ta’ tekniki ta’ intelliġenza artifiċjali u apprendiment awtomatiku. L-aktar mudelli komuni huma programmi li janalizzaw id-data sabiex jagħmlu tbassir futur abbażi ta’ dik id-data. Pereżempju, mudell jista’ jiġi żviluppat biex janalizza xiri storiku magħmul minn xerrejja sabiex jirrakkomanda xiri lil xerrej futur.

Il-mudelli fundamentali huma mudelli tal-IA li jiġu żviluppati bl-użu ta’ ammonti kbar ta’ qawwa komputazzjonali biex jitgħallmu minn ammont kbir ta’ data, sabiex iwettqu firxa wiesgħa ta’ kompiti relatati ma’ dik id-data. Pereżempju, mudell tal-lingwa li jiġi żviluppat bl-użu ta’ ammont kbir ta’ test jista’ mbagħad jintuża biex janalizza, jikteb, u jwieġeb mistoqsijiet dwar it-test.

L-oqsma tal-intelliġenza artifiċjali u tal-apprendiment awtomatiku qed javvanzaw malajr, għalhekk dawn id-definizzjonijiet se jkomplu jevolvu maż-żmien.