Is é Sora samhail ghiniúna físe OpenAI, atá deartha chun ionchuir téacs, íomhá agus físe a ghlacadh agus físeán nua a ghiniúint mar aschur. Is féidir le húsáideoirí físeáin a chruthú suas go taifeach 1080p (20 soicind ar a mhéad) i bhformáidí éagsúla, ábhar nua a ghiniúint ó théacs, nó a sócmhainní féin a fheabhsú, a athmheascadh agus a chumasc. Beidh úsáideoirí in ann iniúchadh a dhéanamh ar na fothaí Featured agus Recent, a thaispeánann cruthuithe pobail agus a thairgeann inspioráid do smaointe nua. Tógann Sora ar an méid a foghlaimíodh ó DALL-E agus samhlacha GPT, agus tá sé deartha chun uirlisí leathnaithe a thabhairt do dhaoine le haghaidh scéalaíochta agus léirithe cruthaithí.
Is samhail idirleata é Sora, a ghineann físeán trí thosú le bunfhíseán atá cosúil le torann statach agus é a athrú de réir a chéile trí an torann a bhaint thar go leor céimeanna. Trí réamhamharc a thabhairt don tsamhail ar go leor frámaí ag an am céanna, réitíomar fadhb dhúshlánach lena chinntiú go bhfanann ábhar mar an gcéanna fiú nuair a imíonn sé as radharc go sealadach. Cosúil le samhlacha GPT, úsáideann Sora ailtireacht trasfhoirmitheoir, rud a scaoileann feidhmíocht scálaithe den scoth.
Úsáideann Sora an teicníc athfhotheidealaithe ó DALL·E 3, a chuimsíonn fotheidil an-tuairisciúla a ghiniúint don sonraí oiliúna amhairc. Dá bharr sin, tá an tsamhail in ann treoracha téacs an úsáideora a leanúint níos dílse sa fhíseán ginte.
Chomh maith leis an gcumas físeán a ghiniúint ó threoracha téacs amháin, is féidir leis an tsamhail íomhá sheasta atá ann cheana a ghlacadh agus físeán a ghiniúint aisti, ag beochtú ábhar na híomhá go cruinn agus le haird ar mhionsonraí beaga. Is féidir leis an tsamhail físeán atá ann cheana a ghlacadh freisin agus é a shíneadh nó frámaí in easnamh a líonadh. Feidhmíonn Sora mar bhunús do shamhlacha ar féidir leo an fíorshaol a thuiscint agus a ionsamhlú, cumas a chreidimid a bheidh ina chloch mhíle thábhachtach chun IGS a bhaint amach.
D’fhéadfadh cumais Sora rioscaí nua a thabhairt isteach freisin, amhail an fhéidearthacht mí-úsáid cosúlachta nó giniúint ábhair fhíse mhíthreoraigh nó fhollasaigh. Chun Sora a imscaradh go sábháilte i dtáirge, thógamar ar an méid a foghlaimíodh ón obair shábháilteachta d’imscaradh DALL·E in ChatGPT agus san API agus ó mhaoluithe sábháilteachta do tháirgí eile OpenAI amhail ChatGPT. Leagtar amach sa chárta córais seo an chruach mhaoluithe a tháinig as sin, iarrachtaí seachtracha modh na foirne deirge, meastóireachtaí, agus taighde leanúnach chun na cosaintí seo a bheachtú tuilleadh.
Mar a thuairiscítear inár tuarascáil theicniúil1 ó mhí Feabhra 2024, glacann Sora inspioráid ó mhórshamhlacha teanga a fhaigheann cumais ghinearálta trí oiliúint ar shonraí ar scála an idirlín. Cumasaítear rath paraidím an LLM i bpáirt trí théacschomharthaí a úsáid a aontaíonn módúlachtaí éagsúla téacs go galánta—cód, matamaitic agus teangacha nádúrtha éagsúla. Le Sora, rinneamar machnamh ar an gcaoi ar féidir le samhlacha giniúna sonraí amhairc na buntáistí sin a oidhreacht. Cé go bhfuil téacschomharthaí téacs ag LLManna, tá paistí amhairc ag Sora. Léiríodh roimhe seo gur ionadaíocht éifeachtach iad paistí do shamhlacha sonraí amhairc. Fuaireamar amach gur ionadaíocht an-inscálaithe agus éifeachtach iad paistí chun samhlacha giniúna a oiliúint ar chineálacha éagsúla físeán agus íomhánna. Ar leibhéal ard, casaimid físeáin ina bpaitsi ar dtús trí na físeáin a chomhbhrú isteach i spás folaigh toiseach íseal, agus ina dhiaidh sin an léiriú a dhianscaoileadh ina phaitsi spás-ama.
Cuireadh oiliúint ar Sora ar thacair shonraí éagsúla, lena n-áirítear meascán de shonraí atá ar fáil go poiblí, sonraí dílsithe a fuarthas trí chomhpháirtíochtaí, agus tacair shonraí saincheaptha a forbraíodh go hinmheánach. Áirítear leo seo:
- Sonraí roghnaithe atá ar fáil go poiblí, a bailíodh den chuid is mó ó thacair shonraí foghlama meaisín caighdeánacha tionscail agus ó chraoltaí gréasáin.
- Sonraí dílsithe ó chomhpháirtíochtaí sonraí. Déanaimid comhpháirtíochtaí chun rochtain a fháil ar shonraí nach bhfuil ar fáil go poiblí. Mar shampla, chuamar i gcomhpháirt le Shutterstock Pond5 chun íomhánna a ghintear le IS a thógáil agus a sheachadadh. Déanaimid comhpháirtíochtaí freisin chun tacair shonraí a choimisiúnú agus a chruthú atá oiriúnach dár riachtanais.
- Sonraí daonna: Aiseolas ó oiliúnóirí IS, foirne deirge, agus fostaithe.
Chomh maith le maoluithe a cuireadh i bhfeidhm i ndiaidh chéim na réamh-oiliúna, is féidir le maoluithe scagtha réamh-oiliúna sraith bhreise cosanta a chur ar fáil a chuidíonn, in éineacht le maoluithe sábháilteachta eile, sonraí neamh-inmhianaithe agus díobhálacha a eisiamh ónár dtacair sonraí. Sula ndéantar oiliúint, téann gach tacar sonraí tríd an bpróiseas scagtha seo dá bhrí sin, agus baintear an t-ábhar is follasaí, is foréigní, nó is íogaire ar shlí eile (mar shampla, roinnt siombailí fuatha), rud a leathnaíonn na modhanna a úsáideadh chun na sonraí ar ar traenálamar ár samhlacha eile a scagadh, lena n-áirítear DALL·E 2 agus DALL·E 3.
Rinneamar próiseas láidir chun mí-úsáid fhéideartha agus úsáidí cruthaitheacha sa saol fíor a thuiscint, chun cabhrú le dearadh Sora agus a mhaoluithe sábháilteachta a mhúnlú. Tar éis fhógra Sora i mí Feabhra 2024, d’oibríomar le céadta ealaíontóirí amhairc, dearthóirí agus scannánóirí ó níos mó ná 60 tír chun aiseolas a fháil faoi conas an tsamhail a chur chun cinn ionas go mbeadh sí chomh cabhrach agus is féidir do ghairmithe cruthaitheacha. Chruthaíomar freisin roinnt meastóireachtaí go hinmheánach agus le foirne deirge seachtracha chun rioscaí a aimsiú agus a mheas agus chun ár maoluithe sábháilteachta agus riosca a fheabhsú go hatriallach.
Tógann ár gcruach sábháilteachta do Sora ar na ceachtanna seo agus ar mhaoluithe sábháilteachta atá ann cheana a úsáidimid i samhlacha agus táirgí eile amhail DALL·E agus ChatGPT, chomh maith le maoluithe saincheaptha a tógadh go sonrach dár dtáirge físe. Toisc gur uirlis chumhachtach í seo, tá cur chuige atriallach á ghlacadh againn i leith sábháilteachta, go háirithe i réimsí ina bhfuil comhthéacs tábhachtach nó ina bhfeicimid rioscaí nua a bhaineann le físeán. I measc samplaí dár gcur chuige atriallach tá rochtain a theorannú de réir aoise d’úsáideoirí atá 18 mbliana d’aois nó níos sine, úsáid uaslódálacha cosúlachta/aghaidh a shrianadh, agus tairseacha modhnóireachta níos coimeádaí a bheith againn ar leideanna agus ar uaslódálacha mionaoiseach ag an seoladh. Ba mhaith linn leanúint ar aghaidh ag foghlaim faoin gcaoi a n-úsáideann daoine Sora agus athdhéanamh chun an chothromaíocht is fearr a bhaint amach idir sábháilteacht agus acmhainn chruthaitheach ár n-úsáideoirí a uasmhéadú.
D’oibrigh OpenAI le foirne deirge seachtracha lonnaithe i naoi dtír éagsúla chun Sora a thástáil, laigí sna maoluithe sábháilteachta a aithint, agus aiseolas a thabhairt ar rioscaí a bhaineann le cumais nua táirge Sora. Bhí rochtain ag na foirne deirge ar tháirge Sora le leaganacha éagsúla de mhaoluithe sábháilteachta agus leibhéil aibíochta córais ó Mheán Fómhair go Nollaig 2024, agus rinne siad tástáil ar níos mó ná 15,000 glúin. Tógann an iarracht modh na foirne deirge seo ar obair go luath in 2024 inar tástáladh samhail Sora gan maoluithe táirgthe.
Rinne na foirne deirge iniúchadh ar rioscaí féideartha nua a bhaineann le samhail Sora agus le huirlisí an táirge, agus rinne siad tástáil ar mhaoluithe sábháilteachta de réir mar a forbraíodh agus a feabhsaíodh iad. Chlúdaigh na feachtais seo cineálacha éagsúla ábhair sháraithe agus neamhcheadaithe (ábhar gnéasach agus eirice, foréigean agus gore, féindíobháil, ábhar mídhleathach, mí-/dífhaisnéis, srl.), tactics ionsaitheacha (idir leideanna agus úsáid uirlisí/gnéithe) chun maoluithe sábháilteachta a sheachaint, chomh maith leis an gcaoi a bhféadfaí na huirlisí seo a shaothrú chun uirlisí modhnóireachta agus cosaintí a lagú de réir a chéile. Chuir foirne deirge aiseolas ar fáil freisin ar a dtuairimí faoi Sora i réimsí lena n-áirítear claonadh agus feidhmíocht ghinearálta.
Rinneamar iniúchadh ar ghiniúint téacs-go-físe ag úsáid leideanna simplí agus tactics leide ionsaitheacha araon ar fud na gcatagóirí ábhair uile a luadh thuas. Tástáladh an cumas uaslódála meán le héagsúlacht mhór íomhánna agus físeán, lena n-áirítear daoine poiblí, agus réimse leathan catagóirí ábhair chun an cumas ábhar sáraitheach a ghiniúint a thástáil. Rinneamar tástáil freisin ar úsáidí agus teaglamaí éagsúla de na huirlisí modhnaithe (storyboards, recut, remix, agus blend) chun a bhfóntas a mheas chun ábhar toirmiscthe a ghiniúint.
D’aithin na foirne deirge breathnuithe suntasacha do chineálacha sonracha ábhair thoirmiscthe agus do tactics ionsaitheacha ginearálta araon. Mar shampla, fuair siad amach gur lagaigh úsáid leideanna téacs le cásanna leighis nó le suíomhanna ficsean eolaíochta/fantaisíochta na cosaintí i gcoinne ábhar eirice agus gnéasach a ghiniúint go dtí gur tógadh maoluithe breise. D’úsáid siad tactics ionsaitheacha chun gnéithe den chruach sábháilteachta a sheachaint, lena n-áirítear leideanna gnéasacha agus meafair a úsáid chun leas a bhaint as cumas tátail na samhla. Tar éis go leor iarrachtaí, d’fhéadfaidís treochtaí i leideanna agus focail a aithint a chuirfeadh cosaintí i ngníomh, agus triail a bhaint as frásaíocht agus focail éagsúla chun diúltuithe a sheachaint. Sa deireadh, roghnóidís an ghlúin ba mhó imní mar mheán síl le forbairt bhreise ina hábhar sáraitheach nach bhféadfaí a chruthú le teicnící aonleide. Uaireanta bhí teicnící jailbreak éifeachtach chun beartais sábháilteachta a lagú, rud a chuir ar ár gcumas na cosaintí seo a bheachtú freisin.
Rinne na foirne deirge tástáil freisin ar uaslódálacha meán agus ar uirlisí Sora (storyboards, recut, remix, agus blend) le híomhánna a bhí ar fáil go poiblí agus le meáin a gineadh le IS. Nocht sé seo bearnaí i scagadh ionchuir agus aschuir a bhí le neartú roimh scaoileadh Sora, agus chuidigh sé le cosaintí d’uaslódálacha meán lena n-áirítear daoine a fheabhsú. Léirigh an tástáil freisin go raibh gá le scagadh aicmitheora níos láidre chun an riosca go ndéanfaí uaslódálacha meán neamhsháraitheacha a mhodhnú ina n-ábhar toirmiscthe eirice, foréigin nó deepfake a mhaolú.
Chuir an t-aiseolas agus na sonraí a ghin na foirne deirge ar chumas sraitheanna breise de mhaoluithe sábháilteachta a chruthú agus feabhsuithe a dhéanamh ar mheastóireachtaí sábháilteachta atá ann cheana, mar a thuairiscítear sna hailt Réimsí Sonracha Riosca agus Maoluithe. Cheadaigh na hiarrachtaí seo mionchoigeartú breise ar ár scagadh leideanna, blocliostaí agus tairseacha aicmitheora chun comhlíonadh na samhla le spriocanna sábháilteachta a chinntiú.
Le naoi mí anuas, bhreathnaíomar ar aiseolas úsáideoirí ar fud breis agus 500,000 iarratas samhla ó bhreis agus 300 úsáideoir ó bhreis agus 60 tír. Chuir na sonraí seo feabhsuithe ar iompar na samhla agus ar chomhlíonadh na samhla le prótacail sábháilteachta ar an eolas. Mar shampla, chuidigh aiseolas ó ealaíontóirí linn na teorainneacha a bhaineann le comhartha uisce infheicthe ar a sreafaí oibre a thuiscint, rud a mhúnlaigh ár gcinneadh cead a thabhairt d’úsáideoirí íoctha comhaid físe a íoslódáil gan an comhartha uisce infheicthe agus sonraí C2PA á leabú fós.
Mhúin an clár luathrochtana seo dúinn freisin dá mbeadh sé i gceist ag Sora feidhmiú mar uirlis leathnaithe do scéalaíocht agus léiriú cruthaitheach, go mbeadh orainn níos mó solúbthachta a thairiscint d’ealaíontóirí maidir le roinnt réimsí íogaire a dhéanfaimis a láimhseáil ar bhealach difriúil in uirlis ghinearálta cosúil le ChatGPT. Táimid ag súil go n-úsáidfidh ealaíontóirí, scannánóirí neamhspleácha, stiúideonna agus eagraíochtaí eile sa tionscal siamsaíochta Sora mar chuid ríthábhachtach dá bpróisis forbartha. Ag an am céanna, chuir sainaithint cásanna úsáide dearfacha agus mí-úsáide féideartha araon ar ár gcumas réimsí a chinneadh ina raibh gá le maoluithe níos sriantaí ar leibhéal táirge chun an riosca díobhála nó mí-úsáide a mhaolú.
D’fhorbraíomar meastóireachtaí inmheánacha a dhírigh ar phríomhréimsí, lena n-áirítear lomnochta, ábhar toghcháin mealltach, féindíobháil, agus foréigean. Dearadh na meastóireachtaí seo chun tacú le maoluithe a bheachtú agus chun cabhrú lenár dtairseacha modhnóireachta a mhúnlú. Comhcheanglaíonn an creat meastóireachta leideanna ionchuir a thugtar don tsamhail ghiniúna físe le haicmitheoirí ionchuir agus aschuir a chuirtear i bhfeidhm ar leideanna claochlaithe nó ar na físeáin deiridh a tháirgtear.
Fuarthas na leideanna ionchuir do na meastóireachtaí seo ó thrí phríomhbhealach: sonraí a bailíodh le linn na céime alfa luaithe (mar a leagtar amach in Alt 3.2), samplaí ionsaitheacha a chuir tástálaithe foirne deirge ar fáil (dá dtagraítear in Alt 3.1), agus sonraí sintéiseacha a gineadh le GPT‑4. Thug sonraí na céime alfa léargas ar chásanna úsáide fíorshaoil, chabhraigh ranníocaíochtaí na foirne deirge le hábhar ionsaitheach agus cásanna imeallacha a aimsiú, agus chuir sonraí sintéiseacha ar ár gcumas tacair mheastóireachta a leathnú i réimsí amhail ábhar gnéasach neamhbheartaithe, áit a mbíonn samplaí nádúrtha gann.
Tá an creat ullmhachta deartha chun measúnú a dhéanamh ar cibé an dtugann cumais samhlacha teorainn isteach rioscaí suntasacha i gceithre chatagóir a rianaítear: áitiú, cibearshlándáil, CBRN (ceimiceach, bitheolaíoch, raideolaíoch, agus núicléach), agus uathriail samhla. Níl fianaise againn go gcuireann Sora aon riosca suntasach i láthair maidir le cibearshlándáil, CBRN, ná uathriail samhla. Tá na rioscaí seo ceangailte go dlúth le samhlacha a idirghníomhaíonn le córais ríomhaireachta, eolas eolaíoch, nó cinnteoireacht uathrialach, agus tá siad sin go léir lasmuigh de raon feidhme Sora faoi láthair mar uirlis ghiniúna físe.
D’fhéadfadh cumais ghiniúna físe Sora riosca féideartha a chruthú ó áitiú, amhail rioscaí pearsanaithe, mífhaisnéise, nó innealtóireachta sóisialta. Chun aghaidh a thabhairt ar na rioscaí sin, d’fhorbraíomar sraith maoluithe a thuairiscítear sna hailt thíos. Áirítear orthu seo maoluithe atá ceaptha chun cosc a chur ar ghiniúint cosúlachta le daoine poiblí cáiliúla. Ina theannta sin, ós rud é go bhféadfadh comhthéacs agus an t-eolas an bhfuil físeán fíor nó ginte le IS a bheith ríthábhachtach chun a chinneadh cé chomh hionchreidte is atá físeán ginte, dhíríomar ar chur chuige tionscnaimh ilshraitheach a thógáil, lena n-áirítear meiteashonraí, comharthaí uisce, agus méarlorgaireacht.
Chomh maith leis na rioscaí agus na maoluithe sonracha a shainaithnítear thíos, cabhraíonn roghanna a rinneadh in oiliúint, dearadh táirge agus beartais Sora le riosca aschur díobhálach nó neamh-inmhianaithe a mhaolú go ginearálta. Is féidir iad seo a eagrú go ginearálta i maoluithe teicniúla ar leibhéal córais agus samhla, chomh maith le beartais táirge agus oideachas úsáideoirí.
Thíos, mínímid na príomhchineálacha maoluithe sábháilteachta atá i bhfeidhm againn sula dtaispeántar an t-aschur iarrtha d’úsáideoir:
Modhnóireacht téacs agus íomhá trí aicmitheoir modhnóireachta ilmhódach
Cuirtear ár n-aicmitheoir modhnóireachta ilmhódach, a chumhachtaíonn ár Moderation API seachtrach, i bhfeidhm chun leideanna téacs, íomhá nó físe a shainaithint a d’fhéadfadh ár mbeartais úsáide a shárú, ar ionchur agus ar aschur araon. Beidh diúltú mar thoradh ar leideanna sáraitheacha a bhraitheann an córas. Foghlaim níos mó faoinár n-API modhnóireachta ilmhódach anseo.2
Scagadh saincheaptha LLM
Buntáiste amháin a bhaineann le teicneolaíocht ghiniúna físe is ea an cumas seiceálacha modhnóireachta asincrónacha a dhéanamh gan moill a chur leis an eispéireas iomlán úsáideora. Ós rud é go dtógann giniúint físe cúpla soicind lena phróiseáil go bunúsach, is féidir an tréimhse ama seo a úsáid chun seiceálacha modhnóireachta a ritheann le beachtas a dhéanamh. Tá ár GPT féin saincheaptha againn chun ardchruinneas a bhaint amach sa mhodhnóireacht do roinnt ábhar sonrach, lena n-áirítear ábhar tríú páirtí agus ábhar mealltach a aithint.
Tá na scagairí ilmhódach: cuirtear uaslódálacha íomhá/físe, leideanna téacs agus aschuir san áireamh i gcomhthéacs gach glao LLM. Cuireann sé seo ar ár gcumas teaglamaí sáraitheacha a bhrath trasna íomhá agus téacs.
Aicmitheoirí aschuir íomhá
Chun dul i ngleic le hábhar a d’fhéadfadh a bheith díobhálach go díreach sna haschuir, úsáideann Sora aicmitheoirí aschuir, lena n-áirítear scagairí speisialaithe d’ábhar NSFW, mionaoisigh, foréigean, agus mí-úsáid fhéideartha cosúlachta. Féadfaidh Sora físeáin a bhac sula roinntear leis an úsáideoir iad má chuirtear na haicmitheoirí seo i ngníomh.
Blocliostaí
Coinnímid blocliostaí téacsúla thar chatagóirí éagsúla, bunaithe ar ár gcuid oibre roimhe seo ar DALL·E 2 agus DALL·E 3, ar fhionnachtain réamhghníomhach riosca, agus ar thorthaí ó luathúsáideoirí.
Chomh maith leis na cosaintí atá tógtha againn isteach sa tsamhail agus sa chóras chun giniúint ábhair sháraitheach a chosc, tá céimeanna breise á nglacadh againn freisin chun riosca mí-úsáide a laghdú. Faoi láthair nílimid ag tairiscint Sora ach d’úsáideoirí atá 18 mbliana d’aois nó níos sine agus tá scagairí modhnóireachta á gcur i bhfeidhm againn ar an ábhar a thaispeántar sna fothaí Explore agus Featured.
Táimid freisin ag cur treoirlínte beartais in iúl go soiléir trí oideachas laistigh den táirge agus oideachas atá ar fáil go poiblí maidir le:
- Cosúlacht duine eile a úsáid gan a gcead, agus cosc ar mhionaoisigh fhíora a léiriú;
- Ábhar mídhleathach a chruthú nó ábhar a sháraíonn cearta maoine intleachtúla;
- Ábhar follasach agus díobhálach a ghiniúint, amhail íomhánna dlúthchaidrimh neamh-chomhthoiliúla, ábhar a úsáidtear chun bulaíocht, ciapadh nó clúmhilleadh a dhéanamh, nó ábhar atá ceaptha chun foréigean, fuath nó fulaingt daoine eile a chur chun cinn; agus
- Cruthú agus dáileadh ábhair a úsáidtear chun daoine eile a chalaois, a mhealladh nó a chur amú.
Tugtar aghaidh ar chuid de na cineálacha mí-úsáide seo trínár maoluithe samhla agus córais, ach tá cuid eile níos spleáiche ar chomhthéacs—is féidir radharc agóide a úsáid le haghaidh iarrachtaí cruthaitheacha dlisteanacha, ach d’fhéadfaí an radharc céanna a chur i láthair mar imeacht fíor reatha agus é a roinnt mar dhífhaisnéis má chuirtear le héilimh eile é.
Tá Sora deartha chun an cumas a thabhairt do dhaoine réimse leathan smaointe agus tuairimí cruthaitheacha a chur in iúl. Níl sé praiticiúil ná inmholta gach cineál ábhair atá fadhbach ó thaobh comhthéacs de a chosc.
Tugaimid an cumas do dhaoine tuairisciú a dhéanamh ar fhíseáin Sora a mheasann siad a d’fhéadfadh ár dtreoirlínte a shárú agus uathoibriú agus athbhreithniú daonna á n-úsáid chun monatóireacht ghníomhach a dhéanamh ar phatrúin úsáide. Tá meicníochtaí forfheidhmithe bunaithe againn chun físeáin sháraitheacha a bhaint agus chun úsáideoirí a phionósú. Nuair a sháraíonn úsáideoirí ár dtreoirlínte, cuirfimid in iúl dóibh é agus tabharfaimid deis dóibh a rá linn cad a mheasann siad atá cothrom. Tá sé d’aidhm againn éifeachtacht na maoluithe seo a rianú agus iad a bheachtú le himeacht ama.
Taobh amuigh de na bearta sábháilteachta ginearálta thuas, chuidigh luaththástáil agus meastóireacht le roinnt réimsí a raibh fócas sábháilteachta ar leith ag teastáil iontu a aithint.
Tá OpenAI go mór tiomanta do dhul i ngleic le3 rioscaí sábháilteachta leanaí, agus tugaimid tosaíocht do chosc, bhrath agus thuairisciú Ábhar Mí-úsáide Gnéasaí Leanaí (CSAM) ar fud ár dtáirgí uile, Sora san áireamh. I measc iarrachtaí OpenAI i réimse shábháilteacht leanaí tá ár dtacair shonraí a fhoinsiú go freagrach chun iad a chosaint ar CSAM, comhpháirtíocht leis an National Center for Missing & Exploited Children (NCMEC) chun mí-úsáid ghnéasach leanaí a chosc agus leanaí a chosaint, modh na foirne deirge i gcomhréir le moltaí Thorn agus de réir srianta dlí, agus scanadh láidir do CSAM ar fud gach ionchuir agus aschuir. Áirítear leis seo scanadh ar úsáideoirí céadpháirtí agus tríú páirtí (API agus Enterprise) mura gcomhlíonann custaiméirí critéir dhiana maidir le scanadh CSAM a bhaint. Chun giniúint CSAM a chosc, tá cruach láidir sábháilteachta tógtha againn, ag baint leas as maoluithe córais a úsáidimid ar fud ár dtáirgí eile amhail ChatGPT agus DALL·E4 chomh maith le roinnt luamhán breise a tógadh go sonrach do Sora.
Aicmitheoirí Ionchuir
Maidir le Sábháilteacht Leanaí bainimid leas as 3 mhaolú ionchuir éagsúla ar fud ionchur téacs, íomhá agus físe:
- I gcás gach uaslódáil íomhá agus físe, déanaimid comhtháthú le Safer, arna fhorbairt ag Thorn, chun meaitseálacha le CSAM aitheanta a bhrath. Diúltaítear do mheaitseálacha deimhnithe agus tuairiscítear iad do NCMEC. Ina theannta sin, úsáidimid aicmitheoir CSAM Thorn chun ábhar CSAM a d’fhéadfadh a bheith nua agus gan haisiú a aithint.
- Bainimid leas as aicmitheoir modhnóireachta ilmhódach chun aon ábhar gnéasach a bhaineann le mionaoisigh a bhrath agus a mhodhnú trí ionchur téacs, íomhá agus físe.
- Maidir le Sora, d’fhorbraíomar aicmitheoir chun anailís a dhéanamh ar théacs agus ar íomhánna chun a thuar an léirítear duine faoi bhun 18 mbliana d’aois nó an dtagraíonn an fotheideal a ghabhann leis do mhionaoiseach. Diúltaímid iarratais ar íomhá-go-físe ina bhfuil daoine faoi bhun 18. Má chinntear go bhfuil téacs-go-físe faoi 18, cuirimid tairseacha i bhfad níos déine i bhfeidhm maidir le modhnóireacht ar ábhar gnéasach, foréigneach nó féindíobhála.
Thíos tá ár meastóireacht dár n-aicmitheoir faoi 18 do dhaoine. Déanaimid ár n-aicmitheoir a mheas chun diúltú do dhaoine réalaíocha faoi 18 ar thacar sonraí ina bhfuil beagnach 5000 íomhá trasna na gcatagóirí [leanbh | duine fásta] agus [réalaíoch | ficseanúil]. Is é ár seasamh beartais ná leanaí réalaíocha a dhiúltú, agus íomhánna ficseanúla lena n-áirítear stíl bheoite, chartúin, nó sceitse a cheadú, ar choinníoll nach bhfuil siad gnéasach. Tá cur chuige aireach glactha againn i leith ábhair a bhaineann le mionaoisigh, agus leanfaimid orainn ag measúnú ár gcur chuige de réir mar a fhoghlaimímid níos mó trí úsáid an táirge agus de réir mar a aimsímid an chothromaíocht cheart idir léiriú cruthaitheach a cheadú agus sábháilteacht.
Faoi láthair, tá ár n-aicmitheoirí an-chruinn, ach d’fhéadfadh siad íomhánna de dhaoine fásta nó íomhánna neamhréalaíocha de leanaí a chur faoi bhratach de dhearmad ó am go chéile. Ina theannta sin, aithnímid go gcuireann staidéir agus an litríocht atá ann béim ar an bhféidearthacht go mbeadh claonta ciníocha i samhlacha tuartha aoise. Mar shampla, d’fhéadfadh na samhlacha seo aois daoine ó ghrúpaí ciníocha áirithe a mheas ró-íseal go córasach.5 Táimid tiomanta d’fheidhmíocht ár n-aicmitheora a fheabhsú, dearfacha bréagacha a íoslaghdú, agus ár dtuiscint ar chlaonta féideartha a dhoimhniú sna míonna amach romhainn.
Expected outcome | n_samples | count (is_child) | count (not_child) | Evaluated metrics | |
Realistic Child | Classify images as “is child” | 1589 | 1555 | 34 | Accuracy: 97.86% |
Realistic Adult | Classify images as “not child” | 1370 | 36 | 1334 | Accuracy: 99.28% |
Fictitious Adult | Classify images as “not child” | 965 | 7 | 958 | Accuracy: 97.37% |
Fictitious Child | Classify images as “not child” | 1050 | 323 | 727 | Accuracy: 69.24% |
Total | 4974 | 1921 | 3053 | Precision: 80.95% Recall: 97.86% |
Note: precision is calculated as the % of is_child classifications that are realistic children, and recall is calculated as the % of realistic child images that are classified as is_child
Aschur
Mar a luadh thuas, a luaithe a aithnímid tagairt do mhionaoisigh ar ionchur téacs lenár n-aicmitheoir faoi 18, cuirimid tairseacha dochta i bhfeidhm don mhodhnóireacht a bhaineann le hábhar gnéasach, foréigneach nó féindíobhála ar an aschur. Thíos tá an dá aicmitheoir aschuir a úsáidimid chun é seo a bhaint amach:
- Aicmitheoir modhnóireachta ilmhódach a dhéanann scanadh le haghaidh aschuir fhíse neamhshábháilte agus a dhiúltaíonn iarratais a d’fhéadfadh a bheith an-íogair
- Táimid freisin ag baint úsáide as ár n-aicmitheoir íomhá DALL·E atá ann cheana chun scanadh a dhéanamh ar sháruithe a bhaineann le sábháilteacht leanaí.
Déanann ár n-aicmitheoirí aschuir 2 fhráma in aghaidh an tsoicind a scanadh agus nuair a chinntear go bhfuil físeán neamhshábháilte, bacaimid aon aschur.
Chomh maith lenár n-aicmitheoirí agus modhnóireacht uathoibrithe, beidh athbhreithniú daonna againn mar shraith bhreise cosanta i gcoinne sáruithe féideartha ar shábháilteacht leanaí.
Polasaí Táirge
Cuireann ár mbeartais cosc ar úsáid Sora chun ábhar gnéasach a bhaineann le mionaoisigh a ghiniúint. D’fhéadfadh baint ábhair agus cosc ar an úsáideoir a bheith mar thoradh ar sháruithe ar ár mbeartais sábháilteachta leanaí.
Ceann de na réimsí riosca atá ag teacht chun cinn a bhaineann le cumais ghiniúna físe IS ná an fhéidearthacht ábhar NSFW (Not Safe for Work) nó NCII (Non-Consensual Intimate Imagery) a chruthú. Cosúil le cur chuige DALL·E, úsáideann Sora straitéis mhodhnóireachta ilshraitheach chun ábhar follasach a bhac. Áirítear leis seo claochluithe leide, aicmitheoirí aschuir íomhá, agus blocliostaí, a chuireann go léir le córas a chuireann srian ar ábhar gáirsiúil, go háirithe d’aschuir atá oiriúnach d’aois. Tá tairseacha ár n-aicmitheoirí níos déine d’uaslódálacha íomhá ná do leideanna téacsbhunaithe.
Déantar físeáin a thaispeántar sa rannán Explore a scagadh tuilleadh le tairseacha níos airde chun eispéireas féachana a dhíriú atá oiriúnach do lucht féachana leathan.
Thíos tá torthaí ár meastóireachtaí ar lomnochta agus ar ábhar gáirsiúil, atá dírithe ar éifeachtacht maolaithe ilshraithe a mheas trasna ionchuir agus aschuir. Bunaithe ar thorthaí, rinneamar athdhéanamh ar ár dtairseacha agus chuireamar modhnóireacht níos déine i bhfeidhm ar íomhánna in uaslódálacha lena n-áirítear daoine.
Catagóir | Cruinneas* (ag an ionchur) | Cruinneas* (ag an aschur, i.e. E2E) |
Lomnochta & Ábhar Gairsiúil | 97.25% | 97.59% |
Míniú ar an measúnú:
N = líon iomlán na samplaí sáraitheacha (~200 in aghaidh na catagóire)
I = líon iomlán na samplaí sáraitheacha a chuaigh thar sheiceálacha modhnóireachta ionchuir
O = líon iomlán na samplaí sáraitheacha a chuaigh thar sheiceálacha modhnóireachta aschuir
Cruinneas ag an Ionchur = (N - I) / N
Cruinneas ag an Aschur (E2E) = (N - O) / N
Polasaí Táirge
Cuireann ár mbeartais cosc ar úsáid Sora chun ábhar gnéasach follasach a ghiniúint, lena n-áirítear íomhánna dlúthchaidrimh neamh-chomhthoiliúla. D’fhéadfadh baint ábhair agus pionósú an úsáideora a bheith mar thoradh ar sháruithe ar na beartais seo.
Mí-úsáid Cosúlachta agus Deepfakes Díobhálacha
Tá monatóir modhnóireachta Sora do leideanna bunaithe ar chosúlacht ceaptha chun ábhar deepfake a d’fhéadfadh a bheith díobhálach a chur faoi bhratach, agus é mar aidhm go ndéanfaí athbhreithniú dlúth ar fhíseáin ina bhfuil daoine inaitheanta. Cuireann an scagaire Mí-úsáide Cosúlachta bratach freisin ar leideanna a dhéanann iarracht daoine a mhodhnú nó a léiriú ar bhealaí a d’fhéadfadh a bheith díobhálach nó míthreorach. Laghdaíonn claochluithe ginearálta leideanna Sora an riosca tuilleadh go nginfidh Sora cosúlacht neamh-inmhianaithe duine phríobháidigh bunaithe ar leid ina bhfuil ainm duine.
Ábhar Mealltach
Tá aicmitheoirí ionchuir agus aschuir Sora ceaptha chun cosc a chur ar ábhar mealltach a bhaineann le toghcháin a ghiniúint a léiríonn gníomhaíocht chalaoiseach, mhí-eiticiúil nó ar shlí eile mhídhleathach. Áirítear i méadrachtaí meastóireachta Sora aicmitheoirí chun teicnící stíle nó scagtha a chur faoi bhratach a d’fhéadfadh físeáin mhíthreoracha a tháirgeadh i gcomhthéacs toghchán, rud a laghdaíonn an riosca mí-úsáide sa saol fíor.
Thíos tá na meastóireachtaí dár scagaire LLM d’ábhar toghcháin mealltach, dírithe ar chabhrú le cásanna a aithint ina bhféadfadh rún a bheith ann ábhar toirmiscthe a chruthú thar ionchuir éagsúla (m.sh. téacs agus físeán). Déanann ár gcóras scanadh freisin ar 1 fhráma in aghaidh an tsoicind d’fhíseán aschuir chun sáruithe féideartha aschuir a mheas.
Aicmitheoir | Athghabháil | Beachtas | Toradh nuair a chuirtear bratach air |
Ábhar Toghcháin Mealltach | 98.23% | 88.80% | Cuir bac ar aschur a ghiniúint |
N=~500, bunaithe ar leideanna sonraí sintéiseacha
Infheistíochtaí i dTionscnamh
Ós rud é go bhfuil go leor rioscaí a bhaineann le Sora, amhail ábhar deepfake díobhálach, an-spleách ar chomhthéacs, thugamar tosaíocht d’fheabhsú ár n-uirlisí tionscnaimh. Aithnímid nach bhfuil réiteach aonair ar thionscnamh, ach táimid tiomanta d’éiceachóras an tionscnaimh a fheabhsú agus cabhrú le comhthéacs agus trédhearcacht a chothú d’ábhar a chruthaítear ó Sora.
Maidir le hinfhaighteacht ghinearálta, áireofar inár n-uirlisiú sábháilteachta tionscnaimh:
- Meiteashonraí C2PA ar gach sócmhainn (bunús infhíoraithe, caighdeán tionscail)
- Comharthaí uisce infheicthe beoite Sora de réir réamhshocraithe (trédhearcacht do lucht féachana gur “IS” é seo)
- Uirlis inmheánach cuardaigh físe droim ar ais, chun cabhrú le baill d’fhoireann Intelligence & Investigation OpenAI measúnú a dhéanamh le hardmhuinín an bhfuil ábhar cruthaithe ag Sora
Polasaí Táirge
Cuireann ár mbeartais cosc ar úsáid Sora chun daoine eile a chalaois, a mhealladh, nó a chur amú, lena n-áirítear trí dhífhaisnéis a chruthú agus a scaipeadh. Cuireann siad cosc freisin ar chosúlacht duine eile a úsáid gan a gcead. D’fhéadfadh baint ábhair agus pionósú an úsáideora a bheith mar thoradh ar sháruithe ar na beartais seo.
Nuair a úsáideann úsáideoir ainm ealaíontóra bheo i leid, féadfaidh an tsamhail físeán a ghiniúint atá cosúil ar bhealach éigin le stíl shaothair an ealaíontóra sin. Tá traidisiún an-fhada sa chruthaitheacht de thógáil ar stíleanna ealaíontóirí eile, ach tuigimid go bhféadfadh imní a bheith ar roinnt cruthaitheoirí. Roghnaíomar cur chuige coimeádach leis an leagan seo de Sora agus muid ag foghlaim níos mó faoi conas a úsáideann an pobal cruthaitheach Sora. Chun dul i ngleic leis seo, chuireamar athscríobh leideanna leis atá deartha le gníomhachtú nuair a dhéanann úsáideoir iarracht físeán a ghiniúint i stíl ealaíontóra bheo.
Cosúil lenár dtáirgí eile, úsáideann Eagarthóir Sora LLM chun téacs a cuireadh isteach a athscríobh chun cabhrú le leid a thabhairt do Sora níos éifeachtaí. Cothaíonn an próiseas seo comhlíonadh ár dtreoirlínte, lena n-áirítear ainmneacha daoine poiblí a bhaint, bunús a thabhairt do dhaoine le tréithe sonracha, agus cur síos ginearálta a dhéanamh ar réada brandáilte. Coinnímid blocliostaí téacsúla thar chatagóirí éagsúla, bunaithe ar ár gcuid oibre roimhe seo ar DALL·E 2 agus DALL·E 3, ar fhionnachtain réamhghníomhach riosca, agus ar thorthaí ó fhoirne deirge agus ó luathúsáideoirí.
Úsáideann OpenAI straitéis imlonnaithe atriallach chun rolladh amach freagrach agus éifeachtach a tháirgí a chinntiú. Comhcheanglaíonn an cur chuige seo rolluithe amach céimnithe, tástáil leanúnach, agus monatóireacht leanúnach le haiseolas úsáideoirí agus sonraí ón bhfíorshaol chun ár bhfeidhmíocht agus ár maoluithe sábháilteachta a bheachtú agus a fheabhsú le himeacht ama. Thíos tá sraith oibre atá beartaithe againn a dhéanamh mar chuid dár n-imlonnú atriallach do Sora.
Is veicteoir mhí-úsáide fhéideartha é an cumas físeán a ghiniúint ag úsáid grianghraif nó físeáin uaslódáilte de dhuine fíor mar “shíol”, agus tá cur chuige thar a bheith incriminteach á ghlacadh againn ina leith chun foghlaim ó phatrúin luatha úsáide. Léiríonn aiseolas luath ó ealaíontóirí gur uirlis chruthaitheach chumhachtach í seo a bhfuil luach acu uirthi, ach mar gheall ar an bhféidearthacht mí-úsáide, ní bheidh sí ar fáil do gach úsáideoir ar dtús. Ina ionad sin, i gcomhréir lenár gcleachtas imlonnaithe atriallaí, cuirfear an cumas íomhánna nó físeáin de dhaoine a uaslódáil ar fáil do fho-thacar úsáideoirí agus beidh monatóireacht ghníomhach, dhomhain againn i bhfeidhm chun a luach do phobal Sora a thuiscint agus chun ár gcur chuige i leith sábháilteachta a choigeartú de réir mar a fhoghlaimímid. Ní cheadófar uaslódálacha ina bhfuil íomhánna de mhionaoisigh le linn na tástála seo.
Leanfaidh atriallta Sora amach anseo ag neartú inrianaitheachta trí thaighde ar uirlisí cuardaigh leabaithe inbhéartaigh agus trí chur i bhfeidhm leanúnach ar bhearta trédhearcachta amhail C2PA. Táimid ar bís iniúchadh a dhéanamh ar chomhpháirtíochtaí féideartha le NGOnna agus eagraíochtaí taighde chun éiceachóras tionscnaimh a fhás agus a fheabhsú agus chun ár n-uirlis inmheánach droim ar ais íomhá a thástáil do Sora.
Táimid tiomanta do chlaontaí féideartha san aschur a laghdú trí mhionchoigeartuithe leide, lúba aiseolais, agus sainaithint leanúnach ar mhaoluithe éifeachtacha—ag aithint gur féidir le rócheartuithe a bheith chomh díobhálach céanna. Aithnímid dúshláin cosúil le claonadh íomhá choirp agus ionadaíocht dhéimeagrafach agus leanfaimid orainn ag mionchoigeartú ár gcur chuige chun aschuir chothromaithe agus uilechuimsitheacha a chinntiú.
Tá sé beartaithe ag OpenAI meastóireachtaí leanúnacha ar Sora a choinneáil ar bun agus iarrachtaí a dhéanamh chun cloí Sora le beartais agus caighdeáin sábháilteachta OpenAI a fheabhsú tuilleadh. Tá tuilleadh feabhsuithe beartaithe i réimsí amhail sábháilteacht cosúlachta agus ábhar mealltach, faoi threoir dea-chleachtas atá ag forbairt agus aiseolas ó úsáideoirí.
Gabhaimid buíochas le foirne inmheánacha uile OpenAI, lena n-áirítear Comms, Comms Design, Gnóthaí Domhanda, Integrity, Intel & Investigations, Legal, Product Policy, Safety Systems agus User Ops, a raibh a dtacaíocht ríthábhachtach chun maoluithe sábháilteachta Sora a fhorbairt agus a chur i bhfeidhm, chomh maith lena rannchuidiú leis an gcárta córais seo.
Táimid buíoch dár ngrúpa ealaíontóirí Alfa agus dár saineolaithe modh na foirne deirge a chuir aiseolas ar fáil, a chabhraigh lenár samhlacha a thástáil ag céimeanna luatha forbartha agus a mhúnlaigh ár measúnuithe agus ár meastóireachtaí riosca. Ní chiallaíonn páirt a ghlacadh sa phróiseas tástála tacaíocht do phleananna imlonnaithe OpenAI ná do bheartais OpenAI.
- Daoine aonair sa mhodh foirne deirge (in ord aibítre): Alexandra García Pérez, Arjun Singh Puri, Caroline Friedman Levy, Dani Madrid-Morales, Emily Lynell Edwards, Grant Brailsford, Herman Wasserman, Javier García Arredondo, Kate Turetsky, Kelly Bare, Matt Groh, Maximilian Müller, Naomi Hart, Nathan Heath, Patrick Caughey, Per Wikman Svahn, Rafael González-Vázquez, Sara Kingsley, Shelby Grossman, Vincent Nestler
- Eagraíochtaí sa mhodh foirne deirge: ScaleAI
Údair
Tagairtí
- 1
- 2
OpenAI. (gan dáta). An Moderation API a uasghrádú lenár samhail nua Mhódhnóireachta Ilmhódach. 2024
- 3
OpenAI. (gan dáta). Sábháilteacht leanaí: Prionsabail SBD a ghlacadh. OpenAI. Aisghafa an 6 Nollaig 2024
- 4
OpenAI. Cárta córais DALL·E 3. 2023.
- 5
Panić, N., Marjanović, M., & Bezdan, T. (2024). Dul i ngleic le claonadh déimeagrafach i samhlacha meastacháin aoise trí chomhdhéanamh tacar sonraí optamaithe(osclaíonn i bhfuinneog nua). Mathematics, 12(15), 2358.