New and improved content moderation tooling
Да бисмо помогли програмерима да заштите своје апликације од могуће злоупотребе, представљамо бржу и прецизнију крајњу тачку Moderation(отвара се у новом прозору). Ова крајња тачка програмерима OpenAI API-ја пружа бесплатан приступ класификаторима заснованим на GPT‑у који откривају непожељан садржај — пример коришћења AI система као помоћи у људском надзору ових система. Такође смо објавили и технички рад(отвара се у новом прозору) који описује нашу методологију и скуп података(отвара се у новом прозору) коришћен за евалуацију.
Када добије текстуални унос, крајња тачка Moderation процењује да ли је садржај сексуалне природе, пун мржње, насилан или подстиче самоповређивање — садржај који је забрањен нашом политиком садржаја(отвара се у новом прозору). Крајња тачка је обучена да буде брза, прецизна и да поуздано ради у широком спектру апликација. Важно је да то смањује вероватноћу да производи „кажу” погрешну ствар, чак и када су примењени за кориснике у великом обиму. Као последица тога, AI може да откључа користи у осетљивим окружењима, попут образовања, где иначе не би могао да се користи са поверењем.
Крајња тачка Moderation помаже програмерима да имају користи од наших улагања у инфраструктуру. Уместо да праве и одржавају сопствене класификаторе — што је обиман процес, као што документујемо у нашем раду(отвара се у новом прозору) — они уместо тога могу да приступе прецизним класификаторима путем једног API позива.
Као део OpenAI-јеве посвећености стварању безбеднијег AI екосистема, обезбеђујемо ову крајњу тачку како бисмо омогућили бесплатну модерацију свег садржаја генерисаног помоћу OpenAI API-ја. На пример, Inworld(отвара се у новом прозору), корисник OpenAI API-ја, користи крајњу тачку Moderation како би њихови виртуелни ликови засновани на AI-ју остали прикладни за своју публику. Ослањајући се на OpenAI-јеву технологију, Inworld може да се усредсреди на свој основни производ: креирање упечатљивих ликова. Тренутно не подржавамо праћење саобраћаја трећих страна.
Почните са крајњом тачком Moderation тако што ћете погледати документацију(отвара се у новом прозору). Више детаља о процесу обуке и перформансама модела доступно је у нашем раду(отвара се у новом прозору). Такође смо објавили скуп података за евалуацију(отвара се у новом прозору), који садржи Common Crawl податке означене у оквиру ових категорија, за који се надамо да ће подстаћи даља истраживања у овој области.
