GPT‑4

Направили смо GPT‑4, најновију прекретницу у OpenAI напору да прошири дубоко учење. GPT‑4 је велики мултимодални модел (прихвата улазе у виду слика и текста, даје текстуалне излазе) који, иако је мање способан од људи у многим стварним сценаријима, показује перформансе на нивоу човека на различитим професионалним и академским бенчмарковима. На пример, пролази симулирани правосудни испит са резултатом око најбољих 10% полагача; насупрот томе, резултат GPT‑3.5 био је око најнижих 10%. Провели смо 6 месеци итеративно усклађујући⁠ GPT‑4 користећи лекције из нашег програма адверзаријалног тестирања, као и из ChatGPT‑а, што је довело до наших до сада најбољих резултата (мада далеко од савршених) у чињеничности, управљивости и одбијању да изађе изван заштитних ограничења.

Током последње две године поново смо изградили цео наш стек дубоког учења и, заједно са Azure-ом, од нуле ко-дизајнирали суперкомпјутер за наше радно оптерећење. Пре годину дана обучили смо GPT‑3.5 као прво „пробно покретање“ система. Пронашли смо и исправили неке грешке и побољшали наше теоријске основе. Као резултат тога, наша обука GPT‑4 била је (бар за нас!) невиђено стабилна, постајући наш први велики модел чије смо перформансе током обуке могли прецизно да предвидимо унапред. Док настављамо да се фокусирамо на поуздано скалирање, циљ нам је да усавршимо методологију како би нам помогла да све раније предвидимо и припремимо се за будуће способности — нешто што сматрамо кључним за безбедност.

Објављујемо GPT‑4 могућност текстуалног улаза преко ChatGPT‑а и API-ја (са листом чекања⁠). Да бисмо припремили могућност улаза слика за ширу доступност, за почетак блиско сарађујемо са једним партнером⁠(отвара се у новом прозору). Такође отварамо изворни код за OpenAI Evals⁠(отвара се у новом прозору), наш оквир за аутоматизовану евалуацију перформанси AI модела, како бисмо омогућили свакоме да пријави недостатке у нашим моделима и помогне даљим побољшањима.

У неформалном разговору, разлика између GPT‑3.5 и GPT‑4 може бити суптилна. Разлика постаје очигледна када сложеност задатка достигне довољно висок праг — GPT‑4 је поузданији, креативнији и способнији да обради много нијансираније инструкције него GPT‑3.5.

Да бисмо разумели разлику између ова два модела, тестирали смо их на различитим бенчмарковима, укључујући симулиране испите који су првобитно били осмишљени за људе. Користили смо најновије јавно доступне тестове (у случају олимпијада и AP питања са слободним одговором) или смо купили издања пробних испита за 2022–2023. За ове испите нисмо радили никакву посебну обуку. Модел је током обуке видео мањи део проблема са испита, али верујемо да су резултати репрезентативни — детаље погледајте у нашем техничком извештају⁠(отвара се у новом прозору).

интерна референца ¹

Такође смо евалуирали GPT‑4 на традиционалним бенчмарковима осмишљеним за моделе машинског учења. GPT‑4 знатно надмашује постојеће велике језичке моделе, као и већину водећих модела (SOTA), који могу укључивати прилагођавање специфично за бенчмарк или додатне протоколе обуке:

Многи постојећи ML бенчмаркови написани су на енглеском. Да бисмо стекли почетни увид у способности на другим језицима, превели смо MMLU бенчмарк — скуп од 14.000 проблема са вишеструким избором који обухвата 57 предмета — на различите језике помоћу Azure Translate-а (видети Додатак⁠). У 24 од 26 тестираних језика, GPT‑4 надмашује перформансе GPT‑3.5 и других LLM-ова (Chinchilla, PaLM) на енглеском језику, укључујући и језике са мало ресурса као што су летонски, велшки и свахили:

GPT‑4 смо такође интерно користили, са великим утицајем на функције као што су подршка, продаја, модерација садржаја и програмирање. Такође га користимо да помаже људима у евалуацији AI излаза, чиме започињемо другу фазу у нашој стратегији усклађености⁠.

GPT‑4 може да прихвати инструкцију са текстом и сликама, што — паралелно са окружењем само за текст — омогућава кориснику да зада било који задатак из вида или језика. Конкретно, генерише текстуалне излазе (природни језик, код итд.) на основу улаза који се састоје од испреплетаног текста и слика. У различитим доменима — укључујући документе са текстом и фотографијама, дијаграме или снимке екрана — GPT‑4 показује сличне способности као и на улазима који садрже само текст. Поред тога, може се унапредити техникама у време тестирања које су развијене за језичке моделе само за текст, укључујући few-shot и начин резоновања⁠(отвара се у новом прозору) у инструкцији. Улази у виду слика су и даље истраживачки преглед и нису јавно доступни.

Представљамо преглед перформанси GPT‑4 евалуацијом на уском скупу стандардних академских бенчмаркова за вид. Међутим, ови бројеви не представљају у потпуности обим његових способности, јер стално откривамо нове и узбудљиве задатке са којима модел може да се носи. Ускоро планирамо да објавимо додатне анализе и бројке евалуације, као и детаљно испитивање ефекта техника у време тестирања.

интерна фуснота^A

Радимо на сваком аспекту плана изложеног у нашој објави о дефинисању понашања AI система⁠, укључујући управљивост. Уместо класичне ChatGPT личности са фиксном опширношћу, тоном и стилом, програмери (а ускоро и корисници ChatGPT‑а) сада могу да пропишу стил и задатак свог AI система тако што ће те смернице описати у „system“ поруци. System поруке омогућавају корисницима API-ја да значајно прилагоде искуство својих корисника у оквиру граница⁠(отвара се у новом прозору). Наставићемо да унапређујемо ову област (и посебно знамо да су system поруке најлакши начин да се тренутни модел „jailbreak“-ује, тј. придржавање граница није савршено), али вас охрабрујемо да ово испробате и кажете нам шта мислите.

Упркос својим способностима, GPT‑4 има слична ограничења као ранији GPT модели. Најважније је да још увек није у потпуности поуздан (он „халуцинира“ чињенице и прави грешке у резоновању). Потребан је велики опрез при коришћењу излаза језичких модела, нарочито у контекстима са високим улозима, при чему тачан протокол (као што су људска ревизија, утемељење додатним контекстом или потпуно избегавање примене у таквим контекстима) треба да одговара потребама конкретног случаја употребе.

Иако је то и даље стварни проблем, GPT‑4 значајно смањује халуцинације у односу на претходне моделе (који су и сами напредовали са сваком итерацијом). GPT‑4 постиже резултат 40% виши од наше најновије верзије GPT‑3.5 на нашим интерним адверзаријалним евалуацијама чињеничне тачности:

Остварили смо напредак на спољним бенчмарковима као што је TruthfulQA, који тестира способност модела да раздвоји чињенице од скупа нетачних тврдњи одабраних на адверзаријалан начин. Ова питања су упарена са чињенично нетачним одговорима који су статистички примамљиви.

Основни GPT‑4 модел је у овом задатку само незнатно бољи од GPT‑3.5; међутим, после RLHF⁠ постобуке (примењујући исти процес који смо користили са GPT‑3.5⁠) појављује се велики јаз. Посматрајући неке примере испод, GPT‑4 одолева избору уобичајених изрека (старог пса не можеш научити новим триковима), али и даље може да пропусти суптилне детаље (Elvis Presley није био син глумца).

Модел може имати различите пристрасности у својим излазима — остварили смо напредак по том питању, али има још посла. Према нашем недавном блог посту⁠, циљ нам је да AI системи које градимо имају разумна подразумевана понашања која одражавају широк распон вредности корисника, да омогуће прилагођавање тих система унутар широких граница и да добијемо мишљење јавности о томе какве те границе треба да буду.

GPT‑4 углавном нема знање о догађајима који су се догодили након што се огромна већина његових података прекида (септембар 2021), и не учи из сопственог искуства. Понекад може правити једноставне грешке у резоновању које као да нису у складу са компетенцијом у толико много домена, или бити превише лаковеран у прихватању очигледно нетачних тврдњи корисника. А понекад може да не успе на тешким проблемима на исти начин као и људи, на пример увођењем безбедносних рањивости у код који производи.

GPT‑4 такође може бити самоуверено нетачан у својим предвиђањима, не водећи рачуна да двапут провери рад када је вероватно да ће погрешити. Занимљиво је да је основни предобучени модел високо калибрисан (његово предвиђено поверење у одговор углавном се поклапа са вероватноћом да је тачан). Међутим, кроз наш тренутни процес постобуке, калибрација се смањује.

Од почетка обуке итеративно радимо на GPT‑4 како бисмо га учинили безбеднијим и усклађенијим, уз напоре који укључују избор и филтрирање података за предобуку, евалуације и сарадњу са стручњацима, побољшања безбедности модела, као и надзор и спровођење.

GPT‑4 носи сличне ризике као претходни модели, као што су генерисање штетних савета, баговитог кода или нетачних информација. Међутим, додатне способности GPT‑4 доводе до нових површина ризика. Да бисмо разумели обим ових ризика, ангажовали смо више од 50 стручњака из области као што су ризици усклађености AI-а, сајбер-безбедност, биоризик, поверење и безбедност, и међународна безбедност, да адверзаријално тестирају модел. Њихови налази су нам посебно омогућили да тестирамо понашање модела у областима високог ризика које захтевају стручност за евалуацију. Повратне информације и подаци ових стручњака уткани су у наша ублажавања и побољшања модела; на пример, прикупили смо додатне податке да побољшамо способност GPT‑4 да одбије захтеве о томе како синтетизовати опасне хемикалије.

GPT‑4 укључује додатни сигнал награде за безбедност током RLHF обуке да би се смањили штетни излази (како су дефинисани нашим смерницама за коришћење⁠(отвара се у новом прозору)) тако што се модел обучава да одбија захтеве за такав садржај. Награду обезбеђује GPT‑4 zero-shot класификатор који процењује безбедносне границе и стил довршетка на инструкцијама повезаним са безбедношћу. Да бисмо спречили да модел одбија валидне захтеве, прикупљамо разноврстан скуп података из различитих извора (нпр. означени продукциони подаци, људски red-teaming, инструкције које генерише модел) и примењујемо сигнал награде за безбедност (са позитивном или негативном вредношћу) и на дозвољене и на недозвољене категорије. 

Наша ублажавања су значајно побољшала многа безбедносна својства GPT‑4 у односу на GPT‑3.5. Смањили смо склоност модела да одговара на захтеве за недозвољени садржај за 82% у поређењу са GPT‑3.5, а GPT‑4 одговара на осетљиве захтеве (нпр. медицински савети и самоповређивање) у складу са нашим политикама 29% чешће.

У целини, интервенције на нивоу модела повећавају тежину изазивања лошег понашања, али је то и даље могуће. Поред тога, и даље постоје „jailbreaks“ за генерисање садржаја који крши наше смернице за коришћење⁠. Како се „ризик по токену“ AI система повећава, биће кључно постићи изузетно висок степен поузданости ових интервенција; за сада је важно ове ограничености допунити безбедносним техникама у време примене, као што је надзор злоупотребе.

GPT‑4 и његови наследни модели имају потенцијал да значајно утичу на друштво, и на користан и на штетан начин. Сарађујемо са спољним истраживачима како бисмо унапредили начин на који разумемо и процењујемо потенцијалне утицаје, као и да бисмо изградили евалуације за опасне способности које се могу појавити у будућим системима. Ускоро ћемо поделити више о нашем размишљању о потенцијалним друштвеним и економским утицајима GPT‑4 и других AI система.

Као и претходни GPT модели, основни GPT‑4 модел је обучен да предвиђа следећу реч у документу и обучаван је на јавно доступним подацима (као што су интернет подаци), као и на подацима за које смо добили лиценцу. Подаци чине корпус веб-размера који укључује тачна и нетачна решења математичких проблема, слабо и снажно резоновање, самопротивречне и доследне исказе, и представља велику разноврсност идеологија и идеја.

Зато, када му се постави питање, основни модел може одговорити на велики број начина који могу бити далеко од намере корисника. Да бисмо га ускладили са намером корисника унутар заштитних ограничења, фино подешавамо понашање модела користећи подстицајно учење уз људске повратне информације (RLHF⁠).

Имајте у виду да се чини да способности модела превасходно потичу из процеса предобуке — RLHF не побољшава учинак на испитима (без активног труда, заправо га погоршава). Али усмеравање модела долази из процеса постобуке — основном моделу је потребно формулисање инструкције да би уопште знао да треба да одговори на питања.

Велики фокус GPT‑4 пројекта био је изградња стекa дубоког учења који се скалира предвидиво. Главни разлог је то што за веома велика покретања обуке као што је GPT‑4 није изводљиво радити опсежно подешавање специфично за модел. Развили смо инфраструктуру и оптимизацију које се понашају веома предвидиво на више размера. Да бисмо верификовали ову скалабилност, унапред смо прецизно предвидели коначни loss GPT‑4 на нашој интерној бази кода (која није део скупа за обуку), екстраполирајући из модела обучених истом методологијом, али са 10.000x мање рачунарских ресурса:

Сада када можемо прецизно да предвидимо метрику коју оптимизујемо током обуке (loss), почињемо да развијамо методологију за предвиђање метрика које су разумљивије. На пример, успешно смо предвидели стопу пролазности на подскупу скупа података HumanEval⁠(отвара се у новом прозору), екстраполирајући из модела са 1.000x мање рачунарских ресурса:

Неке способности је и даље тешко предвидети. На пример, Inverse Scaling Prize је било такмичење чији је циљ био да пронађе метрику која се погоршава како се повећава рачунарски капацитет модела, а занемаривање накнадне памети⁠(отвара се у новом прозору) било је један од победника. Као и у случају још једног недавног резултата,⁠(отвара се у новом прозору) GPT‑4 преокреће тренд:

Верујемо да је прецизно предвиђање будућих способности машинског учења важан део безбедности коме се не посвећује ни приближно довољно пажње у односу на његов потенцијални утицај (мада су нас охрабрили напори у више институција). Повећавамо своје напоре да развијемо методе које друштву пружају боље смернице о томе шта може да очекује од будућих система, и надамо се да ће то постати заједнички циљ у овој области.

Отварамо изворни код за OpenAI Evals⁠(отвара се у новом прозору), наш софтверски оквир за креирање и покретање бенчмаркова за евалуацију модела као што је GPT‑4, уз проверу њихових перформанси пример по пример. Evals користимо да бисмо усмеравали развој наших модела (и за идентификовање недостатака и за спречавање регресија), а наши корисници га могу применити за праћење перформанси кроз верзије модела (које ће сада редовно излазити) и за развој интеграција у производе. На пример, Stripe је користио Evals да допуни своје људске евалуације ради мерења тачности свог алата за документацију који покреће GPT.

Пошто је сав код отвореног кода, Evals подржава писање нових класа за имплементацију прилагођене логике евалуације⁠(отвара се у новом прозору). У нашем искуству, међутим, многи бенчмаркови прате један од неколико „шаблона“, па смо такође укључили шаблоне⁠(отвара се у новом прозору) који су нам били најкориснији интерно (укључујући шаблон за „моделом оцењене евалуације“ — открили смо да је GPT‑4 изненађујуће способан да проверава сопствени рад). Уопштено, најефикаснији начин да направите нову евалуацију⁠(отвара се у новом прозору) биће да инстанцирате један од ових шаблона и обезбедите податке. Узбуђени смо да видимо шта други могу изградити помоћу ових шаблона и Evals-а уопштено.

Надамо се да ће Evals постати средство за дељење и колективно прикупљање бенчмаркова, које представља што шири скуп начина отказа и тешких задатака. Као пример, направили смо евалуацију логичких загонетки⁠(отвара се у новом прозору) која садржи десет инструкција на којима GPT‑4 не успева. Evals је такође компатибилан са имплементацијом постојећих бенчмаркова; укључили смо неколико свезака⁠(отвара се у новом прозору) које имплементирају академске бенчмаркове и неколико варијација интеграције (малих подскупова) CoQA⁠(отвара се у новом прозору) као примера.

Позивамо све да користе Evals за тестирање наших модела и пошаљу најзанимљивије примере. Верујемо да ће Evals бити саставни део процеса коришћења и изградње на нашим моделима, и поздрављамо директне доприносе, питања и повратне информације⁠(отвара се у новом прозору).

Претплатници на ChatGPT Plus добиће приступ GPT‑4 на chatgpt.com⁠(отвара се у новом прозору) уз ограничење коришћења. Тачно ограничење коришћења прилагођаваћемо у зависности од потражње и перформанси система у пракси, али очекујемо да ћемо бити озбиљно ограничени капацитетом (мада ћемо током наредних месеци проширивати капацитете и оптимизовати систем).

У зависности од образаца саобраћаја које будемо видели, можда ћемо увести нови ниво претплате за већи обим коришћења GPT‑4; такође се надамо да ћемо у неком тренутку понудити одређен број бесплатних GPT‑4 упита како би и они без претплате могли да га испробају.

Да бисте добили приступ GPT‑4 API-ју (који користи исти ChatCompletions API⁠(отвара се у новом прозору) као gpt-3.5-turbo), молимо вас да се пријавите на нашу листу чекања⁠. Почећемо већ данас да позивамо неке програмере, а затим ћемо се постепено ширити како бисмо уравнотежили капацитет и тражњу. Ако сте истраживач који проучава друштвени утицај AI-а или питања AI усклађености, можете се такође пријавити за субвенционисани приступ кроз наш Програм приступа за истраживаче⁠.

Када добијете приступ, можете слати захтеве само са текстом моделу gpt-4 (улази у виду слика су и даље у ограниченој алфа фази), који ћемо аутоматски ажурирати на наш препоручени стабилни модел како временом будемо објављивали нове верзије (тренутну верзију можете фиксирати позивом gpt-4-0314, коју ћемо подржавати до 14. јуна). Цена је 0,03 $ по 1k prompt токена и 0,06 $ по 1k completion токена. Подразумевана ограничења брзине су 40k токена у минути и 200 захтева у минути.

gpt-4 има дужину контекста од 8.192 токена. Такође пружамо ограничен приступ нашој верзији са контекстом од 32.768 (око 50 страница текста), gpt-4-32k, која ће се такође аутоматски ажурирати током времена (тренутна верзија gpt-4-32k-0314, такође подржана до 14. јуна). Цена је 0,06 $ по 1K prompt токена и 0,12 $ по 1k completion токена. И даље унапређујемо квалитет модела за дугачак контекст и радо бисмо добили повратне информације о томе како се понаша у вашем случају употребе. Захтеве за 8K и 32K engine-е обрађујемо различитом брзином у зависности од капацитета, па можете добити приступ у различито време.

Радујемо се томе да GPT‑4 постане вредан алат за унапређење живота људи, покрећући многе примене. Има још много посла, и радујемо се унапређивању овог модела кроз заједничке напоре заједнице која га надграђује, истражује и доприноси му.

Више: Прочитајте рад⁠(отвара се у новом прозору) / Погледајте системску картицу⁠(отвара се у новом прозору) / Испробајте у ChatGPT Plus⁠(отвара се у новом прозору) / Испробајте у Playground-у⁠(отвара се у новом прозору) / Поново погледајте демо пренос уживо⁠(отвара се у новом прозору) / Доприносите OpenAI Evals-у⁠(отвара се у новом прозору)

Пример MMLU питања, преведених на друге језике. Напомена: користимо доследне токене избора (A–D):