GPT‑4

Го создадовме GPT‑4, најновата пресвртница во напорите на OpenAI за зголемување на обемот на длабокото учење. GPT‑4 е голем мултимодален модел (прифаќа слики и текст како внесувања, емитува текст како резултати) кој, иако е помалку способен од луѓето во многу сценарија од реалниот свет, покажува перформанси на човечко ниво на различни професионални и академски тестови. На пример, го положува симулираниот правосуден испит со резултат околу првите 10% од полагачите на тестот; спротивно на тоа, GPT‑3.5 резултатот беше околу најдолните 10%. Поминавме 6 месеци итеративно усогласувајќи го GPT‑4⁠ користејќи лекции од нашата програма за противничко тестирање, како и ChatGPT, што резултираше со нашите најдобри резултати досега (иако далеку од совршени) за фактичноста, управливоста и одбивањето да се оди надвор од границите.

Во изминатите две години, го обновивме целиот наш систем за длабоко учење и, заедно со Azure, ко-дизајниравме суперкомпјутер од нула за нашите потреби. Пред една година, го обучивме GPT‑3.5 како прво „тестирање“ на системот. Најдовме и поправивме некои грешки и ги подобривме нашите теоретски основи. Како резултат, нашата обука за GPT‑4 беше (барем за нас!) невидено стабилна, станувајќи нашиот прв голем модел чии перформанси на обука можевме точно да ги предвидиме однапред. Додека продолжуваме да се фокусираме на сигурно скалирање, целиме да ја усовршиме нашата методологија за да ни помогне да предвидиме и да се подготвиме за идните способности многу однапред - нешто што го сметаме за критично за безбедноста.

Ја објавуваме можноста за внесување текст на GPT‑4 преку ChatGPT и API (со листа на чекање⁠). За да ја подготвиме можноста за внесување слики за поширока достапност, тесно соработуваме со единствен партнер⁠(се отвора во нов прозорец) за почеток. Исто така, го отвораме кодот на OpenAI Evals⁠(се отвора во нов прозорец), нашата рамка за автоматизирана евалуација на перформансите на моделите на вештачка интелигенција, за да му овозможиме на секој да пријави недостатоци во нашите модели и да помогне во насочувањето на понатамошните подобрувања.

Во неформален разговор, разликата помеѓу GPT‑3.5 и GPT‑4 може да биде суптилна. Разликата станува очигледна кога сложеноста на задачата достигнува доволен праг - GPT‑4 е понадежен, покреативен и способен да се справи со многу посложени инструкции од GPT‑3.5.

За да ја разбереме разликата помеѓу двата модела, правевме тестирање на различни одредници, вклучувајќи симулирање на испити кои првично беа дизајнирани за луѓе. Продолживме со користење на најновите јавно достапни тестови (во случај на олимпијади и прашања за слободен одговор на АП) или со купување на изданија на испити за вежбање од 2022-2023 година. Не направивме никаква специфична обука за овие испити. Мал дел од проблемите на испитите беа видени од моделот за време на обуката, но веруваме дека резултатите се репрезентативни — види го нашиот технички извештај⁠(се отвора во нов прозорец) за детали.

Внатрешна референца ¹

Исто така, GPT‑4 го оценувавме според традиционалните одредници дизајнирани за модели за машинско учење. GPT‑4 значително ги надминува постојните големи јазични модели, заедно со повеќето најсовремени (SOTA) модели кои може да вклучуваат изработка специфична за бенчмарк или дополнителни протоколи за обука:

Многу постоечки ML одредници се напишани на англиски. За да добиеме почетно чувство за способност на други јазици, го преведовме бенчмаркот MMLU - збирка од 14.000 проблеми со повеќекратен избор кои опфаќаат 57 предмети - на различни јазици користејќи Azure Translate (види Додаток⁠). Во 24 од 26 тестирани јазици, GPT‑4 ги надминува перформансите на англиски јазик на GPT‑3.5 и другите LLM (Chinchilla, PaLM), вклучително и за јазици со ниски ресурси како што се латвиски, велшки и свахили:

И ние исто така го користиме GPT‑4 внатрешно, со големо влијание врз функции како што се поддршка, продажба, модерирање на содржини и програмирање. Ние исто така го користиме за да им помогнеме на луѓето во оценувањето на резултатите од вештачката интелигенција, започнувајќи ја втората фаза во нашата стратегија за усогласување⁠.

GPT‑4 може да прифати промпт од текст и слики, кој—паралелно со само текстуалната поставка—му овозможува на корисникот да наведе каква било визуелна или јазична задача. Поточно, генерира текстуални резултати (природен јазик, код, итн.) од внесување кое се состои од испреплетен текст и слики. Во различни домени - вклучувајќи документи со текст и фотографии, дијаграми или слики од екранот - GPT‑4 покажува слични способности како и на текстуалните внесувања. Понатаму, може да се надополни со техники за време на тестирање кои беа развиени за јазични модели само за текст, вклучително и поттикнување со мал број примери и синџир на размислување⁠(се отвора во нов прозорец). Внесувањата за слики сè уште се во фаза на истражувачки прегледај и не се јавно достапни.

Ги прегледуваме перформансите на GPT‑4 со оценување на тесен пакет од стандардни академски одредници за визија. Сепак, овие бројки не го претставуваат целосно обемот на неговите способности, бидејќи постојано откриваме нови и возбудливи задачи кои моделот може да ги решава. Имаме план наскоро да објавиме понатамошни анализи и бројки за евалуација, како и темелно истражување на ефектот од техниките за време на тестирање.

внатрешна фуснота^A

Работевме на секој аспект од планот наведен во нашата објава за дефинирање на однесувањето на ВИ⁠, вклучувајќи ја и управувачката способност. Наместо класичната личност на ChatGPT со фиксна вербозност, тон и стил, развивачите на софтвер (а наскоро и корисниците на ChatGPT) сега можат да го одредат стилот и задачата на нивната AI со опишување на тие насоки во пораката „систем“. Системските пораки им овозможуваат на корисниците на API значително да го прилагодат искуството на своите корисници во рамките на границите⁠(се отвора во нов прозорец). Ќе продолжиме да правиме подобрувања тука (и особено знаеме дека системските пораки се најлесниот начин да се „jailbreak“ сегашниот модел, односно, придржувањето до границите не е совршено), но те охрабруваме да го испробаш и да ни кажеш што размислуваш.

И покрај своите способности, GPT‑4 има слични ограничувања како и претходните GPT модели. Најважно од сè, сè уште не е целосно доверлив ("халуцинира" факти и прави грешки во расудувањето). Треба да се внимава многу при користење на резултати од јазични модели, особено во контексти со висок ризик, со точниот протокол (како што е човечка проверка, дополнителен контекст или целосно избегнување на употреба со висок ризик) што одговара на потребите на специфичен случај на употреба.

Иако сè уште претставува вистински проблем, GPT‑4 значително ги намалува халуцинациите во споредба со претходните модели (кои самите се подобруваат со секоја итерација). GPT‑4 постигнува 40% повисоки резултати од нашиот најнов GPT‑3.5 на нашите внатрешни проценки за фактичноста во непријателски услови:

Постигнавме напредок кај надворешните одредници како што е TruthfulQA, кој ја тестира способноста на моделот да ги оддели фактите од спротивставениот избран сет на неточни изјави. Овие прашања се споени со фактички неточни одговори кои се статистички привлечни.

Основниот модел GPT‑4 е само малку подобар во оваа задача од GPT‑3.5; Сепак, по RLHF⁠ пост-обука (применувајќи го истиот процес што го користевме со GPT‑3.5⁠) Има голема празнина. Испитувајќи некои примери подолу, GPT‑4 се спротивставува на изборот на вообичаени изреки (не можеш да научиш старо куче нови трикови), но сепак може да пропушти суптилни детали (Елвис Присли не беше син на актер).

Моделот може да има различни предрасуди во своите резултати - постигнавме напредок во ова, но има уште многу што треба да се направи. Според нашиот неодамнешен блог пост⁠, целиме да ги направиме системите за вештачка интелигенција што ги градиме да имаат разумни стандардни однесувања кои одразуваат широк спектар на вредности на корисниците, да овозможат прилагодување во широки граници и да добијат јавен Внесување за тоа какви треба да бидат тие граници.

GPT‑4 генерално нема знаење за настаните што се случиле по прекинот на мнозинството од неговите податоци (септември 2021 година) и не учи од своето искуство. Понекогаш може да направи едноставни грешки во расудувањето кои не се во согласност со компетентноста во толку многу домени, или да биде премногу лековерен во прифаќањето на очигледни лажни изјави од корисникот. И понекогаш може да не успее во решавање на тешки проблеми на истиот начин како што го прават луѓето, како на пример воведување на безбедносни ранливости во кодот што го создава.

GPT‑4 исто така може самоуверено да погреши во своите предвидувања, со тоа што не води грижа за да ја провери работата кога постои веројатност за правање грешка. Интересно е што основниот претходно обучен модел е високо калибриран (неговата предвидена доверба во одговорот генерално се совпаѓа со веројатноста да биде точен). Сепак, преку нашиот тековен процес по обука, калибрацијата се намалува.

Ние постојано го подобруваме GPT‑4 за да биде побезбеден и поусогласен од самиот почеток на обуката, со напори како што се избор и филтрирање на податоците за предобука, проценки и ангажирање на експерти, подобрувања на безбедноста на моделот, како и следење и спроведување.

GPT‑4 претставува слични ризици како претходните модели, како што се генерирање штетни совети, код со грешки или неточни информации. Сепак, дополнителните можности на GPT‑4 доведуваат до нови ризични површини. За да го разбереш степенот на овие ризици, ангажиравме над 50 експерти од домени како што се ризици за усогласување на вештачка интелигенција, сајбер-безбедност, биоризик, доверба и безбедност и меѓународна безбедност за противничко тестирање на моделот. Нивните наоди ни овозможија да го тестираме однесувањето на моделот во области со висок ризик кои бараат експертиза за оценување. Повратните информации и податоците од овие експерти беа вклучени во нашите мерки за ублажување и подобрувања на моделот; на пример, собравме дополнителни податоци за да ја подобриме способноста на GPT‑4 да одбива барања за синтеза на опасни хемикалии.

GPT‑4 вклучува дополнителен сигнал за безбедносна награда за време на RLHF обуката за да ги намали штетните резултати (како што е дефинирано во нашите упатства за употреба⁠(се отвора во нов прозорец)) преку обука на моделот да одбива барања за таква содржина. Наградата ја обезбедува GPT‑4 класификатор без претходно обучување кој ги оценува безбедносните граници и стилот на завршување на промптите поврзани со безбедноста. За да спречиме моделот да одбие валидни барања, собираме разновидна база на податоци од различни извори (на пр., означени податоци за производство, човечки црвено-тимови, промпти генерирани од модел) и го применуваме сигналот за безбедносна награда (со позитивна или негативна вредност) на дозволените и недозволените категории. 

Нашите мерки за ублажување значително ги подобрија многу од безбедносните карактеристики на GPT‑4 во споредба со GPT‑3.5. Го намаливме стремежот на моделот да одговара на барања за недозволена содржина за 82% во споредба со GPT‑3.5, а GPT‑4 одговара на чувствителни барања (на пр., медицински совети и самоповредување) во согласност со нашите политики 29% почесто.

Генерално, нашите интервенции на ниво на модел ја зголемуваат тешкотијата за предизвикување на лошо однесување, но тоа сè уште е можно. Дополнително, сè уште постојат „jailbreaks“ за генерира содржина што ги прекршува нашите правила за користење⁠. Како што се зголемува „ризикот по token“ на системите за вештачка интелигенција, ќе стане критично да се постигнат исклучително високи степени на сигурност во овие интервенции; засега е важно да се надополнат овие ограничувања со безбедносни техники за време на распоредување, како што е следење за злоупотреба.

GPT‑4 и наследните модели имаат потенцијал значително да влијаат на општеството на корисни и штетни начини. Соработуваме со надворешни истражувачи за да го подобриме начинот на кој ги разбираме и проценуваме потенцијалните влијанија, како и да создадеме проценки за опасни способности што можат да се појават во идните системи. Наскоро ќе споделиме повеќе од нашите размислувања за потенцијалните социјални и економски влијанија на GPT‑4 и други AI системи.

Како и претходните GPT модели, основниот GPT‑4 модел беше обучен да го предвиди следен збор во документот и беше обучен со користење на јавно достапни податоци (како што се интернет податоци), како и податоци што ги имаме лиценцирано. Податоците се корпус на податоци од веб-скала, кој вклучува точни и неточни решенија на математички проблеми, слабо и силно расудување, самоконтрадикторни и конзистентни изјави, и претставува голема разновидност на идеологии и идеи.

Така што кога ќе добие промпт, основниот модел може да одговори на многу начини кои можат да бидат далеку од намерата на корисникот. За да го усогласиме со намерата на корисникот во рамките на заштитните огради, ние фино го прилагодуваме однесувањето на моделот користејќи зајакнување на учењето со човечки повратни информации (RLHF).⁠

Имај на ум дека способностите на моделот главно произлегуваат од процесот на предобука - RLHF не ги подобрува перформансите на испитот (без активен напор, всушност ги влошува). Но, управувањето со моделот произлегува од процесот по обуката - основниот модел бара промпт инженеринг за да знае дека треба да одговори на прашањата.

Голем фокус на проектот GPT‑4 беше изградба на стак за длабоко учење кој се скалира предвидливо. Главната Расуди е тоа што, за многу големи обуки како GPT‑4, не е изводливо да се направи обемно подесување специфично за моделот. Развивме инфраструктура и оптимизација кои имаат многу предвидливо однесување на различни нивоа. За да ја потврдиме оваа скалабилност, однапред точно ја предвидовме конечната загуба на GPT‑4 на нашата внатрешна кодна база (која не е дел од сетот за обука) со екстраполирање од модели обучени со истата методологија, но користејќи 10,000x помалку компјутерски ресурси:

Сега кога можеме точно да ја предвидиме метриката што ја оптимизираме за време на обуката (загуба), почнуваме да развиваме методологија за да предвидиме метрики кои можат подобро да се толкуваат. На пример, успешно ја предвидовме стапката на положување на подмножество од HumanEval⁠(се отвора во нов прозорец) базата на податоци, екстраполирајќи од модели со 1,000x помалку пресметувачка моќност:

Некои способности сè уште е тешко да се предвидат. На пример, наградата за инверзно скалирање беше натпревар за пронаоѓање метрика што се влошува со зголемувањето на пресметката на моделот, а занемарување на ретроспектива⁠(се отвора во нов прозорец) беше еден од победниците. Исто како и со друг неодамнешен резултат,⁠(се отвора во нов прозорец) GPT‑4 го менува трендот:

Веруваме дека точното предвидување на идните способности за машинско учење е важен дел од безбедноста што не добива доволно внимание во однос на неговото потенцијално влијание (иако сме охрабрени од напорите на неколку институции). Ги зголемуваме нашите напори да развиеме методи кои му обезбедуваат на општеството подобри насоки за тоа што да очекува од идните системи и се надеваме дека ова ќе стане заедничка цел во полето.

Го отворивме изворниот код на OpenAI Evals⁠(се отвора во нов прозорец), нашата софтверска рамка за креирање и извршување на одредници за оценување модели како GPT‑4, додека ја проверуваме нивната изведба примерок по примерок. Ние користиме Evals за да го водиме развојот на нашите модели (и за идентификување на недостатоци и спречување на регресии), а нашите корисници можат да го користат за следење на перформансите низ верзиите на моделот (кои сега ќе излегуваат редовно) и за развој на интеграциите на производите. На пример, Stripe користеше Evals за да ги надополни своите човечки проценки за да ја измери точноста на нивната алатка за документација напојувана од GPT.

Бидејќи кодот е целосно со отворен код, Evals поддржува пишување нови класи за имплементирање на прилагодена логика за евалуација⁠(се отвора во нов прозорец). Сепак, според нашето искуство, многу одредници следат еден од неколкуте „шаблони“, па затоа ги вклучивме шаблоните⁠(се отвора во нов прозорец) што беа најкорисни внатрешно (вклучувајќи шаблон за „оценки со модел“ – откривме дека GPT‑4 е изненадувачки способен да ја провери својата работа). Општо земено, најефективниот начин да изградите нов eval⁠(се отвора во нов прозорец) е да инстанцирате еден од овие шаблони заедно со обезбедување податоци. Возбудени сме да видиме што другите можат да изградат со овие шаблони и со Evals воопшто.

Се надеваме дека Evals ќе стане средство за споделување и краудсорсинг на одредници, претставувајќи максимално широк сет на режими на неуспех и тешки задачи. Како пример за следење, креиравме логички загатки⁠(се отвора во нов прозорец) евалуација која содржи десет промпти каде што GPT‑4 не успева. Evals е исто така компатибилен со имплементирање на постоечките бенчмаркови; вклучивме неколку notebooks⁠(се отвора во нов прозорец) кои имплементираат академски бенчмаркови и неколку варијации на интегрирање (мали подмножества на) CoQA⁠(се отвора во нов прозорец) како пример.

Ги покануваме сите да го користат Evals за да ги тестираат нашите модели и да ги поднесуваат најинтересните примери. Веруваме дека Evals ќе биде составен дел од процесот за користење и надградба на нашите модели, и ги поздравуваме директните придонеси, прашања и повратни информации⁠(се отвора во нов прозорец).

Претплатниците на ChatGPT Plus ќе добијат пристап до GPT‑4 на chatgpt.com⁠(се отвора во нов прозорец) со ограничување на користење. Ќе го прилагодиме точното ограничување на користење во зависност од побарувачката и перформансите на системот во пракса, но очекуваме да бидеме сериозно ограничени во капацитетите (иако ќе го зголемиме и оптимизираме во текот на наредните месеци).

Во зависност од моделите на сообраќај што ги забележуваме, можеме да воведеме ново ниво на претплата за поголема употреба на GPT‑4; исто така, се надеваме дека во некој момент ќе понудиме одреден број бесплатни пребарувања за GPT‑4, за да можат и оние без претплата да го пробаат.

За да добиеш пристап до GPT‑4 API (кој го користи истиот ChatCompletions API⁠(се отвора во нов прозорец) како gpt-3.5-turbo), те молиме се регистрирај на нашата листа на чекање⁠. Ќе почнеме да покануваме некои развивачи на софтвер денес и постепено ќе го зголемуваме обемот за да го балансираме капацитетот со побарувачката. Ако си истражувач кој го проучува општественото влијание на вештачката интелигенција или прашањата за усогласување со вештачката интелигенција, можеш да аплицираш и за субвенциониран пристап преку нашата Програма за пристап до истражувачи⁠.

Откако ќе добиеш пристап, можеш да правиш барања само за текст до моделот GPT‑4 (Внесувањето слики сè уште е во ограничено алфа), кои автоматски ќе ги ажурираме на нашиот препорачан стабилен модел додека правиме нови верзии со текот на времето (можеш да ја закачиш моменталната верзија со повикување на GPT‑4‑0314, што ќе го поддржуваме до 14 јуни). Цената е 0,03 долари за 1k токени за промпт и 0,06 долари за 1k токени за завршување. Стандардните ограничувања на стапката се 40 илјади token во минута и 200 барања во минута.

GPT‑4 има контекстна должина од 8.192 токени. Ние исто така обезбедуваме ограничен пристап до нашата верзија со 32,768 контексти (околу 50 страници текст), GPT‑4‑32k, која исто така автоматски ќе се ажурира со текот на времето (тековната верзија GPT‑4‑32k‑0314, поддржана до 14 јуни). Цените се 0,06 долари за 1K промпт token и 0,12 долари за 1K token. Сè уште го подобруваме квалитетот на моделот за долг контекст и би сакале да добиеме повратни информации за тоа како функционира за твојот случај на употреба. Ги обработуваме барањата за 8K и 32K моторите со различни стапки врз основа на капацитетот, па можеш да добиеш пристап до нив во различно време.

Со нетрпение очекуваме GPT‑4 да стане вредна алатка за подобрување на животите на луѓето преку поддржување на многу апликации. Сè уште има многу работа што треба да се направи, и со нетрпение очекуваме да го подобриме овој модел преку колективните напори на заедницата која гради врз него, истражи и придонесува за моделот.

За повеќе: Прочитај го трудот⁠(се отвора во нов прозорец) / Погледни ја системската картичка⁠(се отвора во нов прозорец) / Пробај на ChatGPT Plus⁠(се отвора во нов прозорец) / Пробај на Playground⁠(се отвора во нов прозорец) / Повторно гледај ја демонстрацијата во живо⁠(се отвора во нов прозорец) / Придонеси во OpenAI Evals⁠(се отвора во нов прозорец)

Пример за прашања од MMLU, преведени на други јазици. Имајте предвид дека ние користиме конзистентни токени за избор (A–D):