GPT‑4

Създадохме GPT‑4 – най-новият етап в усилията на OpenAI за разширяване на дълбокото обучение. GPT‑4 е голям мултимодален модел (приемащ изображения и въвеждане на текст и излъчващ текстови резултати), който, макар и да е по-малко способен от хората в много реални сценарии, показва резултати на нивото на човека по различни професионални и академични критерии. Той например успешно преминава симулиран изпит за адвокатска правоспособност с резултат, близък до този на 10% от участниците в изпита с най-високи постижения; за разлика от него резултатът на GPT‑3.5 е около най-ниските 10%. Прекарахме 6 месеца в итеративно привеждане в съответствие⁠ на GPT‑4, като използвахме уроците от нашата програма за тестване при неблагоприятни условия, както и ChatGPT, при което постигнахме най-добрите си резултати (макар и далеч от идеални) по отношение на фактологичната достоверност, управляемостта и отказа да се излиза извън предпазните ограничения.

През последните две години преработихме целия си стек за дълбоко обучение и заедно с Azure съвместно проектирахме от нулата суперкомпютър за нашето работно натоварване. Преди година обучихме GPT‑3.5 като първо „тестово изпитание“ на системата. Открихме и поправихме някои грешки и подобрихме теоретичните си основи. В резултат на това нашият цикъл на обучение на GPT‑4 беше (поне за нас!) безпрецедентно стабилен и се превърна в първия ни голям модел, чието представяне при обучението бяхме в състояние да предвидим с точност предварително. Докато продължаваме да се фокусираме върху надеждното мащабиране, целта ни е да усъвършенстваме методологията си, за да можем да предвиждаме и да се подготвяме за бъдещи възможности все по-рано – нещо, което считаме за изключително важно за безопасността.

Пускаме възможността за въвеждане на текст в GPT‑4 чрез ChatGPT и API (със списък с чакащи⁠). За да подготвим възможността за въвеждане на изображения за по-широка достъпност, ние си сътрудничим тясно с един партньор⁠(отваря се в нов прозорец) в началото. Освен това отваряме кода на OpenAI Evals⁠(отваря се в нов прозорец) – нашата рамка за автоматизирана оценка на ефективността на моделите с изкуствен интелект, за да дадем възможност на всеки да докладва за недостатъци в моделите ни и да помогне за по-нататъшни подобрения.

В неформален разговор разграничението между GPT‑3.5 и GPT‑4 може да бъде незабележимо. Разликата се проявява, когато сложността на задачата достигне достатъчен праг – GPT‑4 е по-надежден, креативен и способен да се справи с много по-нюансирани инструкции в сравнение с GPT‑3.5.

За да разберем разликата между двата модела, проведохме тестове с различни еталони, включително симулиране на изпити, които първоначално са били предназначени за хора. Използвахме най-новите публично достъпни тестове (в случая олимпиадите и въпросите със свободен отговор на AP) или закупихме издания на практически изпити за периода 2022 – 2023 г. Не сме провеждали специално обучение за тези изпити. Малка част от проблемите в изпитите бяха забелязани от модела по време на обучението, но смятаме, че резултатите са представителни – за подробности вижте нашия технически доклад⁠(отваря се в нов прозорец).

вътрешна препратка ¹

Оценихме GPT‑4 и с традиционни еталони, предназначени за модели на машинно обучение. GPT‑4 значително превъзхожда съществуващите големи езикови модели, както и повечето съвременни (SOTA) модели, които могат да включват специфични за еталона разработки или допълнителни протоколи за обучение:

Много от съществуващите еталони за машинно обучение са написани на английски език. За да получим първоначална представа за възможностите на други езици, преведохме еталона за MMLU – набор от 14 000 задачи с избор между няколко отговора, обхващащи 57 теми, на различни езици с помощта на Azure Translate (вижте Приложението⁠). На 24 от 26-те тествани езика GPT‑4 превъзхожда резултатите на английски език на GPT‑3.5 и на други големи езикови модели (Chinchilla, PaLM), включително за езици с малко ресурси като латвийски, уелски и суахили:

Използваме GPT‑4 и вътре в компанията, което оказва голямо влияние върху функции като поддръжка, продажби, модериране на съдържание и програмиране. Използваме го и за подпомагане на хората при оценяването на резултатите от ИИ, с което започваме втория етап от нашата стратегия за привеждане в съответствие⁠.

GPT‑4 може да приема подкана от текст и изображения, което – успоредно с настройката само за текст – позволява на потребителя да зададе каквато и да е визуална или езикова задача. По-конкретно, той генерира текстови резултати (естествен език, код и т.н.), като има входни данни, състоящи се от разпръснат текст и изображения. В редица области, включително документи с текст и снимки, диаграми или екранни снимки, GPT‑4 демонстрира сходни възможности, както и при въвеждане само на текст. Освен това той може да бъде разширен с техники за тестване в момента на използване, които са разработени за езикови модели само за текст, включително подкани с малко повторения и по метода на „логическо мислене“⁠(отваря се в нов прозорец). Въвеждането на изображения все още е в етап на предварителен преглед и не е публично достъпно.

Правим предварителен преглед на ефективността на GPT‑4, като я оценяваме по тесен набор от стандартни академични визуални еталони. Тези числа обаче не представят напълно възможностите на модела, тъй като непрекъснато откриваме нови и вълнуващи задачи, с които той може да се справи. Планираме скоро да публикуваме допълнителни анализи и оценки, както и подробно проучване на ефекта от техниките за тестване в момента на използване.

вътрешна бележка под линия^A

Работим по всеки аспект от плана, очертан в нашата публикация за определяне на поведението на изкуствения интелект⁠, включително управляемостта. Вместо класическия персонален облик на ChatGPT с фиксирана словесност, тон и стил, разработчиците (а скоро и потребителите на ChatGPT) вече могат да задават стила и задачата на своя ИИ, като описват тези указания в „системното“ съобщение. Системните съобщения позволяват на потребителите на API да персонализират значително изживяването на своите потребители в определени граници⁠(отваря се в нов прозорец). Ще продължим да правим подобрения в тази насока (и знаем особено добре, че системните съобщения са най-лесният начин за „джейлбрейк“ на текущия модел, т.е. спазването на границите не е идеално), но ви насърчаваме да го изпробвате и да ни уведомите какво мислите.

Въпреки възможностите си GPT‑4 има подобни ограничения като предишните модели GPT. Най-важното е, че той все още не е напълно надежден (халюцинира факти и допуска грешки в разсъжденията). Трябва да се внимава много при използването на резултатите от езиковите модели, особено в контексти с висок риск, като точният протокол (като например преглед от човек, обосноваване с допълнителен контекст или избягване на високорискова употреба в такива случаи) трябва да съответства на нуждите на конкретния случай на употреба.

Въпреки че все още представлява реален проблем, GPT‑4 значително намалява халюцинациите в сравнение с предишните модели (които сами по себе си се подобряват с всяка следваща итерация). GPT‑4 постига с 40% по-високи резултати от най-новата версия на GPT‑3.5 в нашите вътрешни оценки за фактическа достоверност при неблагоприятни условия:

Постигнахме напредък по отношение на външни критерии, като например TruthfulQA, който проверява способността на модела да отделя фактите от неблагоприятно избран набор от неверни твърдения. Тези въпроси се съчетават с фактически неверни отговори, които са статистически привлекателни.

Базовият модел GPT‑4 е само малко по-добър в тази задача от GPT‑3.5; след последващо обучение на RLHF⁠ обаче (прилагайки същия процес, който използвахме при GPT‑3⁠.5) има голяма разлика. Ако разгледаме някои примери по-долу, GPT‑4 не се поддава на избора на общи поговорки („не можеш да научиш старо куче на нови номера“), но все пак може да пропусне фини детайли (Елвис Пресли не е син на актьор).

Моделът може да има различни пристрастия в резултатите си – постигнахме напредък по тези въпроси, но все още има какво да се направи. В скорошна публикация в нашия блог⁠ посочихме, че се стремим да направим така, че системите с изкуствен интелект, които изграждаме, да имат разумно поведение по подразбиране, което да отразява широк спектър от ценности на потребителите, да позволяваме тези системи да бъдат персонализирани в широки граници и да получаваме обществена информация за това какви да бъдат тези граници.

GPT‑4 като цяло няма познания за събитията, които са се случили след прекъсването на по-голямата част от неговите данни (септември 2021 г.), и не се учи от опита си. Понякога може да допуска прости грешки в разсъжденията, които не отговарят на компетентността му в толкова много области, или да бъде прекалено доверчив, приемайки очевидно неверни твърдения от потребителя. Понякога може да се провали при решаването на трудни задачи по същия начин, както и хората, например като внася уязвимости в сигурността в създадения от него код.

GPT‑4 може също така уверено да греши в прогнозите си, без да полага усилия за двойна проверка на работата, когато има вероятност да сгреши. Интересно е, че базовият предварително обучен модел е силно калибриран (прогнозираната от него увереност в даден отговор обикновено съвпада с вероятността той да е верен). Въпреки това чрез настоящия ни процес след обучението калибрирането е намалено.

От самото начало на обучението правим итерации на GPT‑4, за да го направим по-безопасен и по-съгласуван с изискванията, като усилията ни включват подбор и филтриране на данните от предварителното обучение, оценки и ангажиране на експерти, подобрения на безопасността на моделите, както и мониторинг и прилагане.

GPT‑4 крие подобни рискове като предишните модели, като например генериране на вредни съвети, грешен код или неточна информация. Допълнителните възможности на GPT‑4 обаче водят до нови рискови повърхности. За да разберем степента на тези рискове, ангажирахме над 50 експерти от области като рискове, свързани с привеждането на изкуствения интелект в съответствие, киберсигурност, биорискове, доверие и безопасност, както и международна сигурност, за да тестват модела в неблагоприятни условия. Техните констатации ни дадоха възможност да тестваме поведението на модела във високорискови области, които изискват експертни познания за оценка. Обратната връзка и данните от тези експерти бяха използвани за смекчаване на последиците и подобряване на модела; например събрахме допълнителни данни, за да подобрим способността на GPT‑4 да отказва искания за синтез на опасни химикали.

GPT‑4 включва допълнителен сигнал за награда за безопасност по време на обучението на RLHF, за да се намалят вредните резултати (както е определено в нашите насоки за употреба⁠(отваря се в нов прозорец)), като моделът се обучава да отказва заявки за такова съдържание. Наградата се осигурява от класификатор на GPT‑4 с нулеви повторения, който оценява границите на безопасност и стила на изпълнение на свързани с безопасността подкани. За да предотвратим отказването на валидни заявки от модела, ние събираме разнообразен набор от данни от различни източници (напр. маркирани производствени данни, сформиране на „червен екип“ от хора, генерирани от модела подкани) и прилагаме сигнал за награда за безопасност (с положителна или отрицателна стойност) както за разрешените, така и за неразрешените категории. 

Нашите мерки за смекчаване на последиците значително подобриха много от характеристиките за безопасност на GPT‑4 в сравнение с GPT‑3.5. Намалихме склонността на модела да отговаря на заявки за неразрешено съдържание с 82% в сравнение с GPT‑3.5, а GPT‑4 отговаря на чувствителни заявки (например медицински съвети и самонараняване) в съответствие с нашите политики с 29% по-често.

Като цяло нашите интервенции на ниво модел увеличават трудността при предизвикване на лошо поведение, но това все още е възможно. Освен това все още съществуват „джейлбрейкове“ за генериране на съдържание, което нарушава нашите указания за използване⁠. С увеличаването на „риска за един токен“ на системите с изкуствен интелект ще стане изключително важно да се постигне изключително висока степен на надеждност на тези интервенции; засега е важно тези ограничения да се допълват с техники за безопасност по време на внедряване, като например мониторинг за злоупотреби.

GPT‑4 и последващите го модели имат потенциала да окажат значително влияние върху обществото както по благоприятен, така и по вреден начин. Ние си сътрудничим с външни изследователи, за да подобрим начина, по който разбираме и оценяваме потенциалните въздействия, както и да изградим оценки за опасни възможности, които могат да се появят в бъдещи системи. Скоро ще споделим повече за нашите възгледи относно потенциалните социални и икономически въздействия на GPT‑4 и други системи с изкуствен интелект.

Подобно на предишните модели на GPT, базовият модел GPT‑4 е обучен да предсказва следващата дума в документ и е обучен с помощта на публично достъпни данни (като данни от интернет), както и с данни, които сме лицензирали. Данните представляват мащабен корпус от данни, включващ правилни и неправилни решения на математически задачи, слаби и силни аргументи, противоречиви и последователни твърдения и представящ голямо разнообразие от идеологии и идеи.

Така че при подкана с въпрос моделът може да отговори по най-различни начини, които може да са далеч от намеренията на потребителя. За да го приведем в съответствие с намерението на потребителя в рамките на предпазните ограничения, ние прецизно настройваме поведението на модела, използвайки подсилващо обучение с човешка обратна връзка (RLHF).⁠

Имайте предвид, че възможностите на модела изглежда идват предимно от процеса на предварително обучение – RLHF не подобрява представянето на изпита (без активни усилия всъщност го влошава). Но управлението на модела идва от процеса след обучението – базовият модел изисква бърз инженеринг, за да разбере, че трябва да отговори на въпросите.

Основен акцент на проекта GPT‑4 е изграждането на стек за дълбоко обучение, който се мащабира предсказуемо. Основната причина за това е, че при много големи обучения като GPT‑4 не е възможно да се направи подробна настройка на конкретния модел. Разработихме инфраструктура и оптимизация, които имат много предсказуемо поведение в различни мащаби. За да проверим тази мащабируемост, предварително прогнозирахме точно крайната загуба на GPT‑4 в нашата вътрешна база от кодове (която не е част от обучаващата съвкупност) чрез екстраполиране от модели, обучени по същата методология, но използващи 10 000 пъти по-малко изчислителна мощност:

Сега, когато можем точно да прогнозираме показателя, който оптимизираме по време на обучението (загуба), започваме да разработваме методология за предсказване на по-разбираеми показатели. Като пример ние успешно прогнозирахме процента на успеваемост на подмножество от набора от данни на HumanEval⁠(отваря се в нов прозорец), екстраполирайки от модели с 1000 пъти по-малка изчислителна мощност:

Някои възможности все още са трудни за прогнозиране. Например наградата за обратно мащабиране беше конкурс за намиране на метрика, която се влошава с увеличаването на изчисленията на модела, и пренебрегването на ретроспекцията⁠(отваря се в нов прозорец) беше един от победителите. Както и при друг скорошен резултат,⁠(отваря се в нов прозорец) GPT‑4 обръща тенденцията:

Смятаме, че точното прогнозиране на бъдещите възможности за машинно обучение е важна част от безопасността, на която не се обръща достатъчно внимание в сравнение с потенциалното ѝ въздействие (въпреки че бяхме окуражени от усилията на няколко институции). Увеличаваме усилията си за разработване на методи, които да предоставят на обществото по-добри насоки за това какво да очаква от бъдещите системи, и се надяваме това да стане обща цел в тази област.

Отваряме кода на OpenAI Evals⁠(отваря се в нов прозорец) – нашата софтуерна рамка за създаване и изпълнение на еталони за оценка на модели като GPT‑4, като същевременно проверяваме тяхната производителност извадка по извадка. Използваме Evals за насочване на развитието на нашите модели (както за идентифициране на недостатъци, така и за предотвратяване на регресии), а нашите потребители могат да го използват за проследяване на ефективността на версиите на модела (които сега ще излизат редовно) и за еволюиращи интеграции на продукти. Например Stripe използва Evals в допълнение към оценките от хора, за да измери точността на своя инструмент за документация, базиран на GPT.

Тъй като кодът е отворен, Evals поддържа създаването на нови класове за реализиране на персонализирана логика за оценка⁠(отваря се в нов прозорец). Според нашия собствен опит обаче много еталони следват един от няколко „шаблона“, така че сме включили и шаблоните⁠(отваря се в нов прозорец), които са били най-полезни вътрешно (включително шаблон за „оценки, оценени от модел“ – открихме, че GPT‑4 е изненадващо способен да проверява собствената си работа). Обикновено най-ефективният начин за създаване на нова оценка⁠(отваря се в нов прозорец) е да се създаде един от тези шаблони и да се предоставят данни. С нетърпение очакваме да видим какво могат да създадат другите с тези шаблони и с Evals като цяло.

Надяваме се, че Evals ще се превърне в средство за споделяне и публично използване на еталони, представящи максимално широк набор от режими за неуспех и трудни задачи. Като пример, който трябва да следваме, създадохме оценка на логически пъзели⁠(отваря се в нов прозорец), която съдържа десет подкани, при които GPT‑4 се проваля. Evals също така е съвместим с прилагането на съществуващи еталони; включихме няколко тетрадки⁠(отваря се в нов прозорец), в които се прилагат академични еталони, и няколко варианта за интегриране на (малки подмножества на) CoQA⁠(отваря се в нов прозорец) като пример.

Каним всички да използват Evals, за да тестват нашите модели и да изпращат най-интересните примери. Вярваме, че Evals ще бъде неразделна част от процеса на използване и надграждане на нашите модели, и приветстваме директния принос, въпросите и обратната връзка⁠(отваря се в нов прозорец).

Абонатите на ChatGPT Plus ще получат достъп до GPT‑4 на chatgpt.com⁠(отваря се в нов прозорец) с ограничение за използване. Ще коригираме точното ограничение за използване в зависимост от търсенето и производителността на системата на практика, но очакваме да бъдем силно ограничени в капацитета (въпреки че ще увеличим мащаба и ще оптимизираме през следващите месеци).

В зависимост от моделите на трафика, които наблюдаваме, може да въведем ново ниво на абонамент за използване на GPT‑4 с по-голям обем; също така се надяваме в даден момент да предложим известно количество безплатни заявки за GPT‑4, така че тези без абонамент да могат също да го изпробват.

За да получите достъп до API на GPT‑4 (който използва същия ChatCompletions API⁠(отваря се в нов прозорец) като gpt-3.5-turbo), се регистрирайте в нашия списък с чакащи⁠. Ще започнем да каним някои разработчици още днес и ще увеличаваме мащаба постепенно, за да балансираме капацитета с търсенето. Ако сте изследовател, който изучава общественото въздействие на ИИ или въпроси, свързани с привеждането на ИИ в съответствие, можете да кандидатствате за субсидиран достъп чрез нашата Програма за достъп на изследователи⁠.

След като получите достъп, можете да подавате само текстови заявки към модела GPT‑4 (въвеждането на изображения все още е в ограничена алфа-версия), който автоматично ще се актуализира до препоръчания стабилен модел, когато създадем нови версии (можете да закачите текущата версия, като извикате GPT‑4‑0314, която ще поддържаме до 14 юни). Цената е 0,03 $ за 1000 токена за подкана и 0,06 $ за 1000 токена за завършване. Ограниченията на скоростта по подразбиране са 40 хил. токена в минута и 200 заявки в минута.

Дължината на контекста на gpt-4 е 8192 токена. Предоставяме също така ограничен достъп до нашата версия с 32 768 контекста (около 50 страници текст) – gpt-4-32k, която също ще бъде актуализирана автоматично с течение на времето (текущата версия gpt-4-32k-0314 също ще се поддържа до 14 юни). Цената е 0,06 $ за 1000 токена за подкана и 0,12 $ за 1000 токена за завършване. Все още подобряваме качеството на модела за дълъг контекст и ще се радваме да получим обратна връзка за това как се представя той за вашия случай на употреба. Ние обработваме заявките за 8K и 32K системи за изпълнение с различна скорост в зависимост от капацитета, така че ви може да получите достъп до тях по различно време.

С нетърпение очакваме GPT‑4 да се превърне в ценен инструмент за подобряване на живота на хората чрез захранване на много приложения. Все още има много работа за вършене и ние очакваме с нетърпение да подобрим този модел чрез общите усилия на общността, която надгражда, изследва и допринася за модела.

За повече информация: Прочетете статията⁠(отваря се в нов прозорец) / Вижте картата на системата⁠(отваря се в нов прозорец) / Опитайте в ChatGPT Plus⁠(отваря се в нов прозорец) / Опитайте в Playground⁠(отваря се в нов прозорец) / Гледайте отново демо излъчването в реално време⁠(отваря се в нов прозорец) / Принос към OpenAI Evals⁠(отваря се в нов прозорец)

Пример за въпроси от MMLU, преведени на други езици. Имайте предвид, че използваме последователни токени за избор (A – D):