OpenAI технологиясы туралы түсіндірме

OpenAI 2015 жылы жалпы жасанды интеллект — қысқаша айтқанда⁠, кем дегенде адамдай ақылды AI — бүкіл адамзат игілігіне қызмет етуін қамтамасыз ету үшін коммерциялық емес ұйым ретінде құрылды. Біз озық AI⁠ технологиясын, сондай-ақ AI қауіпсіздігі, сәйкестендірілуі және басқарылуы үшін құралдар мен үздік тәжірибелерді зерттейміз, әзірлейміз және жариялаймыз. OpenAI бүгін де коммерциялық емес құрылымымыздың басқаруында: біз миссиямызды пайдадан жоғары қоямыз, қызметкерлер мен инвесторлардың қаржылық табысын шектейміз және болашақтағы шектен асқан пайданы коммерциялық емес ұйымымызға қайтарамыз. Бұл бірегей корпоративтік құрылым бізге басқа технологиялық компаниялардан өзгеше ынталандырулар береді. Біздің мақсат — бір нәрсені барынша көп сату емес, AI-дың әлеуметтік, экономикалық және технологиялық мүмкіндіктерінен бәрі пайда көретін әлемге ұмтылу.

OpenAI миссиясының бір бөлігі ретінде біз жетекші іргетастық модельдерді⁠ әзірлейміз және олардың мүмкіндіктерін әлемдегі адамдарға⁠(жаңа терезеде ашылады) қауіпсіз әрі пайдалы жолдармен қолжетімді етеміз. Адамдардың модельдерімізге қол жеткізуінің екі негізгі жолы бар:

1. ChatGPT — адамдарға модельдерімізбен әңгімелесу форматында өзара әрекеттесуге мүмкіндік беретін қолданба. Пайдаланушылар тілдік модельдерімізден мәтін не кодты талдауды немесе жазуды сұрай алады, не кескін модельдерімізден мәтіндік сипаттамаға сүйеніп сурет салуды сұрай алады. ChatGPT барлық пайдаланушыға chatgpt.com⁠(жаңа терезеде ашылады) сайтында тегін қолжетімді. Пайдаланушылар қосымша функциялар мен мүмкіндіктерге қол жеткізетін ақылы айлық жазылымға тіркеле алады, ал бизнеске сатып алуға болатын кәсіпорын нұсқасын ұсынамыз.
2. Біздің API (Application Programming Interface) әзірлеушілерге модельдеріміздің мүмкіндіктері мен артықшылықтарын өз қолданбаларына кіріктіруге мүмкіндік береді. Duolingo, Spotify және Morgan Stanley сияқты мыңдаған ұйым API-ымызды пайдаланып жаңа функциялар, қолданбалар және бизнестер құрып жатыр. Be My Eyes деп аталатын даниялық компания API-ымызды зағип және көруі нашар пайдаланушыларға кескіндерді жүктеп, олар туралы сұрақ қоюға көмектесу үшін қолданады, бұл оларға физикалық ортада жақсырақ бағдарланып, тәуелсіздігін арттыруға жәрдемдеседі. Біздің API platform.openai.com⁠(жаңа терезеде ашылады) сайтында қолжетімді, ал әзірлеушілер API қолжетімділігі үшін оны қаншалықты пайдаланатынына қарай төлейді.

Төменде толығырақ сипатталған кең ауқымды қауіпсіздік шараларымен бірге біз ChatGPT пен API-ымызды қолжетімді етеміз. Сондай-ақ шығарылымдардың ықтимал тәуекелдерін бағалағаннан кейін, Whisper сөйлеуді мәтінге айналдыратын моделіміз және CLIP деп аталатын кескінді түсіну моделіміз сияқты кейбір модельдерді⁠ ашық бастапқы код негізінде қолжетімді етеміз.

Біз ChatGPT‑ті тегін қолжетімді етіп ұстауды жалғастыруды көздейміз және премиум қызметтер үшін төлеуді таңдаған пайдаланушылар мен бизнестен табыс табамыз. Ірі ауқымды іргетастық модельдерді әзірлеу мен ұсынудың жоғары шығындарын ескерсек, ұйымымыз қазір табысты емес және жақын болашақта табысты болады деп күтпейді — біздің мақсатымыз AI артықшылықтарын әлемге кеңінен әрі қауіпсіз түрде қолжетімді ету болып қала береді.

GPT‑4 сияқты озық тілдік модельді әзірлеу үшін (1) оған болжау, пайымдау және мәселелерді шешу қабілеті сияқты интеллект қасиеттерін үйрету, сондай-ақ (2) оны адам құндылықтары мен қалауына сәйкестендіру қажет. Біріншісі «алдын ала үйрету» деп аталатын үдерісте жүзеге асады, онда модельге айлар бойы адамзат білімінің орасан көлемі көрсетіледі. Ал модельге адам таңдауын енгізу үшін біз «кейінгі үйрету» деп аталатын екінші қадамды қолданамыз, мұнда модельді қауіпсіздеу әрі пайдалануға ыңғайлырақ етеміз.

Алдын ала үйрету модельге тілді үйретеді: модельге әртүрлі мәтіндердің кең ауқымы көрсетіліп, одан аса көп тізбектердің әрқайсысында келесі сөзді болжау сұралады. Бұл орасан зор есептеу қуатын талап етеді, өйткені модельдер триллиондаған сөзді қарап, талдап және солардан үйренеді. Біз негізгі модельдерімізді үйрету үшін суперкомпьютерлер жасаймыз, ал бір жаңа негізгі модельді үйрету суперкомпьютерді бірнеше айға дейін толықтай жұмыспен қамтуы мүмкін. Осы ауқымды үдеріс арқылы модель сөздердің грамматикалық тұрғыдан қалай байланысатынын ғана емес, сөздердің бірігіп жоғары деңгейлі идеялар құрайтынын, ақырында сөз тізбектері құрылымды ойларды қалай қалыптастыратынын немесе тұтас мәселелерді қалай қоятынын да үйренеді. Мысалы, біз «бұлт» деген сөзді ойласақ, «аспан» және «жаңбыр» сияқты байланысты сөздерді де еске түсіруіміз мүмкін; «Бақыттың сыры — бұл» сияқты сөйлем берілсе, түрлі философиялық идеялар ойға келуі мүмкін. Келесі сөзді болжауда еркіндікке ие бола отырып, модель осылайша ұғымдарды және интеллекттің құрылыс блоктарын меңгереді.

Бұл үдерістің нәтижесі — негізгі модель — үйрету деректерінде болмаған жаңа мәселелерді, тіпті көптеген тілде де, шешуге таңғаларлық қабілетке ие болады. Алайда негізгі модельдің өзі қолдануға әлі дайын емес. Негізгі модельдер қуатты әрі икемді. Олар зерделі және тосын болуы мүмкін, бірақ міндетті түрде пайдалы немесе қауіпсіз бола бермейді.

Негізгі модельмен сөйлесу оңай емес: мысалы, егер сіз GPT‑4 негізгі моделінен «ханшайым туралы әңгіме жаз...» деп сұрасаңыз, ол әдетте әңгіме жазбайды. Оның орнына, сіздің мәлімдемеңізді жалғастырып, оның қалай өрбитінін болжайды. Мысалы, ол: «...аттарды жақсы көретін ханшайым туралы» деп шығаруы мүмкін. Негізгі модельде жеккөрушілікке толы немесе зорлық-зомбылық сипатындағы материал сияқты қалаусыз контентті шығармауға арналған қорғаныс тетіктері де болмайды. Біз алдын ала үйрету деректер жинағымызды қалаусыз контенттен сүзгіден өткізсек те, бұл азайту шарасы модельге нысаналы өзгерістер енгізу үшін тым дәл емес, тіпті модельге не айтуға не істеуге болмайтынын түсінуге кедергі келтірсе, кері әсер етуі де мүмкін. Модельдерге адам құндылықтарын, соның ішінде ненің пайдалы және ненің орынды екенін сіңіру үшін, біз кейінгі үйрету деп атайтын үдеріс аясында сәйкестендіру және қауіпсіздік әдістерін зерттеп, әзірлейміз.

Кейінгі үйрету — адам таңдауын модельдерімізге енгізіп, оларды пайдалы, тиімді және қауіпсіздеу құралдарға айналдыру тәсілі. Біз модельді адамдарға пайдалырақ көрінетін жолмен жауап беруге және зиян келтіруі мүмкін деп санайтын жолдармен жауап беруден бас тартуға үйретеміз. Кейінгі үйрету зерттеуге, кадрларға, дизайн шешімдеріне және дерек жасаудың өзіне елеулі инвестицияны талап етеді. Бұл OpenAI үшін зерттеу мен инвестицияның белсенді бағыты болып қала береді. Сондай-ақ біздің компаниядан тыс көптеген адам⁠ адам құндылықтарын көрсету үшін дерек жасау және дизайн шешімдерін қабылдау жұмысының бір бөлігі болады деп сенеміз.

Кейінгі үйрету мінсіз мінез-құлықты көрсететін салыстырмалы түрде шағын әрі мұқият әзірленген деректер жинақтарын пайдаланып, модельге нысаналы өзгерістер енгізуге әкеледі. Мұны адамдарға үлгі жауаптар жаздырып, модель берген жауаптарды бағалатып, содан кейін сол үлгілер мен бағаларды кейінгі үйрету үдерістерінде модельге қайта беру арқылы жасаймыз. Біз осы әдістердің, соның ішінде reinforcement learning from human feedback (RLHF) тәсілінің бастамашысы болдық, ол қазір салалық стандартқа айналды. Біз RLHF (адам пікіріне негізделген күшейтпелі оқыту) тәсілін модельді нұсқауларды орындауға, оның нақты емес контент қайтару ықтималдығын азайтуға және қауіпсіздік мүмкіндіктерін қосуға үйрету үшін қолданамыз.

GPT‑4‑ті көпшілікке ұсынар алдында біз кейінгі үйретуді 6 ай бойы жетілдірдік. Осы уақыт ішінде модельдерімізді ықтимал зиянға әкелуі мүмкін деп санайтын сұрауларға жауап беруден бас тартуға үйрететін әдістерді әзірледік. Мысалы, бомба жасаудың жолы сұралса, модель жауап беруден бас тартады. Ішкі бағалауларымызға сүйенсек, алдыңғы буындағы GPT‑3.5 моделімен салыстырғанда GPT‑4 рұқсат етілмеген контентке қатысты сұрауларға жауап беру ықтималдығын 82%-ға төмендеттік. Сондай-ақ осы уақытты оның фактіге негізделген жауаптар беру ықтималдығын 40%-ға арттыруға, оны әңгімелесу мәнерінде жауап беруге⁠ үйретуге және, мысалы, Исландиямен серіктестікте⁠, ресурсы аз тілдердегі жұмысын жақсартуға пайдаландық.

Біз модельдерімізде адам таңдауын жақсырақ көрсету үшін кейінгі үйрету әдістерін дамытуды⁠(жаңа терезеде ашылады) жалғастырып келеміз. Мысалы, кейбір тәсілдеріміз адамдарға жақсырақ не жаманырақ мінез-құлық мысалдарын бағалатудың орнына, жүйе ұстануға тиіс ережелерді сипаттауға мүмкіндік береді.

Біз өзіміз жүргізетін кейінгі үйретуге қоса, клиенттерге нақты мақсаттарына жету үшін модельдерімізді «fine-tune» ету мүмкіндігін де ұсынамыз, мысалы меншікті тілдерінде бағдарламалық код жаздыру, салалық арнайы білімді үйрету немесе үнін брендке сәйкестендіру үшін. Клиенттер мұны қол жеткізгісі келетін мінез-құлықты көрсететін деректерді дайындап, оны API арқылы қосымша кейінгі үйретуге жіберу арқылы жасайды. Деректер қауіпсіздік тексерулерімізден өтсе, біз пайда болған fine-tuned модельді тек сол клиентке ғана қолжетімді етеміз. Басқа API трафигі сияқты, fine-tuned модельдер пайдалану саясаттарымызды⁠ бұзатынын анықтауға көмектесу үшін төменде сипатталған мониторинг және анықтау жүйелерімізді қолданамыз.

Кейінгі үйрету арқылы қамтамасыз етілетін қауіпсіздікке қоса, біз қатаң тестілеу жүргіземіз, сыртқы сарапшылардан пікір аламыз, қауіпсіздік және мониторинг жүйелерін құрамыз әрі күшейтеміз, сондай-ақ адамдарға модельдерімізді жауапкершілікпен пайдалануға көмектесетін ресурстар ұсынамыз. Қауіпсіздікке осындай кешенді көзқарас бізге жеккөрушілік, қудалау немесе зорлық-зомбылық сипатындағы контент жасау, саяси науқан жүргізу немесе зиянды бағдарламалар жасау сияқты зиян келтіруі мүмкін тәсілдермен модельдерімізді пайдалануға тыйым салатын пайдалану саясатымызды⁠ енгізуге және орындатуға мүмкіндік береді.

Red-teaming және бағалаулар. Біз әрбір ірі жаңа модельді қауіпсіздік тәуекелдері мен біржақтылық және кемсіту сияқты ықтимал қоғамдық зияндар тұрғысынан бағалаймыз. Ішкі және сыртқы red-teaming⁠ жүргіземіз: модельді тәуекелдерге іштей сынаймыз және тәуекелдерді картаға түсіруге әрі бағалауға көмектесу үшін әртүрлі салалардағы сарапшыларға ерте қолжетімділік береміз. Біз бұл бағалауларды модельдеріміз бен қауіпсіздік жүйелерімізді әрі қарай дамыту мен жетілдіруге бағыт беру үшін қолданамыз және қорытындыларымызды көпшілікке жариялаймыз.

Қауіпсіздік мониторингі жүйелері. Біз қалаусыз контентті анықтауға көмектесетін және нақты оқиғаларды адамдардың қарауын толықтыратын мониторинг жүйелерін құрамыз және енгіземіз. Контент бұзушылығы бұл жүйелер арқылы анықталғанда, біз жауап беруден бас тарту, оқиғаны адам тексеруіне белгілеу немесе төтенше жағдайларда пайдаланушыны тоқтата тұру сияқты түрлі әрекет жасай аламыз. Контент жіктеуіштері fine-tuned тілдік модельдермен жұмыс істейді және біз олардың қамтуын, тиімділігін және дәлдігін қалай арттыруға болатынын зерттеуді жалғастырып келеміз, соңғы уақытта модерация жүйелерін әзірлеу үшін GPT‑4 қолдануды⁠ зерттедік.

Пайдаланушыларға арналған құралдар. Біз пайдаланушыларымызға және модельдеріміздің үстіне қолданбалар құратын әзірлеушілерге AI-ды қауіпсіз пайдалануға мүмкіндік беру үшін құжаттама мен құралдар әзірлейміз. Жаңа озық жүйелерді шығарудан бұрын біз модельдің немесе жүйенің мүмкіндіктерін, шектеулерін және орынды әрі орынсыз қолдану салаларын сипаттайтын есеп жариялаймыз (мысалы, GPT‑4⁠(жаңа терезеде ашылады) және GPT‑4V⁠ үшін жүйе карталары). Пайдаланушылар өз пайдалану саясаттарын орындай алуы үшін біз тегін Moderations API⁠(жаңа терезеде ашылады) ұсынамыз. Сондай-ақ қауіпсіздік жүйелеріміз туралы зерттеулерді жариялаймыз⁠(жаңа терезеде ашылады).

Кері байланыстан үйрену. Уақыт өте келе қауіпсіз AI жүйелерін құрудың және миссиямызды орындаудың маңызды құрамдасы — кері байланыстан үйрену және соған жауап беру деп сенеміз. Біз пайдаланушы пікірі мен кері байланысына сүйене отырып, модель нәтижелерін, модерация жүйелерін және пайдалану саясаттарын үздіксіз жетілдіреміз. Сондай-ақ AI технологиясын барынша пайдалы түрде енгізу және соған бейімделу жөнінде мүдделі тараптармен тұрақты диалог жүргіземіз.

Жасанды интеллект — мақсаты әдетте адам интеллектімен байланыстырылатын түрде әрекет ете алатын есептеу жүйелерін жасау болып табылатын компьютерлік ғылым саласы. Мысалдарға шахмат сияқты ойындарды ойнай алатын бағдарламалық жасақтама, өздігінен жүретін көліктер және адамға ұқсас әңгімені имитациялай алатын чат-боттар жатады.

Машиналық оқыту — компьютерлік жүйелер тапсырмаларды қадам-қадаммен бағдарламалау арқылы емес, ақпаратқа немесе тәжірибе жасауға сүйеніп үйрене алатын жасанды интеллектке деген тәсіл. Мысалы, машиналық оқыту жүйесі мысықтардың әртүрлі суреттерін көріп, сол суреттердің сипаттарын үйрену арқылы мысықтың суретін салуды үйрене алады, яғни мысықтың қандай болатыны туралы жол-жол нұсқаулық берілмейді. Немесе жүйе ойын ережелері мен оны қалай аяқтау керегі туралы нұсқаулар берілмей-ақ, тәжірибе жасап және сәтті әрекеттері үшін марапат алып, бейнеойын ойнауды үйрене алады.

Модельдер — жасанды интеллект пен машиналық оқыту әдістері арқылы әзірленетін компьютерлік бағдарламалар. Ең кең таралған модельдер — деректерді талдап, сол деректерге сүйене отырып болашаққа болжам жасайтын бағдарламалар. Мысалы, болашақ сатып алушыға сатып алуға кеңес беру үшін сатып алушылардың бұрынғы сатып алуларын талдайтын модель әзірленуі мүмкін.

Іргетастық модельдер — деректерге қатысты кең ауқымды міндеттерді орындау үшін көп мөлшердегі деректерден үйрену мақсатында үлкен есептеу қуатын пайдаланып әзірленетін AI модельдер. Мысалы, көп көлемдегі мәтін негізінде әзірленген тілдік модель кейін мәтінді талдау, жазу және мәтін туралы сұрақтарға жауап беру үшін қолданылуы мүмкін.

Жасанды интеллект пен машиналық оқыту салалары қарқынды дамып келеді, сондықтан бұл анықтамалар уақыт өте келе өзгере береді.