OpenAI-дың NTIA-ға ашық модель салмақтары туралы пікірі

OpenAI AI-ды жасау, кеңінен енгізу және пайдалану адамдардың өмірін жақсартып, жақсы болашақтың есігін аша алады деп санайды⁠(жаңа терезеде ашылады). Ілгерілеу инновация мен еркін нарықтағы бәсекеге сүйенеді. Осы кең қағидалар аясында адамдар AI уәдесін ілгерілетудің әртүрлі жолдарын таңдай алады. OpenAI бұрын-соңды болмағандай қабілетті базалық модельдердің игіліктерін қалай бөлу керек деген сұрақпен алғаш болып бетпе-бет келген AI әзірлеушілерінің бірі болды, сондықтан біз NTIA талқылауларына пайдалы болуы үшін алдымен осы тарихи контексті ұсынамыз.

2019 жылы біз GPT‑2 жасадық; оның жаңа мүмкіндігі — бірізді мәтін абзацтарын тудыру — болды, және оны қалай енгізу керек деген сұраққа тап болдық. Бір жағынан, модель өте пайдалы көрінді; екінші жағынан, біз оның⁠ фишинг хаттарын жасау сияқты зиянды мақсаттарға қаншалықты жарайтынына сенімді болмадық. Біз «кезең-кезеңімен жариялау» тәжірибесін таңдадық. Сол кезде жазғанымыздай⁠, «кезең-кезеңімен жариялау уақыт өте келе модельдер тобының біртіндеп жариялануын білдіреді. GPT‑2‑ні кезең-кезеңімен жариялаудағы мақсатымыз — адамдарға бұл модельдердің қасиеттерін бағалауға, олардың қоғамдық салдарын талқылауға және әр кезеңнен кейін жариялаудың әсерін саралауға уақыт беру». Айтарлықтай теріс пайдалану әсерлерін байқамаған соң, бұл бізге толық модель салмақтарын ашық жариялауға⁠ сенімділік берді.

2020 жылы біз GPT‑3 жасадық, ол әрбір бенчмарк бойынша бұрынғы кез келген тіл моделінен әлдеқайда қабілетті болды, және оны қалай жариялау керек деген сұраққа тағы да тап болдық. Бұл жолы біз оны алғашқы өніміміз — OpenAI API арқылы жариялауды шештік (бұл әзірлеушілерге біздің технология негізінде қолданбалар жасауға мүмкіндік беретін қолданбаларды бағдарламалау интерфейсі). Сол кезде жазғанымыздай⁠, бұл жаңа жариялау стратегиясына бірнеше себеп болды: «технологияны коммерцияландыру AI бойынша үздіксіз зерттеулерімізді, қауіпсіздік пен саясат жұмыстарына жұмсалатын шығындарды өтеуге көмектеседі» және «API моделі технологияның теріс пайдаланылуына икемдірек жауап беруге мүмкіндік береді. Модельдеріміздің төменгі деңгейде қалай қолданылатынын болжау қиын болғандықтан, оларға қолжетімділікті зиянды қолданбалар анықталса реттеу мүмкін болмайтын ашық бастапқы кодты модель ретінде жариялағаннан гөрі, оларды API арқылы жариялап, уақыт өте келе қолжетімділікті кеңейту әлдеқайда қауіпсіз көрінеді». Бірнеше жыл ішінде осы API арқылы жариялау бізге де, қауымдастыққа да GPT‑3 деңгейіндегі модельдердің қауіпсіздігі мен теріс пайдаланылу үлгілері туралы сабақтар⁠ берді.

Содан бергі жылдары біз кейбір ең үздік модельдеріміздің салмақтарын ашық жариялау (мысалы, CLIP және Whisper) және басқа AI әзірлеушілеріне арналған ашық бастапқы кодты инфрақұрылым әзірлеу (мысалы, Triton GPU бағдарламалау тілі) арқылы ашық бастапқы кодты AI экожүйесін қолдауды жалғастырып, оның уәдесіне сеніп келеміз. Біз ашық жарияланған салмақтардың әртүрлі елеулі пайда әкелгенін көрдік, соның ішінде AI модельдерінің ішкі құрылымын академиялық зерттеуді жеңілдету, пайдаланушылар мен ұйымдарға модельдерді өздерінің шеткі құрылғыларында жергілікті түрде іске қосуға мүмкіндік беру, әрі модельдерді пайдаланушылар мақсатына сай шығармашылықпен өзгертуге жол ашу. Көптеген AI компаниялары әртүрлі себептермен, соның ішінде бренд, кадр тарту және компания технологиясының ішкі мүмкіндіктеріне негізделіп құратын әрі оны жеделдететін әзірлеушілер экожүйесін тарту үшін, ашық модель салмақтарын жариялауға қомақты инвестиция салуды таңдады.

Сонымен бірге, негізгі AI модельдерімізді API мен ChatGPT сияқты коммерциялық өнімдер арқылы жариялау тәсіліміз бізге бастапқы жариялаудан кейін анықтаған тәуекелдерді зерделеуді және азайтуды жалғастыруға мүмкіндік берді; салмақтардың өзі жарияланған болса, мұндайдың көбі мүмкін болмас еді. Мысалы, жуырда біз Microsoft-пен бірге GPT‑3.5‑Turbo және GPT‑4 модельдерімізді кибершабуыл операцияларына көмек үшін теріс пайдаланып жүрген бірқатар ұлттық мемлекетке қатысы бар киберқауіп акторларының әрекеттерін анықтау, зерттеу және тоқтату⁠ үшін серіктестік орнаттық. Егер сол кездегі озық модельдердің салмақтары кеңінен жарияланған болса, бұл қауіп акторларын тоқтату мүмкін болмас еді, өйткені сол киберқауіп акторлары модельді өз жабдығында орналастырып, бастапқы әзірлеушімен мүлде әрекеттеспей-ақ қояр еді. Бұл тәсіл бізге AI игіліктерін кеңінен таратуды жалғастыруға мүмкіндік берді, соның ішінде кең қолжетімді тегін және арзан қызметтер арқылы.

Осы тәжірибелер бізді ашық салмақтарды жариялау да, API және өнімге негізделген жариялау да пайдалы AI-ға жетудің құралдары екеніне сендірді, әрі ең үздік америкалық AI экожүйесі екеуін де қамтиды деп санаймыз.

Өнім жариялауларында да, салмақтарды жариялауда да біз қайта-қайта «итеративті енгізудің» орасан пайдасын көрдік: барынша қабілетті AI-ды біртіндеп адамдардың қолына беріп, олардың өмірін жақсартуға пайдалануына мүмкіндік беру және қоғамға осы жаңа технологияларға бейімделуге көмектесу. 2023 жылы жазғанымыздай⁠: «Біз болжауға болатын тәуекелдердің алдын енгізуге дейін алуға бар күшімізді саламыз, алайда зертханада үйрене алатын нәрсенің шегі бар. Ауқымды зерттеу мен тестілеуге қарамастан, адамдар технологиямызды қандай пайдалы тәсілдермен қолданатынын да, оны қандай жолдармен теріс пайдаланатынын да толық болжай алмаймыз. Сондықтан біз шынайы әлемдегі қолданудан үйрену уақыт өте келе барған сайын қауіпсіз AI жүйелерін жасау мен жариялаудың маңызды бөлігі деп санаймыз».

AI модельдері одан да қуатты бола түскен сайын және оларды енгізу не жариялаудың пайдасы мен тәуекелі арта түскен сайын, модельді енгізу керек пе және қалай енгізу керек деген шешімде барған сайын күрделірек болуымыз да маңызды. Бұл, әсіресе, AI мүмкіндіктері қоғамдық қауіпсіздікке не ұлттық қауіпсіздікке елеулі салдар әкеле бастаса, өте өзекті. Неғұрлым озық AI жүйелерінен туындауы мүмкін мұндай «апатты» тәуекелдердің болашақта болуы іштей белгісіз, әрі ғалымдар арасында мұндай тәуекелдер қаншалықты ықтимал және қашан пайда болуы мүмкін екені жөнінде пікір қайшылығы бар. Бізде бұған жеткілікті дәлел әлі жоқ деп санаймыз; оларды жоққа да шығара алмаймыз, жақын арада болатынына да сенімді бола алмаймыз. AI мүмкіндіктерінің шебін ілгерілетіп, олардың пайдасын барынша арттырып жүрген әзірлеушілер ретінде, біз бұл технология тәуекелдерінің ғылымын құруды (соның ішінде сол тәуекелдерге қатысты дәлелдер жинауды) жұмысымыздың ажырамас бөлігі деп қараймыз.

Осы белгісіздіктерді эмпирикалық тұрғыдан басқару үшін OpenAI өзіміздің Дайындық шеңберін⁠(жаңа терезеде ашылады) жария түрде іске қосты — бұл AI модельдеріміз тудыруы мүмкін кез келген апатты тәуекелді үздіксіз бағалау мен азайтуға арналған ғылымға негізделген тәсіл. Дайындық шеңбері киберқауіпсіздік, автономды әрекет, дараланған иландыру және CBRN (химиялық, биологиялық, радиологиялық және ядролық) қатерлерді қоса алғанда, бірнеше жоғары тәуекелді салада AI модельдеріміздің мүмкіндік деңгейлерін қалай бағалайтынымызды анықтайды. Бұл шеңбердің іс жүзіндегі мысалы ретінде GPT‑4‑тің биологиялық қатер жасауға көмектесу қабілетін тексерген жуырдағы зерттеуімізді⁠ қараңыз; оның қорытындысы бойынша, ол елеулі шекті тәуекел тудырмайды.

Осы бағалауларға сүйене отырып, біз модельдердің әр санаттағы тәуекел деңгейін Төмен, Орташа, Жоғары немесе Сындарлы деп бағалаймыз. Ең маңыздысы, Дайындық шеңберімізге сай, егер азайту шараларымыз бұл жүйелердің тәуекелін кем дегенде «Орташа» деңгейге дейін түсіре алмаса, біз таксономиямызда тәуекел деңгейі «Жоғары» не «Сындарлы» болатын AI жүйелерін енгізбейміз (тәуекелі жоғары болғандықтан, «Сындарлы» жүйелерді тіпті оқытпаймыз да). Дайындық шеңбері маңызды, өйткені ол барған сайын қабілетті AI-дың игіліктерін құрып, кеңінен бөлісуге мүмкіндік береді, сонымен бірге егер апатты тәуекелдер шынымен пайда болса, оларды мүмкіндігінше ерте анықтауға және қорғануға дайын болуға көмектеседі.

Біз адамдар мен компаниялар AI-ға өз таңдауы бойынша қатыса алуы керек деп санаймыз — оған олардың құндылықтары мен көзқарасын көрсететін AI-ды әзірлеу не пайдалану да кіруі мүмкін — AI игіліктеріне қол жеткізу үшін. Сонымен бірге, мүмкіндігі өте жоғары AI жүйелері қауіпсіз түрде жасалып, қолданылуы керек, ал анықталған кез келген апатты тәуекелдер тиісінше азайтылуы қажет. Бұл мүдделер кейде өзара қайшылыққа түсуі мүмкін, сондықтан қоғам үшін ең жақсы нәтижелерге жету үшін оларды әр жағдайға сай ойланып басқару қажет.

Жасау үшін елеулі ресурстарды қажет ететін (жүздеген миллион доллар немесе одан да көп деңгейінде) мүмкіндігі жоғары базалық модельдер жағдайында, AI әзірлеушілері өз моделінің апатты тәуекелдер тудыру әлеуетін бағалауы керек және, егер модельдің тәуекел деңгейі жоғары деп табылса, оны енгізу немесе жариялау алдында тиісті азайту шараларын қолдануы керек деп санаймыз. Бұл тәуекелді басқару мен инновация арасындағы орынды тепе-теңдікті қамтамасыз етеді: мұндай модельдер ең үлкен мүмкіндіктерге ие болады деп күтіледі⁠(жаңа терезеде ашылады), ал бағалау құны ең көбі олардың әзірлеу құнының аз ғана бөлігі болады. Мұндай бағалаулар модель салмақтарын кеңінен не API арқылы жариялау жоспарланғанына қарамастан орынды.

Спектрдің екінші жағында, ресурсты азырақ қажет ететін базалық модельдер жағдайында мүдделер тепе-теңдігі басқаша. Қазіргі деректерге сүйенсек, мұндай модельдердің апатты тәуекелдер тудыру ықтималдығы, тіпті финетюнинг пен модельді өзгерту тәсілдеріндегі ықтимал ілгерілеулерді ескергеннің өзінде, әлдеқайда төмен көрінеді. Ал апатты тәуекелді бағалау шағын оқыту іске қосудары бюджетінің елеулі бөлігін құрауы мүмкін, бұл инновация мен бәсекеге тежеуші әсер етуі ықтимал. Біз мұндай модельдер үшін апатты тәуекелге қатысты мұндай бағалаулар күтілмеуі керек деп санаймыз, өйткені әзірлеушілердің алуан түрлілігінің жаңа әрі қызықты AI мүмкіндіктері бойынша инновация жасау қабілетін қорғаудың және идеялар мен өнімдер нарығының гүлденуіне жол ашудың құндылығы зор, әрі ғылым бұл модельдердің тәуекелі салыстырмалы түрде төмен екенін көрсетеді.

Дайындық шеңбері сияқты бағалау хаттамалары модельді жариялаудың кез келген түрінен, соның ішінде ашық модель салмақтарын жариялаудан туындайтын ex ante тәуекелдерді бағалауға пайдалы құрал. Оларды ашық салмақтарды жариялауға қолдануға қатысты бірнеше ерекше жайт бар.

Сондай жайттардың бірі — тестілеу шарттары төменгі деңгейдегі акторлардың модельді өзгерте алатын тәсілдерінің ауқымын барынша көрсетуі тиіс. Ашық модельдердің ең пайдалы қасиеттерінің бірі — төменгі деңгейдегі акторлар модельдерді өзгертіп, олардың бастапқы мүмкіндіктерін кеңейте алады және оларды әзірлеушінің нақты қолданбаларына бейімдей алады. Алайда бұл зиянды тараптардың да модельдің қауіпті мүмкіндіктерін күшейтуі ықтимал екенін білдіреді. Сондықтан ашық салмақтарды жариялаудың тәуекелдерін қатаң бағалау зиянды тарап модельді іс жүзінде өзгерте алатын орынды тәсілдер ауқымын, соның ішінде финетюнингті де, тестілеуді қамтуы керек. OpenAI қазірдің өзінде Дайындық шеңбері аясында белгілі бір өзгерту-тестілеуді жүргізеді (мұны біз биологиялық тәуекелді бағалауымызда⁠ жасадық).

Тағы бір негізгі жайт — ашық модель әзірлеушілері өз моделін теріс пайдалану тәуекелін азайту үшін жүйе деңгейіндегі қорғаныс шараларына сүйене алмауы мүмкін, өйткені модель салмақтарына ие зиянды төменгі деңгейдегі пайдаланушы мұндай қорғаныс шараларын жиі алып тастай алады. Бүгінде бұл азайту мүмкіндігіндегі айырмашылықтың салдары шектеулі, өйткені қазіргі ең қабілетті модельдеріміздің өзі ерекше тәуекелді деп бағаланбайды. Бірақ егер болашақтағы модель жарияланған жағдайда елеулі тәуекелдер туғызатыны ғылыми тұрғыдан анықталса, онда ашық салмақтарды жариялау тәуекелін азайту жолы модель шығарылатын сыртқы ортаның орнықтылығын арттыруға сүйенуі мүмкін.

Қоғамның AI-ды теріс пайдалануға төзімді болу қажеттілігі кез келген бір ұйымның жариялау шешімдерінен ауқымдырақ. AI алгоритмдерінің ілгерілеуі мен таралуы жалғасып жатқанын және есептеу қуатына қолжетімділік барған сайын кеңейіп келе жатқанын ескерсек (соның ішінде Америка Құрама Штаттары алаңдайтын елдерде де), бүгінде көбіне жасалу сәтінде санаулы акторларға ғана қолжетімді озық AI мүмкіндіктері ақыр соңында кеңінен таралады. Америка Құрама Штаттары мен әлем елдерінің де теріс пайдаланудың салдарын шектейтін азайту шараларына инвестиция салып, оларға жетекшілік етуге мүмкіндігі бар, сонда нәтижелер теңгерімі барынша оң болады.

Мысалы, AI жеделдеткен кибершабуыл тәуекелдеріне төзімділікті күшейту аса маңызды инфрақұрылым жеткізушілеріне сол AI модельдеріне ерте қолжетімділік беруді қамтуы мүмкін, сонда оларды киберқорғанысты жақсарту үшін пайдалануға болады (біз OpenAI Cybersecurity Grant Program⁠ аясында қаржыландырған алғашқы жобалардағыдай). AI жеделдеткен биологиялық қатер жасау тәуекелдеріне төзімділікті күшейту AI-ға мүлде қатысы жоқ шешімдерді де қамтуы мүмкін, мысалы нуклеин қышқылдарын синтездеуді тексеру тетіктерін жетілдіру (14110 Атқарушы жарлықта айтылғандай) немесе қоғамдық денсаулық сақтау жүйелерінің жаңа патоген ошақтарын скринингтен өткізу және анықтау қабілетін жақсарту. Егер AI моделі қоғамдық қауіпсіздікке не ұлттық қауіпсіздікке елеулі тәуекел тудыратыны қатаң түрде дәлелденсе, онда әзірлеуші кең ауқымда жариялар алдында жаңа мүмкіндіктер туралы хабардарлықты қалыптастыруда маңызды рөл атқара алады (мысалы, инфрақұрылым жеткізушілерін хабардар ету немесе API арқылы енгізуді шектеу арқылы), осылайша шұғыл қажет орнықтылық шараларына әрі уақыт, әрі ынта қалыптастырады. Бұл киберсаладағы «жауапты жария ету» нормасына ұқсайды, мұнда қауіпсіздік зерттеушілері өздері тапқан осалдықтарды жариялауды уақытша кейінге қалдырып, қорғаушыларға жүйелерін түзетуге уақыт береді, бірақ сонымен бірге қауіпсіздік бойынша әрі қарайғы зерттеулерді баяулатпайды.

Ең қабілетті модельдердің тәуекелдерін бағалау маңызды деп санасақ та, AI тәуекелдерін бағалау ғылымы әлі бастапқы кезеңде. OpenAI және кеңірек AI қауымдастығы AI тәуекелдерін қалай бағалау керегінің іргетасын әлі де қалыптастырып жатыр, әрі біз Дайындық шеңберіндегі операцияландырудың көптеген егжей-тегжейін әлі де үздіксіз жетілдіріп келеміз. Үкіметтер AI экожүйесіне тәуекел мен мүмкіндікті бағалау тәжірибелерін жетілдіруге көмектесуде маңызды рөл атқара алады, мысалы шабуылдаушы киберқауіпсіздік, аса маңызды инфрақұрылым және AI салаларынан сарапшыларды жинап, AI-дың басым киберқауіп үлгілерінің жиынтығы бойынша келісімге келу және оларды бағалауға арналған қатаң әрі эмпирикалық тест алаңдарын құру арқылы. Біз USAISI ұстанып отырған ерікті, инновацияға қолайлы және ғылымды бірінші орынға қоятын тәсілді нық қолдаймыз.

OpenAI 2019 жылы GPT‑2‑ні қалай жариялау керегі туралы таңдауға тап болғаннан бері — әуелде модельдің тек шағын нұсқасын жариялауды таңдаған еді — базалық модель салмақтарын ашық жариялауға қатысты пайымдар аясын жаңа тұжырымдар мен оқиғалар үздіксіз өзгертіп келеді, кейде бірнеше ай сайын. Бұл үрдіс жалғасады деп күтеміз. Үкіметтің кез келген саясаттық тәсілі болашақ өзгерістерге икемді әрі бейімделгіш болуы керек.