NTIA AI Accountability Policy туралы пікір

OpenAI Ұлттық телекоммуникациялар және ақпарат басқармасының (NTIA) 2023 жылғы 13 сәуірдегі AI Accountability Policy туралы пікірлер сұрауына (RFC) жауап беруге қуанышты.

Осы пікірде біз бүгін ұсынып отырған қызметтерге қолданатын қауіпсіздік тәжірибелеріне және болашақта ұсынуды жоспарлап отырған қызметтерге қолдануды көздейтін тәжірибелерге сүйене отырып, AI есептілігі туралы ұстанымымызды сипаттаймыз. NTIA-ның бұл талқылауды AI есептілігінің «экожүйесі» тұрғысынан құру туралы шешімін құптаймыз. RFC атап өткендей, саясатқа мүдделі тараптар «сенімді AI жүйелерінің мақсаттары мен енгізу контекстерінің ауқымын» зерттеп жатыр.¹ Есептілікке қол жеткізуге арналған саясаттар мен тәжірибелер соған сәйкес әртүрлі болады. Сонымен бірге, нақты есептілік шаралары бір-бірімен қатар өмір сүруі тиіс, ал ең маңыздысы — олардың бірлескен ықпалы.

AI есептілігіне арналған жетілген экожүйеде көлденең де, тік те элементтер болады деп сенеміз. Яғни, біз қолдану салаларының бәрінде кейбір AI жүйелеріне ортақ қолданылатын элементтер де, белгілі бір салаларға бейімделген элементтер де болады деп күтеміз. Біз өте қабілетті іргелі модельдерді — көптеген төменгі деңгейлі тапсырмаларды орындай алу үшін үлкен көлемдегі деректерден үйренетін модельдерді — әзірлеу және енгізумен айналысамыз. Біздіңше, біз сияқты AI әзірлеушілері жауапкершілікпен әрекет етіп, ең озық мүмкіндіктерді әзірлеу мен енгізуге мұқият әрі қауіпсіздікке бағытталған тәсіл қолдануы тиіс. Мұндай модельдер қай салаларда қолданылатынына қарамастан, бұл қағида өз күшінде қалады.

Қолданыстағы заңдардың кең ауқымы қазірдің өзінде AI-ға, соның ішінде біздің өнімдерімізге де қолданылады, әрі құқықтық орта жылдам дамып келеді: АҚШ Конгресіндегі заңнамалық бастамалар, Еуропада әзірленіп жатқан AI Act және әлем бойынша өрістеп жатқан заңнамалық әрі саяси бастамалар бар. Сонымен бірге, медицина, білім беру және жұмыспен қамту сияқты салалардағы бұрыннан қалыптасқан құқық, реттеу және өзге де күтілімдер қазірдің өзінде AI-дың сол салалардағы рөлін айқындайтындай етіп түсіндіріліп, бейімделіп жатыр. Терең салалық сараптамаға сүйенетін осы секторға тән күш-жігерді біз AI есептілігі ландшафтының аса маңызды бөлігі деп санаймыз.

Біз AI үшін қалыптасып келе жатқан есептілік күтілімдерін үйлестіруге бағытталған күш-жігерді, соның ішінде NIST AI Risk Management Framework, АҚШ–ЕО Сауда және технологиялар кеңесі және өзге де көптеген жаһандық бастамалардың жұмысын нық қолдаймыз. Бұл күш-жігер ілгерілеп жатқан кезде және жаңа заңдар толық енгізілмей тұрып-ақ, біз өзіміз бен басқа компаниялардың орналастыруға дейінгі тестілеу, контенттің шығу тегі және сенім мен қауіпсіздік сияқты мәселелер бойынша ерікті міндеттемелер қабылдауында рөл бар деп санаймыз.

Біздің қазіргі инженерлік тәсіліміз есептеу ресурстарының бірегей ауқымын талап етеді, және біз мұны біз сияқты субъектілерге қолданылатын қосымша әрі ерекше есептілік талаптарын айқындаудың перспективалы негізі деп санаймыз. Барлық субъектілердің әділ бәсекелесіп, инновация жасау мүмкіндігін сақтау үшін өте қабілетті іргелі модельдерге арналған кез келген жаңа реттеудің аясын мұқият белгілеуді қолдаймыз.

Есептілік технологияның бүкіл өмірлік циклі бойында рөл атқарады. Модельдерімізді қауіпсіз әрі сенімді етуге бағытталған күш-жігеріміз әзірлеу басталмай тұрып басталады, модельдерімізді орналастыру және пайдалану барысында жалғасады және өте қабілетті іргелі модельдерді жасаушыларды да, пайдаланушыларды да қамтиды. Біз әзірлеушілерге олардың қолданбалары үшін әлемдегі үздік мүмкіндіктерді ұсынамыз, сондай-ақ ChatGPT пен басқа қызметтерімізді күн сайын пайдаланатын миллиондаған адамға қуатты мүмкіндіктерді тікелей береміз. Біздің пайдалану саясаттарымыз модельдеріміздің, құралдарымыздың және қызметтеріміздің барлық пайдаланушыларына қолданылады.² Біз қолданыстағы заңдарды сақтаймыз және әзірлеушілеріміз бен пайдаланушыларымыздан қызметтерімізді пайдаланғанда сол заңдарды сақтауын талап етеміз.

Осы пікірдің қалған бөлігінде AI есептілігіне қатысты қазіргі тәсілдерімізге назар аударамыз және біз де, өзгелер де экожүйені нығайту үшін жұмыс істеп жатқан маңызды бағыттарды сипаттаймыз. АҚШ-тағы және әлемдегі саясаткерлер AI есептілігіне қол жеткізуге арналған кең ауқымды саясаттар мен шараларды, соның ішінде заңнаманы, нормативтік актілерді, халықаралық келісімдерді, өзін-өзі реттеу бағдарламаларын және міндетті техникалық әрі өзге стандарттарды қарастырып жатқанын атап өтеміз. Біз бұл күш-жігерді жоғары бағалаймыз және AI есептілігіне арналған тиімді тәсілдерді әзірлеу мен іске асыру үшін өзге мүдделі тараптармен әріптестік орнатуға дайынбыз.

Біз тәжірибелерімізді кең ауқымды қоғамдық талқылаудың дамуымен қатар жетілдіріп келеміз. Мұнда өз тәсіліміздің бірнеше қыры туралы егжей-тегжей береміз.

Ашықтық — есеп беретін AI жүйелерін құрудың маңызды элементі. Біздің есептілікке деген тәсіліміздің негізгі бөлігі — біз енгізетін жаңа AI жүйелері үшін қазір System Card деп атайтын құжатты жариялау. Біздің тәсіліміз модель карталары мен жүйе карталары жөніндегі алдыңғы зерттеулерден шабыт алады.³ Бүгінгі күнге дейін OpenAI екі жүйе картасын жариялады: GPT‑4 жүйе картасы және DALL-E 2 жүйе картасы.⁴

Көп жағдайда бұл құжаттар тек модельдің өзіне ғана емес, жүйенің әсерлерін талдап, сипаттауы маңызды деп санаймыз, өйткені жүйенің әсері ішінара модельден өзге де факторларға, соның ішінде қолдану сценарийіне, контекстке және шынайы әлемдегі өзара әрекеттесулерге байланысты. Сол сияқты, AI жүйесінің әсері пайдалану саясаттары, қолжетімділікті бақылау және теріс пайдалануды мониторингілеу сияқты тәуекелді азайту шараларына да тәуелді. Сыртқы мүдделі тараптардың осы тақырыптар бойынша ақпарат күтетінін және біздің тәсілімізді түсінуге мүмкіндік алуы орынды деп есептейміз.

Біздің System Card құжаттарымыз оқырмандарды жүйенің мінез-құлқына әсер ететін негізгі факторлар туралы, әсіресе жауапты пайдалануға қатысты салаларда, хабардар етуді мақсат етеді. Біз System Card құжаттары мен ұқсас материалдардың құндылығы олар ұсынатын модель өнімділігі мәселелерінің шолуымен ғана емес, сондай-ақ беретін көрнекі мысалдарымен де айқындалатынын байқадық. Мұндай мысалдар пайдаланушылар мен әзірлеушілерге сипатталған жүйенің өнімділігі мен тәуекелдерін, сондай-ақ сол тәуекелдерді азайту үшін қабылдайтын қадамдарымызды неғұрлым нақты түсінуге көмектеседі. Бұл құжаттарды дайындау біздің ішкі тәжірибелерімізді қалыптастыруға да ықпал етеді және AI-ға жауапты тәсілдерді операциялық деңгейде іске асыру жолдарын іздейтіндерге сол тәжірибелерді көрсетеді.

Редтиминг — бұл модельдеріміз бен жүйелеріміздің қауіпсіздік бейінін неғұрлым тұтас түсіну үшін оларды әртүрлі салаларда сапалық тұрғыдан сынау процесі. Біз редтимингті модельді әзірлеу аясында өз қызметкерлерімізбен ішкі түрде де, сондай-ақ сыналып жатқан жүйені құратын топтан тәуелсіз жұмыс істейтін адамдармен де жүргіземіз. Ұйымымыздың шабуылдарға қарсы қабілеті мен төзімділігін тексерумен қатар, red team топтары шеткі жағдайлар мен зиян келтіруі мүмкін басқа да ықтимал ақау режимдерін анықтауға бағытталған стресс-тестілеу мен шекаралық тестілеу әдістерін де қолданады.

Редтиминг модель мүмкіндіктері мен тәуекелдерін автоматтандырылған, сандық бағалаулармен толықтырылады; оларды келесі бөлімде сипаттаймыз. Ол әлі сандық түрде өлшенбеген тәуекелдерді немесе әлі стандартталған бағалау тәсілдері әзірленбеген тәуекелдерді ашуға көмектеседі. Редтиминг бойынша алдыңғы жұмысымыз DALL-E 2 жүйе картасында және GPT‑4 жүйе картасында сипатталған.

Біздің редтиминг және тестілеу жұмыстарымыз, әдетте, жаңа модельді немесе жүйені әзірлеу кезеңінде жүргізіледі. Өз ішкі тестілеуімізден бөлек, біз OpenAI-дан тыс тестілеушілерді тартып, әзірленіп жатқан жүйеге ерте қолжетімділік береміз. Тестілеушілерді OpenAI қызығушылық тудыратын салалардағы алдыңғы тәжірибесіне (зерттеу немесе практикалық сараптама) қарай іріктейді және олар, әдетте, академиялық зерттеушілер мен сала мамандарының (мысалы, Trust & Safety саласында жұмыс тәжірибесі бар адамдардың) үйлесімі болады. Біз бұл тестілердің нәтижелерін бағалап, тексереміз және қажет болған жерде түзетулер енгізіп, тәуекелді азайту шараларын қолданамыз.

OpenAI ағымдағы және болашақ бағалаулар үшін сыртқы тестілеушілердің сапасын, алуан түрлілігін және тәжірибесін жақсарту бағытындағы қадамдарын жалғастыруда.

Жоғарыда сипатталған сапалық редтимингке қоса, біз әртүрлі қабілеттер мен қауіпсіздікке бағытталған тәуекелдер үшін автоматтандырылған, сандық бағалаулар жасаймыз, соның ішінде редтиминг сияқты әдістер арқылы анықтайтын тәуекелдер үшін де. Бұл бағалаулар модельдеріміздің әртүрлі нұсқаларын өзара салыстыруға, қауіпсіздікті жақсартатын зерттеу әдістемелерін итеративті жетілдіруге және түптеп келгенде қандай модель нұсқаларын енгізуді таңдайтынымыз туралы шешім қабылдауға кіріс ретінде қызмет етуге мүмкіндік береді. Қолданыстағы бағалаулар эротикалық контент, өшпенді контент және өзіне зиян келтіруге қатысты контент сияқты тақырыптарды қамтиды және модельдердің осындай контентті жасауға бейімділігін өлшейді.

OpenAI пайдалану саясаттарымызда көрсетілгендей, модельдеріміз бен құралдарымызды белгілі бір әрекеттер мен контент үшін пайдалануға тыйым салады.⁵ Бұл саясаттар модельдеріміз бен құралдарымыздың жеке адамға немесе қоғамға зиян келтіретін тәсілдермен қолданылуына жол бермеуге арналған. Біз бұл саясаттарды жаңа тәуекелдерге және модельдеріміздің қалай пайдаланылып жатқаны туралы жаңартылған ақпаратқа жауап ретінде жаңартып отырамыз. Модельдерімізге қол жеткізу және оларды пайдалану, сондай-ақ, OpenAI-дың Пайдалану шарттарына бағынады, олар, басқалармен қатар, қызметтерімізді адамдардың құқықтарына зиян келтіру үшін пайдалануға және қызметтеріміздің нәтижесін адам жасағандай етіп көрсетуге, егер олай болмаса, тыйым салады.⁶

Біз модельдерге ықтимал зиянды жауаптарға әкелуі мүмкін сұраулардың кейбір түрлеріне жауап беруден бас тартуды үйрету арқылы оларды зиянды әрекеттер үшін пайдалануды шектеу қадамдарын жасаймыз. Бұған қоса, модельдерімізді теріс пайдалануды анықтап, оған қарсы шара қолдану үшін шолушылар мен автоматтандырылған жүйелердің аралас жиынтығын пайдаланамыз. Біздің автоматтандырылған жүйелер саясаттарымызды бұзуы мүмкін контентті анықтауға арналған машиналық оқыту мен ережелерге негізделген классификатор анықтауларының жиынтығын қамтиды. Пайдаланушы модельдерімізге саясатты бұзатын контентпен қайта-қайта көмексөз берген кезде, біз ескерту жасау, пайдаланушыны уақытша тоқтата тұру немесе ауыр жағдайларда пайдаланушыға тыйым салу сияқты шаралар қолданамыз.

RFC-де талқыланғандай, AI Accountability-ге қатысты әлі шешілмеген көптеген маңызды сұрақ бар. Келесі бөлімдерде біз осы сұрақтардың бірнешеуі бойынша қосымша көзқарас ұсынамыз.

Өте қабілетті іргелі модельдердің пайдалы мүмкіндіктері де, зиян келтіру әлеуеті де бар. Бұл модельдердің мүмкіндіктері неғұрлым озық болған сайын, әсіресе зиянкөй субъектінің нұсқауымен қолданылса немесе модель адам құндылықтарымен тиісінше үйлестірілмесе, олар тудыруы мүмкін тәуекелдердің ауқымы мен ауырлығы да арта түседі.

Ықтимал қауіпті қабілеттердегі ілгерілеуді қатаң өлшеу тәуекелді тиімді бағалау мен басқару үшін аса маңызды. Біз мұны қарапайым, ауқымдалатын және автоматтандырылған құралдардан бастап, адам сарапшылары жүргізетін арнайы, қарқынды бағалауларға дейінгі ықтимал қауіпті қабілеттерге арналған бағалауларды зерттеу және құру арқылы шешіп келеміз. Біз академиялық және салалық сарапшылармен ынтымақтасамыз және түптеп келгенде өте қабілетті іргелі модельдердегі туындап келе жатқан тәуекелдерді бағалаудың үздік тәжірибелерін қалыптастыруға үлес қоса алатын алуан түрлі бағалау жиынтығын дамытуға үлес қосуды мақсат етеміз. Қауіпті қабілеттерді бағалау озық AI әзірлеуіндегі есептілік пен басқарудың барған сайын маңызды құрылыс блогына айналып келеді деп санаймыз.

Модельдер мен жүйелерді, соның ішінде үшінші тараптардың бағалауы, модель мүмкіндіктері өсе берген сайын барған сайын құнды бола түсуі мүмкін. Мұндай бағалаулар AI жүйелерінің мінез-құлқы мен тәуекелдері туралы есептілік пен ашықтықты күшейте алады.

Бағалаудың кейбір түрлері бір ұйымның ішінде өтуі мүмкін, мысалы, команда өз жұмысын өзі бағалағанда немесе ұйымның бір командасы не бөлігі модель жасап, басқа тәуелсіз әрекет ететін командасы не бөлігі сол модельді сынағанда. Басқа тәсіл — бағалауды сыртқы үшінші тарапқа жүргізу. Жоғарыда сипатталғандай, қазір біз модельдерімізді ішкі және сыртқы бағалаулардың аралас жиынтығына сүйеніп бағалаймыз.

Үшінші тарап бағалаулары нақты енгізулерге, уақыттың белгілі бір сәтіндегі модельге немесе жүйеге, ұйымдық басқару мен тәуекелдерді басқару тәжірибелеріне, модель не жүйенің нақты қолданылуларына немесе осылардың үйлесіміне бағытталуы мүмкін. Мұндай бағалауларда қолданылатын ойлау тәсілдері мен ықтимал құрылымдар жылдам дамып келеді, және біз бағалауларға қатысты өз тәсілімізді қадағалап, қарастырып отырмыз.

Кез келген үшінші тарап бағалауы үшін тиісті сараптамасы мен ынталандыру құрылымы бар аудиторлар/бағалаушыларды іріктеу процесі қосымша айқындықты қажет етеді. Бұған қоса, ұйымдарды немесе модельдерді қандай күтілімдерге қарсы бағалау керегін таңдау — әртүрлі мүдделі тараптардың пікірін қажет ететін әлі ашық зерттеу саласы. Ақырында, бағалаулардың жүйелердің уақыт өте қалай өзгеруі мүмкін екенін ескеріп, мұны бағалау/аудит процесіне енгізуі маңызды болады.

Біз болашақ ұрпақтағы ең қабілетті іргелі модельдер үшін тіркеу және лицензиялау талаптарын әзірлеуді қолдаймыз. Мұндай модельдердің қоғамдық қауіпсіздікке елеулі қатер төндіретіндей жеткілікті қауіпті мүмкіндіктері болуы мүмкін; егер солай болса, біздіңше, оларға соған сай есептілік талаптары қолданылуы тиіс.

Өте қабілетті іргелі модельдер шығарады деп күтілетін оқыту процестері үшін ашып көрсету және тіркеу жөніндегі күтілімдерді қарастыру орынды болуы мүмкін. Мұндай ашып көрсету саясаткерлерге тиімді реттеу шешімдерін әзірлеу үшін қажетті көрінімді қамтамасыз етуге және AI прогресінің озық шебіндегі трендтерді алдын ала байқауға көмектесе алады. Кез келген осындай режимдер ашып көрсетілетін ақпараттың қауіпсіздігіне басымдық беруі аса маңызды.

AI әзірлеушілерінен бұрын қауіпсіз деп көрсетілген модельдерден де қабілеттірек болуы ықтимал өте қабілетті іргелі модельдерді жасау үшін лицензия алу талап етілуі мүмкін. Лицензиялау қауіпсіздік аса маңызды және басқа да жоғары тәуекелді контексттерде, мысалы, әуе тасымалы, электр өндіру, дәрі-дәрмек өндіру және банк ісі салаларында кең таралған. Лицензия иелерінен орналастыруға дейінгі тәуекел бағалауларын жүргізу және заманауи қауіпсіздік пен енгізу қорғаныш шараларын қабылдау талап етілуі мүмкін; шын мәнінде, NTIA қарастыратын есептілік тәжірибелерінің көбі лицензиялау талаптары болуға лайық. Есептеу провайдері деңгейінде лицензиялау талаптарын енгізу де орындауды қамтамасыз етудің қуатты қосымша құралы болуы мүмкін.

AI әзірлеудің озық шебінде есептілікке қол жеткізуге арналған тіркеу және лицензиялау тетіктерін жобалауда әлі де көптеген ашық сұрақ бар. Біз бұл сұрақтарды шешуде саясаткерлермен ынтымақтасуды асыға күтеміз.