Fahamka weerarrada weydiinta: caqabad amni oo ugu casriyeysan
Qalabka AI-ga ayaa bilaabaya inuu sameeyo wax ka badan ka jawaabidda su’aalaha. Hadda waxay baari karaan webka, ka caawin karaan cilmi-baaris, qorshayn karaan safarro, kana caawin karaan iibsiga alaabo. Markay sii awood badanayaan, iyagoo leh awood ay ku galaan xogtaada ee app-yo kale kana qaadaan tallaabooyin adiga kuu metelaya, waxaa soo baxaya caqabado amni oo cusub. Mid si weyn aan diiradda u saarno waa weerarka weydiinta.
Weerarka weydiintu waa nooc ka mid ah weerarka khiyaano-bulsheedka oo u gaar ah AI wada-sheekaysiga. Nidaamyadii hore ee AI waxay ahaayeen wada-hadallo u dhexeeya hal isticmaale iyo hal wakiil AI ah. Alaabooyinka AI maanta, wada-sheekaysigaagu wuxuu ka koobnaan karaa nuxur ka yimaadda ilo badan, oo ay ku jirto internet-ku. Fikradda ah in dhinac saddexaad (oo aan ahayn isticmaalaha kana aan ahayn AI-ga) uu nooca ku marin-habaabin karo isagoo gelinaya tilmaamo waxyeello leh gudaha macnaha wada-sheekaysiga ayaa keentay erayga “weerarka weydiinta”.
Si la mid ah sida iimayllada phishing-ka ama khiyaamooyinka webku isku dayaan inay dadka ku qanciyaan inay bixiyaan macluumaad xasaasi ah, weerarrada weydiintu waxay isku dayaan inay AI-yada ku khiyaaneeyaan inay sameeyaan wax aadan codsan.
Ka soo qaad inaad AI ka codsatay inuu kaa caawiyo cilmi-baaris fasax oo online ah, intuu taas samaynayana uu la kulmo nuxur marin-habaabin ah ama tilmaamo waxyeello leh oo ku qarsoon bog web ah, sida faallo ku jirta liis ama dib-u-eegis. Nuxurka waxaa si taxaddar leh loo samayn karaa iyadoo la isku dayayo in AI-ga lagu khiyaaneeyo inuu ku taliyo liiska khaldan, ama ka sii daran, inuu xado macluumaadka kaarkaaga deynta.
Kuwani waa tusaalooyin yar oo ka mid ah weerarrada “weerarka weydiinta”—tilmaamo waxyeello leh oo loo sameeyay in AI lagu khiyaaneeyo inuu sameeyo wax aadan damacsanayn, badanaana lagu qariyo gudaha nuxur caadi ah sida bog web, dukumenti, ama iimayl.
Khatarradani way kordhaan marka AI-yadu helaan xog aad u xasaasi ah oo dheeraad ah ayna qaataan hindise badan iyo hawlo dhaadheer.
Kooban | Waxa aad AI-ga ka codsatay inuu sameeyo | Waxa weeraryahanku sameeyo | Natiijada dhici karta haddii weerarku guulaysto |
Waxaad AI ka codsataa inuu baadho guryo dabaqyo ah, waxaana lagu sameeyaa weerarka weydiinta si uu kuugu taliyo liis aan kuu ahayn doorashada ugu fiican. | Waxaad AI ka codsataa inuu baadho guryo dabaqyo ah oo leh shuruudo gaar ah. | Weeraryahanku wuxuu ku daray weerarka weydiinta liiska guriga dabaqyada ah si uu AI-ga ugu khiyaaneeyo inuu u maleeyo in liiskooda la dooranayo iyadoo aan loo eegin doorbidyada uu isticmaaluhu sheegay. | Haddii weerarku guulaysto, AI-gu wuxuu si khaldan kuugu talin karaa liis guri dabaq ah oo aan kuugu fiicnayn doorbidyadaada. |
Waxaad wakiil AI ah ka codsataa inuu ka jawaabo iimaylladaadii xalay, ugu dambayna wuxuu la wadaagaa bayaannada bangigaaga. | Waxaad wakiil AI ah ka codsataa inuu guud ahaan ka jawaabo iimaylladaadii xalay maadaama aad saaka mashquulsan tahay. Hoos ka eeg “Marka ay suurtagal tahay, wakiil si cad u far” | Weeraryahanku wuxuu kuu soo diray iimayl ay ku jirto xog marin-habaabin ah oo ku khiyaaneeya nooca inuu helo bayaannada bangigaaga oo uu la wadaago weeraryahanka. | Haddii weerarku guulaysto, wakiilku wuxuu iimaylkaaga ka raadin karaa wax kasta oo la mid ah bayaannada bangiga (oo aad u siisay marin u helid hawshaas) wuxuuna la wadaagi doonaa weeraryahanka. |
Ka difaacista weerarka weydiinta waa caqabad ka taagan warshadaha AI oo dhan waana diirad asaasi ah oo OpenAI leedahay. In kasta oo aan filayno in kuwa weerarka geysta ay sii wadi doonaan samaynta weerarradan, haddana waxaan dhisaynaa difaacyo loo habeeyay inay gutaan hawsha uu isticmaaluhu damacsan yahay xitaa marka qof si firfircoon isku dayayo inuu marin-habaabiyo. Awooddaas ayaa lama huraan u ah in si ammaan ah loo xaqiijiyo faa’iidooyinka AGI.
Si aan u ilaalino isticmaalayaashayada, isla markaana aan uga caawinno hagaajinta noocyadayada weerarradan, waxaan qaadannaa hab dhowr-lakab leh, oo ay ku jiraan kuwa soo socda:
Waxaan rabnaa AI aqoonsata weerarrada weydiinta oo aan ku dhicin. Si kastaba ha ahaatee, adkaysiga weerarrada cadowga ahi waa caqabad muddo dheer taagnayd oo ku jirta barashada mashiinka iyo AI, taas oo ka dhigaysa arrintan dhibaato adag oo furan. Waxaan samaynay cilmi-baaris la yiraahdo Instruction Hierarchy si loogu dhaqaaqo noocyo kala saari kara tilmaamaha la aamini karo iyo kuwa aan la aamini karin. Waxaan sii wadnaa samaynta habab cusub oo lagu tababaro noocyada si ay si fiican u gartaan qaababka weerarka weydiinta si ay iskaga indhatiraan ama ugu calaamadiyaan isticmaalayaasha. Mid ka mid ah farsamooyinka aan adeegsanno waa red-teaming otomaatig ah, waana meel aan sanado badan ku baranay(ku furmaa daaqad cusub), si loo horumariyo weerarro cusub oo weerarka weydiinta ah.
Waxaan samaynay dhowr kormeereyaal otomaatig ah oo AI ku shaqeeya si loo aqoonsado loona xannibo weerarrada weydiinta. Kuwani waxay dhammaystiraan hababka tababarka badbaadada sababtoo ah si degdeg ah ayaa loo cusboonaysiin karaa si dhaqso loogu joojiyo weerar kasta oo cusub oo aan ogaanno. Kormeereyaashani ma aha oo keliya inay caawiyaan aqoonsiga weerarrada weerarka weydiinta ee suurtagalka ah ee ka dhanka ah isticmaalayaashayada, balse sidoo kale waxay noo oggolaan karaan inaan qabanno cilmi-baarista iyo tijaabinta weerarka weydiinta ee cadowtinimada leh ee lagu samaynayo barxaddeenna, ka hor inta aan weerarradaas lagu sii dayn duurka.
Waxaan u qaabaynay alaabooyinkayaga iyo kaabayaashayada amni ilaalino is dul-saaran oo kala duwan si ay uga caawiyaan ilaalinta xogta isticmaalaha. Astaamahan, oo aan mustaqbalka qoraallo ku baari doonno si farsamo ahaan faahfaahsan, waxaa loo habeeyaa si ku salaysan alaab kasta. Tusaale ahaan, si lagaa caawiyo inaad ka fogaato bogag aan la aamini karin, waxaan kaa codsan doonnaa inaad ansixiso xiriirro gaar ah gudaha ChatGPT, gaar ahaan websaydhyada naga codsada inaanan diiwaangelin(ku furmaa daaqad cusub), ka hor inta aan la booqan. Marka AI-geennu adeegsado qalab si uu u socodsiiyo barnaamijyo kale ama koodh (sida Canvas, ama qalabkeenna horumarinta ee Codex), waxaan adeegsannaa farsamo la yiraahdo sandboxing si aan uga hortagno nooca inuu sameeyo isbeddello waxyeello leh oo laga yaabo inay ka dhalato weerarka weydiinta.
Waxaan ku darnay xakamayno ku dhex-jira alaabooyinkayaga si ay uga caawiyaan isticmaalayaasha inay is ilaaliyaan. Tusaale ahaan, gudaha ChatGPT Atlas, waxaad dooran kartaa habka aan la gelin, kaas oo u oggolaanaya wakiilka ChatGPT inuu bilaabo hawlo isagoo aan gelin ku samaynin bogagga. Wakiilka ChatGPT sidoo kale wuu joogsadaa wuxuuna codsadaa xaqiijin ka hor inta uusan qaadin tallaabooyin xasaasi ah sida dhammaystirka iibsi. Marka wakiilku ku shaqaynayo bogag xasaasi ah, waxaan sidoo kale hirgelinnay “Watch Mode” oo kuugu digaysa dabeecadda xasaasiga ah ee bogga una baahan inaad tab-ka firfircoon haysato si aad u daawato wakiilka oo shaqadiisa qabanaya. Wakiilku wuu joogsan doonaa haddii aad ka dhaqaaqdo tab-ka ay ku jirto xogta xasaasiga ahi. Tani waxay hubinaysaa inaad sii feejignaato—oo aad weli xakamayso—tallaabooyinka uu wakiilku samaynayo.
Waxaan samaynaa red-teaming ballaadhan annagoo la shaqaynayna kooxo gudaha iyo dibadda ah si aan u tijaabino una wanaajino difaacyadayada, u dayanno hab-dhaqanka weeraryahanka, una helno siyaabo cusub oo aan ku wanaajinno amnigeenna. Tani waxaa ku jira kumannaan saacadood oo si gaar ah diiradda loogu saaray weerarka weydiinta. Sida aan u helnay farsamooyin iyo weerarro cusub, kooxahayagu si firfircoon ayay wax uga qabtaan nuglaanshaha amniga waxayna wanaajiyaan yareynta khatarta ee noocayaga.
Si loo dhiirrigeliyo cilmi-baarayaasha amniga madaxa-bannaan ee niyadda wanaagsan leh inay naga caawiyaan ogaanshaha farsamooyin iyo weerarro cusub oo weerarka weydiinta ah, waxaan bixinnaa abaalmarinno lacageed oo hoos yimaadda barnaamijkayaga abaalmarinta cilladaha(ku furmaa daaqad cusub) marka ay muujiyaan waddo weerar oo macquul ah oo keeni karta soo-bandhigid aan loogu talagelin oo xogta isticmaalaha ah. Waxaan dhiirrigelinnaa ka qaybqaatayaasha dibadda inay arrimahan si degdeg ah u soo saaraan si aan u xallinno oo aan sii xoojino difaacyadayada.
Waxaan baraarujinnaa isticmaalayaasha khataraha ka iman kara adeegsiga astaamo gaar ah oo alaabta ku jira si ay go’aanno xog-ogaal ah u gaaraan. Tusaale ahaan, marka ChatGPT lagu xidhayo app-yo kale, waxaan sharaxnaa xogta la geli karo, sida loo adeegsan karo, iyo khataraha iman kara sida bog isku dayaya inuu xado xogtaada, annagoo la socda xiriir lagu barto sida aad ammaan badan ugu jiri karto. Waxaan sidoo kale ururrada siinnaa xakamayn ku saabsan astaamaha loo oggolaan karo ama ay isticmaali karaan adeegsadayaashu gudaha goobahooda shaqada.
Weerarka weydiintu waa caqabad amni oo ugu casriyeysan oo aan filayno inay sii kobci doonto waqti ka dib. Heerar cusub oo garaad iyo awood ah waxay u baahan yihiin in tignoolajiyada, bulshada, iyo istaraatiijiyadda yaraynta khatartu ay si wadajir ah isu kobciyaan. Sida fayrasyadii kombiyuutarka horaantii 2000-meeyadii, waxaan u malaynaynaa inay muhiim tahay in qof kastaa fahmo khatarta weerarrada weydiinta iyo sida loo maareeyo halistaas, si aynu dhammaanteen uga faa’iidaysanno tignoolajiyadan si ammaan ah. Ogaanshaha iyo taxaddarku waxay ka caawiyaan xogtaada inay ammaan badan ahaato markaad isticmaalayso AI iyo astaamaha agentic-ka ah ee kuu mateli kara.
Meesha ay suurtagal tahay, ku xaddid wakiilka gelitaanka keliya xogta xasaasiga ah ama aqoonsiyada uu u baahan yahay si uu hawsha u dhammaystiro. Tusaale ahaan, markaad adeegsanayso habka wakiilka ee ChatGPT Atlas si aad u samayso cilmi-baaris fasax, haddii wakiilku kaliya cilmi-baaris samaynayo oo uusan u baahnayn gelitaan la soo galay, adeegso habka “aan la gelin”.
Inta badan waxaan u naqshadeynaa wakiillo inay kaa helaan xaqiijin kama dambays ah ka hor inta aysan qaadin tallaabooyin saameyn leh sida dhammaystirka iibsi ama dirista iimayl. Marka wakiilku ku waydiiyo inaad xaqiijiso tallaabo, si taxaddar leh u hubi in tallaabadu sax u muuqato iyo in macluumaad kasta oo la wadaagayo uu ku habboon yahay in lagu wadaago macnahaas.
Marka wakiilku ku shaqaynayo bog xasaasi ah, sida bangigaaga, daawo wakiilka isagoo shaqadiisa qabanaya. Tani waxay la mid tahay kormeeridda baabuur iskiis isu wada adigoo gacmaha ku haya isteerinka.
Siinta wakiil tilmaamo aad u ballaadhan sida "dib u eeg iimaylladayda oo qaad tallaabo kasta oo loo baahan yahay" waxay u fududayn kartaa nuxur waxyeello leh oo qarsoon inuu marin-habaabiyo nooca, inkastoo loo naqshadeeyay inuu kula hubiyo ka hor inta uusan qaadin tallaabooyin xasaasi ah.
Waxaa ka ammaan badan inaad wakiilkaaga ka codsato inuu sameeyo waxyaabo gaar ah, oo aadan siin xorriyad ballaadhan oo uu uga yaabo inuu raaco tilmaamo waxyeello leh oo ka imanaya meelo kale sida iimayllo. In kasta oo tani aanay dammaanad qaadayn inaysan jiri doonin weerarro, haddana waxay ku adkaynaysaa weeraryahannada inay guulaystaan.
Marka tignoolajiyada AI-gu is beddesho, khataro cusub iyo ilaalino cusub ayaa soo bixi doona. La soco wararka OpenAI iyo ilo kale oo la aamini karo si aad u barato hab-dhaqannada ugu wanaagsan.
Weerarka weydiintu weli waa xuduud cilmi-baariseed adag, waana sida khiyaamooyinka dhaqameed ee webka, waxaan filaynaa in shaqadeennu sii socoto. In kasta oo aynaan weli arag adeegsiga weyn ee farsamadan ay sameeyaan weeraryahanno, haddana waxaan filaynaa in kuwa lidka ahi ay waqti iyo khayraad badan gelin doonaan sidii ay AI-yada ugu qancin lahaayeen weerarradan. Waxaan sii wadnaa maalgelin xooggan oo ku wajahan ka dhigista alaabooyinkayaga kuwo ammaan ah iyo cilmi-baaris horumarisa adkaysiga AI-ga ee khatartan. Waxaan wadaagi doonnaa warar cusub marka aan wax badan baranno, oo ay ku jirto horumarka socda ee shaqadayada amniga ee aaggan. Tusaale ahaan, waxaan dhisaynaa warbixin aan dhowaan daabici doonno oo wadaagaysa faahfaahin dheeraad ah oo ku saabsan sida aan u ogaanno haddii xidhiidhka AI-gaagu la leeyahay internet-ku uu gudbin lahaa macluumaad ka imanaya wada-sheekaysigaaga.
Hadafkayagu waa inaan nidaamyadan ka dhigno kuwo la isku hallayn karo oo ammaan ah sida la shaqaynta saaxiib ama saaxiib shaqo oo aad ugu kalsoon tahay islamarkaana amniga aad u yaqaanna. Waxaan sii wadi doonnaa inaan wax ka baranno adeegsiga dunida dhabta ah, si ammaan ah u hagaajinno, oo aan daabacno waxa aan baranno marka tignoolajiyadu horumarayso.
