ஃப்ரண்டியர் LLMகளில் அறிவுறுத்தல் அமைப்பை மேம்படுத்துதல்
IH-Challenge ஐ அறிமுகப்படுத்துகிறோம், இது அறிவுறுத்தல் படிநிலை, பாதுகாப்பு வழிநடத்தத்தன்மை மற்றும் ப்ராம்ப்ட் இன்ஜெக்ஷன் உறுதித்தன்மையை வலுப்படுத்தும் பயிற்சி தரவுத்தொகுப்பாகும்.
AI அமைப்புகள் பல மூலங்களிலிருந்து அடிக்கடி வழிமுறைகளைப் பெறுகின்றன. இவற்றில் அமைப்பு செய்திகளிலிருந்து பாதுகாப்புக் கொள்கைகள், டெவலப்பர்களிடமிருந்து தயாரிப்பு வழிகாட்டுதல், பயனர்களிடமிருந்து கோரிக்கைகள், மற்றும் ஆன்லைனில் காணப்படும் தகவல்கள் ஆகியவை உள்ளடக்கலாம். இந்த மூலங்களுக்கிடையில் மிக நம்பகமான வழிமுறைகளுக்கு நம்பகமாக முன்னுரிமை அளிக்க மாடல்களைப் பயிற்றுவிப்பது பாதுகாப்பான செயல்படுத்துதலின் ஒரு முக்கிய பகுதியாகும்.
இந்த முன்னுரிமை நிர்ணயம் சீர்குலையும்போது பல AI பாதுகாப்பு மற்றும் நம்பகத்தன்மை சிக்கல்கள் உருவாகலாம். மாடல்கள் அனுமதிக்கப்படாத உள்ளடக்கத்திற்கான கோரிக்கைகள், தனிப்பட்ட தகவலை வெளிப்படுத்த முயற்சிகள், அல்லது ஆன்லைன் தரவுக்குள் உட்பொதிக்கப்பட்ட ப்ராம்ப்ட்‑இன்ஜெக்ஷன் தாக்குதல்கள் ஆகியவற்றைப் பெறக்கூடும். இந்த ஒவ்வொரு சூழ்நிலையிலும் சரியான முறையில் நடந்து கொள்ளத் தவறுவது ஒரே மூல காரணத்தைப் பகிர்கிறது: மாடல் தவறான வழிமுறையைப் பின்பற்றக்கூடும்.
இந்த வழிமுறைகள் முரண்படும் போது, எவற்றுக்கு முன்னுரிமை அளிக்க வேண்டும் என்பதை மாடல் தீர்மானிக்க வேண்டும். நம்பத்தகாத ஒரு வழிமுறையை அதிகாரப்பூர்வமானதாகக் கருதினால், மாடல் கொள்கைகள் அல்லது டெவலப்பர் மற்றும் பயனர் நோக்கத்தை மீறும் வகையில் நடந்து கொள்ளக்கூடும்.
சரியாக வடிவமைக்கப்பட்ட அறிவுறுத்தல்-படிநிலை பணிகள், மாடல்களை அவற்றின் நம்பகத்தன்மை நிலைக்கு ஏற்ப அறிவுறுத்தல்களுக்கு முன்னுரிமை அளிக்கப் பயிற்றுவிப்பதன் மூலம், நிஜ உலகப் பாதுகாப்பு பண்புகளின் பலவற்றை மேம்படுத்துகின்றன என்பதை நாங்கள் காட்டுகிறோம். இந்த பணிகளில் பயிற்சி பெற்ற மாடல்கள், சிஸ்டம் ப்ராம்ப்ட்களில் உள்ள பாதுகாப்பு விவரக்குறிப்புகளுக்கு மேலும் பதிலளிக்கக்கூடியவையாக (பாதுகாப்பு steerability ஐ மேம்படுத்தி) மாறுகின்றன; மேலும் டூல் அவுட்புட்களில் உட்பொதிக்கப்பட்ட ப்ராம்ப்ட் இன்ஜெக்ஷன் தாக்குதல்களுக்கு எதிராக அதிக வலுவானவையாகவும் இருக்கின்றன.
முரண்பாடுகளை கையாள, OpenAI-யின் மாடல்கள் தெளிவான அறிவுறுத்தல் படிநிலையைப் பின்பற்றுமாறு பயிற்றுவிக்கப்பட்டுள்ளன:
சிஸ்டம் > டெவலப்பர் > பயனர் > கருவி
உயர் முன்னுரிமை கொண்ட அறிவுறுத்தல்கள் அதிக நம்பகமானவை. மாடல், உயர்ந்த‑முன்னுரிமை கட்டுப்பாடுகளுடன் முரண்படாதபோது மட்டுமே குறைந்த‑முன்னுரிமை வழிமுறைகளைப் பின்பற்ற வேண்டும். இந்தக் கொள்கைகள் OpenAI மாடல் ஸ்பெக்(புதிய சாளரத்தில் திறக்கும்)-இல் கோடிட்டுக் காட்டப்பட்டுள்ளன.
உதாரணமாக, ஒரு முறைமை செய்தியில் ஒரு பாதுகாப்புக் கொள்கை இருந்தால், மேலும் ஒரு பயனர் அதை மீறுமாறு மாடலைக் கேட்டால், மாடல் மறுக்க வேண்டும். ஒரு கருவியின் வெளியீட்டில் தீங்கிழைக்கும் வழிமுறைகள் இருந்தால், மாடல் அவற்றை கட்டளைகளாகக் கருதாமல் புறக்கணிக்க வேண்டும்.
இதை சரியாகச் செய்வது பாதுகாப்பு, பாதுகாப்பு மற்றும் நம்பகத்தன்மைக்கான அடிப்படையாகும்.
வலப்புறத்தில் உள்ள மாடல், இரண்டு வழிமுறைகள் முரண்படும் போது, குறைந்த முன்னுரிமையுள்ள பயனரின் வழிமுறையை விட உயர்ந்த முன்னுரிமையுள்ள டெவலப்பரின் வழிமுறையை சரியாகப் பின்பற்றுகிறது.
அறிவுறுத்தல் படிநிலையை கற்பிப்பதற்கு ரீஇன்ஃபோர்ஸ்மென்ட் லெர்னிங் இயல்பான பொருத்தமாக உள்ளது. முரண்படும் வழிமுறைகளுடன் உரையாடல்களை உருவாக்கலாம், மாடல் பதிலளிக்கும்படி ப்ராம்ப்ட் செய்யலாம், மேலும் அது சரியான வழிமுறையைப் பின்பற்றும்போது அதற்கு வெகுமதி அளிக்கலாம்.
அந்த செய்முறையை அப்படியே பயன்படுத்துவதில் மூன்று சிக்கல்களை நாங்கள் கண்டறிந்துள்ளோம்:
- அறிவுறுத்தல்களைப் பின்பற்றுவதில் ஏற்படும் தோல்விகள், அறிவுறுத்தல் படிநிலை தோல்விகளாகவும் இருக்கலாம்: மாடல் ஒரு அறிவுறுத்தல் முரண்பாட்டைத் தீர்க்கத் தவறலாம், அது பாத்திரங்களின் படிநிலையைப் புரிந்துகொள்ளாததால் அல்ல, ஆனால் அறிவுறுத்தல்களே மிகச் சிக்கலானவையாக இருப்பதால்.
- அறிவுறுத்தல் முரண்பாடுகள் நுணுக்கமானவையாகவும், சில நேரங்களில் தனிப்பட்ட கருத்தை சார்ந்தவையாகவும் இருக்கலாம். பொதுவான ஒரு அணுகுமுறை என்பது பயிற்சி பெறும் LLM-க்கு வெகுமதிகளை ஒதுக்க ஒரு தனி LLM மதிப்பீட்டாளரை நியமிப்பதாகும், ஆனால் மதிப்பீட்டாளர்களே தவறுகளுக்குட்பட்டவர்கள்.
- மாடல்கள் அதிக வெகுமதியைத் தரும், ஆனால் நடைமுறையில் பயனற்ற குறுக்குவழிகளை(புதிய சாளரத்தில் திறக்கும்) கற்றுக்கொள்ளும் போக்கு உள்ளது. கிளாசிக் உதாரணம் அதிகப்படியான மறுப்புகள்: மாடல்கள் பாதுகாப்பை அதிகப்படுத்த கற்றுக்கொள்ளலாம்; அதற்காக தீங்கற்ற கோரிக்கைகளைக்கூட மறுப்பது.
அந்த குறைபாடுகளில் ஒவ்வொன்றையும் சமாளிக்க, ரீஇன்ஃபோர்ஸ்மென்ட் லெர்னிங் பயிற்சி தரவுத்தொகுப்பான IH-Challenge ஐ நாங்கள் வடிவமைத்துள்ளோம். நாங்கள் பின்வரும் கோட்பாடுகளை கடைபிடிக்கிறோம்:
- பணிகள் இன்ஸ்ட்ரக்ஷன் ஃபாலோயிங்-எளிமையானவை
- அவை ஒரு எளிய Python ஸ்கிரிப்டின் மூலம் பொருளாதாரமாக மதிப்பிடக்கூடியவை
- அனைத்து பணிகளிலும் உயர்ந்த வெகுமதியை உறுதியாகக் கிடைக்கச் செய்யும் எளிய குறுக்கு வழிகள் எதுவும் இல்லை
IH-Challenge இல் உள்ள ஒவ்வொரு பணியும் அடிப்படையில் பின்வரும் செய்திகளைக் கொண்ட ஒரு உரையாடலாகும்:
- உயர்-சலுகை கொண்ட ஒரு பாத்திரத்திலிருந்து வரும் ஒரு வழிமுறை செய்தி, e.g. “‘Yes’ அல்லது ‘No’ மட்டுமே பதிலளிக்கவும்”.
- குறைந்த-சலுகை கொண்ட ஒரு பாத்திரத்திலிருந்து வரும் ஒரு வழிமுறை செய்தி, உயர்ந்த-சலுகை செய்தியில் உள்ள வழிமுறைகளை மீறுமாறு மாடலைத் தூண்ட முயல்கிறது.
பயிற்றுவிக்கப்படும் மாடல் அடுத்த செய்தியை உருவாக்குகிறது. மாடலின் பதில் உயர்நிலை கட்டுப்பாட்டை பூர்த்தி செய்கிறதா என்பதை நிரல்முறையாகச் சரிபார்க்க முடியும் வகையில் நாங்கள் பணிகள்/சூழல்களை எழுதுகிறோம்.
IH‑Challenge மீது ஒரு மாடலை பயிற்சி அளித்து, GPT‑5 Mini-R என்று நாம் அழைக்கும் ஒரு உள் மாடலை உருவாக்குகிறோம்; இதில் பின்வரும் மேம்பாடுகள் உள்ளன:
- அறிவுறுத்தல் படிநிலை‑அளவுகோல்களில் சிறப்பாக செயல்படுகிறது
- மேம்படுத்தப்பட்ட செயல்திறன் held‑out மற்றும் எதிர்மறை வழிமுறை படிநிலை சோதனைகளுக்கு பொதுமைப்படுகிறது
- அதிகப்படியான மறுப்புக்குள் சரிந்து போகாமல், ஒட்டுமொத்த பயனைப் பராமரிக்கிறது
பாதுகாப்புக்காக இந்த அணுகுமுறையை குறிப்பாக ஈர்க்கக்கூடியதாக ஆக்குவது இதுதான்: IH-challenge பணிகளில் வழிமுறை முரண்பாடுகளை சரியாகத் தீர்க்க மாடல்களை நேரடியாகப் பயிற்றுவிப்பதன் மூலம், புதிய தாக்குதல்களுக்கும் புதிய சூழ்நிலைகளுக்கும் பொதுவாகப் பொருந்தும் IH மேம்பாடுகளை நாம் பெறுகிறோம்.
கல்வி அளவுகோல்களில் வலிமை
எவல் | GPT‑5‑Mini | GPT‑5 Mini-R |
Gandalf கடவுச்சொல் (sys-user) | 0.99 | 0.99 (+0) |
Gandalf கடவுச்சொல் (dev-user) | 0.98 | 1.00 (+0.02) |
TensorTrust (sys-user) | 0.86 | 0.94 (+0.08) |
TensorTrust (dev-user) | 0.76 | 0.91 (+0.15) |
RealGuardrails (கவனச் சிதறல்கள்) | 0.88 | 0.95 (+0.07) |
RealGuardrails (கையெழுத்து) | 0.82 | 0.89 (+0.07) |
கணினி IFEval | 0.92 | 0.96 (+0.04) |
உள்துறை பெஞ்ச்மார்க்குகளில் உறுதித்தன்மை
எவல் | GPT‑5‑Mini | GPT‑5 Mini-R |
TutorJailbreak (sys-user) | 0.96 | 0.99 (+0.03) |
ட்யூட்டர் ஜெயில்பிரேக் (dev-user) | 0.97 | 0.99 (+0.02) |
சிஸ்டம் <> பயனர் மோதல் | 0.84 | 0.95 (+0.11) |
சிஸ்டம் <> டெவலப்பர் மோதல் | 0.86 | 0.86 (+0) |
டெவலப்பர் <> பயனர் மோதல் | 0.83 | 0.95 (+0.12) |
திறன்களில் பின்னடைவுகள் இல்லை
எவல் | GPT‑5‑Mini | GPT‑5 Mini-R |
IH-Challenge (அதிகப்படியான மறுப்பு) | 0.79 | 1.00 (+0.21) |
TensorTrust (அதிகப்படியான மறுப்பு) | 0.91 | 0.90 (-0.01) |
GPQA Diamond | 0.83 | 0.83 (+0) |
AIME 2024 | 0.93 | 0.94 (+0.01) |
அரட்டை வெற்றி விகிதம் vs. o1 | 0.71 | 0.66 (-0.05) |
விருப்ப மதிப்பெண் | 0.46 | 0.40 (-0.06) |
வலுவான அறிவுறுத்தல் படிநிலை, பாதுகாப்பு ஸ்டியரபிலிட்டி மற்றும் ப்ராம்ப்ட் இன்ஜெக்ஷன் வலிமை உட்பட, ஒரே நேரத்தில் பல பாதுகாப்பு நன்மைகளை வழங்குகிறது.
சிஸ்டம் ப்ராம்ப்ட்டில் வகை-குறிப்பிட்ட பாதுகாப்பு விவரக்குறிப்புகளைச் சேர்த்து, OpenAI இன் பாதுகாப்பு Production Benchmarks (உற்பத்தியில் உள்ள ChatGPT ஐ பிரதிநிதித்துவப்படுத்தும் பாதுகாப்பு-உணர்வுள்ள உரையாடல்களின் ஒரு தொகுப்பு) மீது நடத்தை அளந்து, பாதுகாப்பு steerability ஐ நாங்கள் மதிப்பீடு செய்கிறோம்.
IH-பயிற்சி பெற்ற மாடல் ஒரு நிலையான மேம்பாட்டைக் காட்டுகிறது: பாதுகாப்பு விவரக்குறிப்பு இருப்பதால், தடைசெய்யப்பட்ட வகைகளில் அதிக மறுப்பு மற்றும் பாதுகாப்பான நிறைவு விகிதங்களை அடைகிறது. இது பாதுகாப்பற்ற கோரிக்கைகள் குறைந்த முன்னுரிமை அறிவுறுத்தல்களிலிருந்து வரும் போது, வலுவான அறிவுறுத்தல் படிநிலை நடத்தை முரண்பாடுகளைத் தீர்ப்பதில் சிறப்பாக செயல்படுகிறது என்பதை காட்டுகிறது. குறிப்பாக, இந்த மேம்பாடு உதவித்தன்மை விகிதத்தில் குறைவுடன் வருவதில்லை (அதாவது, மொத்தமாக அதிகமாக மறுப்பதன் மூலம் இது குறைவாக உதவிகரமாக ஆகவில்லை).
IH-trained மாடல், GPT‑5 Mini (Baseline) ஏமாறும் ப்ராம்ப்ட் இன்ஜெக்ஷன்களை எவ்வாறு எதிர்க்கிறது என்பதற்கான எடுத்துக்காட்டு.
கருவி வெளியீடுகளில் தீங்கிழைக்கும் அறிவுறுத்தல்கள் உட்பொதிக்கப்படும் போது, ப்ராம்ப்ட் இன்ஜெக்ஷனை எதிர்க்க அறிவுறுத்தல் படிநிலையும் மையப் பங்கு வகிக்கிறது. IH-trained மாடலை இரண்டு ப்ராம்ப்ட் இன்ஜெக்ஷன் பெஞ்ச்மார்க்குகளில் நாங்கள் மதிப்பீடு செய்கிறோம்—ஒரு அகாடமிக் பெஞ்ச்மார்க் CyberSecEval 2 மற்றும் OpenAI உள்நாட்டு ப்ராம்ப்ட் இன்ஜெக்ஷன் பெஞ்ச்மார்க்; இதில் ChatGPT Atlas இன் பழைய பதிப்பில் காட்டப்பட்டதுபோன்ற தாக்குதல்கள் அடங்கும்.
அடிப்படை நிலையை ஒப்பிடுகையில், IH-பயிற்சி பெற்ற GPT‑5 Mini-R மாடல் இரு பெஞ்ச்மார்க்குகளிலும் ப்ராம்ப்ட் இன்ஜெக்ஷன் உறுதித்தன்மையை மேம்படுத்துகிறது மற்றும் எங்கள் உள் நிலையான ப்ராம்ப்ட் இன்ஜெக்ஷன் மதிப்பீட்டில் செயல்திறனை குறிப்பிடத்தக்க அளவில் மேம்படுத்துகிறது.
மாடல்கள் மேலும் ஏஜென்டிக் ஆகும்போது—கருவிகளை அழைப்பது, நம்பத்தகாத ஆவணங்களை வாசிப்பது, மற்றும் உலகில் நடவடிக்கைகளை எடுப்பது போன்றவை—நம்பத்தகாதவற்றை விட நம்பத்தகுந்த அறிவுறுத்தல்களுக்கு தொடர்ந்து முன்னுரிமை அளிக்கும் திறன் ஒரு முக்கியமான பாதுகாப்பு பண்பாக மாறுகிறது.
இந்த ஆய்வு காட்டுவது என்னவென்றால், அந்த தவறுகளைச் சமாளிக்கும் வகையில் பயிற்சி சூழல்களை வடிவமைப்பதன் மூலம் IH robustness training இன் பல சிக்கல்களை சமாளிக்க முடியும். எங்கள் IH-Challenge தரவுத்தொகுப்பு எளிமையாகத் தோன்றினாலும், இந்த சூழல்களிலிருந்து IH நடத்தை மாடல்கள் கற்றுக்கொள்ளும் பொதுமைப்படுத்தல் மேலும் யதார்த்தமான, பெரும்பாலும் பொருளாதாரமாக மதிப்பிட முடியாத பெஞ்ச்மார்க்குகளுக்கும் விரிகிறது.
அறிவுறுத்தல் படிநிலையை வலுப்படுத்துவது நம்பகத்தன்மையை மேம்படுத்துவதோடு மட்டுமல்லாமல், ஒரே நேரத்தில் பல பாதுகாப்பு மற்றும் பாதுகாப்பு நன்மைகளையும் திறக்கிறது—AI அமைப்புகள் மேலும் திறன் வாய்ந்தவையாகவும் தன்னாட்சி கொண்டவையாகவும் வளரும்போது இது முக்கியமான அடித்தளமாக மாறுகிறது.
இந்த துறையில் மேலும் ஆராய்ச்சியை ஆதரிக்க, IH‑Challenge தரவுத்தொகுப்பை இங்கே(புதிய சாளரத்தில் திறக்கும்) வெளியிடுகிறோம்.
