গত কয়েক সপ্তাহে দুটি ঘটনা ক্রমবর্ধমান সক্ষমতার AI সিস্টেমগুলোর সাথে যুক্ত ঝুঁকিগুলোকে সামনে এনেছে: OpenAI-Hugging Face ঘটনা এবং, আলাদাভাবে, প্রাথমিক প্রমাণ যা নির্দেশ করে যে, আমাদের আসন্ন মডেলগুলোর একটি, Astra, ক্রিটিক্যাল সাইবার সিকিউরিটি সক্ষমতার থ্রেশহোল্ডে পৌঁছাতে পারে আমাদের প্রিপেয়ার্ডনেস ফ্রেমওয়ার্ক অনুযায়ী. আমাদের অভ্যন্তরীণ গবেষণায় দ্রুত অগ্রগতির সাথে মিলে এই ঘটনাগুলো ট্রেনিং প্রক্রিয়ার সব পর্যায়ে পর্যবেক্ষণ, সামঞ্জস্যকরণ এবং নিয়ন্ত্রণমূলক সুরক্ষা জোরদার করার কাজে আরও জরুরি তাগিদ তৈরি করেছে.
মডেলগুলো যত বেশি সক্ষম হচ্ছে, সেগুলো অভ্যন্তরীণভাবে তৈরি ও পরীক্ষা করার সঙ্গে যুক্ত ঝুঁকিও তত বাড়ছে. পর্যবেক্ষণ, সামঞ্জস্যকরণ এবং নিরাপত্তার ক্ষেত্রে আমাদের মানদণ্ডকে সেই ঝুঁকিগুলোর চেয়ে এক ধাপ থাকতে হবে. আমরা সেই মানদণ্ড পূরণের জন্য প্রয়োজনীয় সময় নিতে চেয়েছিলাম, তাই স্কেলিংয়ের গতি সাময়িকভাবে কমিয়েছি. এর মধ্যে ছিল ডেপ্লয়মেন্টের জন্য নির্ধারিত আমাদের সর্বশেষ মডেলগুলোর রিইনফোর্সমেন্ট লার্নিং (RL) প্রশিক্ষণে দুই সপ্তাহের বিরতি; এ সময় আমরা আমাদের গবেষণা পরিবেশ আরও সুরক্ষিত করেছি, রেড-টিম পরীক্ষা চালিয়েছি এবং পর্যবেক্ষণ ব্যবস্থার পরিধি বাড়িয়েছি. আমাদের পরিকল্পিত সবচেয়ে বড় অত্যাধুনিক RL রান এখনও স্থগিত আছে; যেন এগোনোর আগে আমরা ছোট পরিসরে ট্রেনিং ও মূল্যায়ন চালিয়ে মডেলের আচরণ যাচাই করতে পারি, সুরক্ষা ব্যবস্থাগুলোর কার্যকারিতা নিশ্চিত করতে পারি এবং সামঞ্জস্যের আরও প্রমাণ প্রতিষ্ঠা করতে পারি.
সামঞ্জস্যকরণ—অর্থাৎ AI সিস্টেমকে উদ্দেশ্য অনুযায়ী আচরণ করানো এবং মানুষের তদারকির প্রতি সাড়া দিতে সক্ষম করে তোলার কাজ—দীর্ঘদিন ধরে আমাদের গবেষণা কর্মসূচির কেন্দ্রে অবস্থান করছে. চলমান গবেষণা ও মূল্যায়নের ওপর ভিত্তি করে, এখন আমরা প্রশিক্ষণের পুরো সময়জুড়ে উদ্দেশ্যের সঙ্গে সামঞ্জস্যপূর্ণ আচরণের আরও শক্তিশালী প্রমাণ চাই. ক্রমশ সক্ষম হয়ে ওঠা সিস্টেমগুলোকে উদ্দেশ্যের সঙ্গে সামঞ্জস্যপূর্ণ রাখা এমন এক চ্যালেঞ্জ, যা সকল খাতকেই মোকাবিলা করতে হবে. আসন্ন মডেলগুলোর অগ্রগতি থেকে আমরা যে সংকেত দেখছি, তা স্পষ্ট করছে যে আমাদের আরও বিস্তৃত পদ্ধতি দরকার—যা বর্তমান প্রিপেয়ার্ডনেস ফ্রেমওয়ার্কের ওপর ভিত্তি করে গড়ে উঠবে এবং তার বাইরেও প্রসারিত হবে.
আমরা মনে করি, আমাদের পদ্ধতিতে কীভাবে পরিবর্তন আসছে সে সম্পর্কে স্বচ্ছ থাকা গুরুত্বপূর্ণ। নিচে আমরা আমাদের গবেষণা প্রক্রিয়া ও অবকাঠামোতে ইতোমধ্যে যে পরিবর্তনগুলো এনেছি এবং যে কাজগুলো এখনও চলমান রয়েছে, সেগুলো তুলে ধরছি.
আরও সক্ষম মডেল তৈরির ক্ষেত্রে আমাদের পদ্ধতিটি তিনটি পরস্পরকে শক্তিশালী করে এমন সুরক্ষা ব্যবস্থার ওপর ভিত্তি করে গড়ে উঠেছে:
- পর্যবেক্ষণ, যা উদ্বেগজনক আচরণ শনাক্ত করে এবং আমাদের প্রতিক্রিয়া জানাতে সহায়তা করে.
- সামঞ্জস্যকরণ, যা ক্ষতিকর বা অননুমোদিত কাজের সম্ভাবনা কমায়.
- নিরাপত্তা ব্যবস্থা, যা AI সিস্টেম কী অ্যাক্সেস বা প্রভাবিত করতে পারে তা সীমিত করে.
আমরা আশা করছি, খুব শিগগিরই মডেলগুলো নিরাপত্তা-সংক্রান্ত অধিকাংশ কাজ পরিচালনা করবে, যার মধ্যে অন্যান্য মডেলের বিরুদ্ধে প্রতিরক্ষাও অন্তর্ভুক্ত. এর ফলে তিনটি সুরক্ষা ব্যবস্থাই মডেলের সক্ষমতার সঙ্গে তাল মিলিয়ে সম্প্রসারিত হতে পারবে, যা আমরা অত্যন্ত গুরুত্বপূর্ণ বলে মনে করি
গবেষণা ও ডেপ্লয়মেন্টের প্রতিটি ধাপে আমরা এই সুরক্ষাগুলো প্রয়োগ করি, আর প্রতিটি মডেলের সক্ষমতা, পরিচালন পরিবেশ এবং ঝুঁকির মাত্রা অনুযায়ী সেগুলো মানিয়ে নিই.
অত্যাধুনিক মডেলগুলো আরও শক্তিশালী সাইবার নিরাপত্তা সক্ষমতা অর্জন করায়, আমরা যেসব পরিবেশে সেগুলো প্রশিক্ষণ ও মূল্যায়ন করি, সেগুলোর নিরাপত্তা মান বাড়াচ্ছি. এই মানদণ্ড পূরণ করতে উল্লেখযোগ্য ইঞ্জিনিয়ারিংয়ের কাজ করতে হয়েছে এবং অত্যাধুনিক গবেষণায় প্রচুর খরচ ও বিলম্ব ঘটেছে. OpenAI-Hugging Face ঘটনার* পরপরই, আমরা গবেষণা ক্লাস্টারগুলোতে এমন অত্যাধুনিক মডেলের ইনফারেন্স সাময়িকভাবে বন্ধ করে দিয়েছিলাম, যেগুলো রান কোড চালাতে বা ইন্টারনেটে অ্যাক্সেস করতে সক্ষম টুল ব্যবহার করতে পারত. আমরা কোড চালানোর জন্য দ্রুতই আরও সীমিত ও নিরাপদ পথ পুনরায় চালু করি, এরপর প্রতিটি কাজ আলাদাভাবে পর্যালোচনা করে তা নিরাপদে আবার শুরু করা যায় কি না নির্ধারণ করি. কিছু গবেষণা কাজ এই নতুন নিয়ন্ত্রণের অধীনে আবার শুরু হয়েছে, আর অন্যগুলোর জন্য অতিরিক্ত পরিবর্তন দরকার হয়েছে.
পরবর্তী কয়েক সপ্তাহে আমরা অত্যাধুনিক গবেষণা কাজের জন্য আরও শক্তিশালী নিরাপত্তাব্যবস্থার প্রয়োজনীয়তা নির্ধারণ করেছি এবং তা বাস্তবায়ন শুরু করেছি. উদাহরণস্বরূপ:
- ওয়ার্কলোড আইসোলেশন: মডেল-উৎপাদিত বা অন্যভাবে অবিশ্বস্ত কোড চালায় এমন কাজের জন্য এখন আমরা আরও শক্তিশালী আইসোলেশন (“স্যান্ডবক্স”) বাধ্যতামূলক করছি. মডেল আউটপুট প্রক্রিয়াকরণের সময় কম্প্রোমাইজড বা ঝুঁকিপূর্ণ হতে পারে এমন সফটওয়্যারের ক্ষেত্রেও এটি প্রযোজ্য.
- নেটওয়ার্ক আইসোলেশন: উচ্চ-ঝুঁকির ও অবিশ্বস্ত কাজকে ইন্টারনেট থেকে বিচ্ছিন্ন রাখতে আমরা আরও নিয়ন্ত্রণ বাস্তবায়ন করেছি. আমরা এই নিয়ন্ত্রণগুলো এমনভাবে নকশা করেছি যাতে কোনো কাজ বা সহায়ক সার্ভিস একবার কম্প্রোমাইজড বা ঝুঁকিপূর্ণ হলেও, শুধু সেটির কারণেই ইন্টারনেট বা অন্যান্য অভ্যন্তরীণ নেটওয়ার্কে অননুমোদিত প্রবেশ সম্ভব না হয়.
- নিরবচ্ছিন্ন নিরাপত্তা পরীক্ষা: সম্ভাব্য দুর্বল শেয়ার্ড সার্ভিস সরানো, স্থায়ী বিশেষাধিকার কমানো এবং নিরাপত্তা ও আস্থার সীমানা উন্নত করার জন্য আমরা আমাদের পরিবেশ পুনর্বিন্যাস করেছি. আমরা নিরাপত্তা লগ সংগ্রহ ও পর্যবেক্ষণের সক্ষমতাও উন্নত করছি. শেষে, সিমুলেটেড আক্রমণের বিরুদ্ধে এই সীমানাগুলো নিরবচ্ছিন্নভাবে পরীক্ষা করতে আমাদের মডেল ব্যবহার করে অটোমেশনে বিনিয়োগ করছি.
একসঙ্গে, এই নিয়ন্ত্রণগুলো বহুস্তর প্রতিরক্ষা দেয় এবং আক্রমণের বিরুদ্ধে আমাদের গবেষণা পরিবেশ সুরক্ষিত রাখতে সহায়তা করে. আজ আমরা Astra বা সাইবার মডেল-সংক্রান্ত কাজের জন্য সবচেয়ে কঠোর স্তরের নিরাপত্তা সুরক্ষা বাধ্যতামূলক করি, কারণ আমরা নির্ধারণ করেছি যে Astra মডেলগুলোর সাইবার সক্ষমতা গুরুতর স্তরে পৌঁছাতে পারে. এই সুরক্ষাগুলো অন্যান্য সব সাইবার-সংক্রান্ত কাজের ক্ষেত্রেও প্রযোজ্য.
কিছু Astra প্রশিক্ষণ ও মূল্যায়ন এসব প্রয়োজনীয়তা পূরণ করলেও, নতুন নিরাপত্তা মান পূরণের জন্য পুরোপুরি স্থানান্তরিত ও উন্নত না হওয়া পর্যন্ত উল্লেখযোগ্য সংখ্যক কাজ স্থগিত আছে. এই নতুন পরিবেশে স্থানান্তরের ক্ষেত্রে আমরা আগে নিরাপত্তা ও সামঞ্জস্যকরণ-সংক্রান্ত কাজকে অগ্রাধিকার দিচ্ছি.
পর্যবেক্ষণ দীর্ঘদিন ধরে আমাদের মডেল উন্নয়ন প্রক্রিয়ার একটি গুরুত্বপূর্ণ অংশ, যার মধ্যে রয়েছে অভ্যন্তরীণ কোডিং এজেন্টগুলোর ওপর নজরদারি এবং দীর্ঘমেয়াদি সেশন. আমাদের পর্যবেক্ষণ প্রচেষ্টা বিশেষভাবে অত্যাধুনিক মডেলের অভ্যন্তরীণ ডেপ্লয়মেন্ট এবং অত্যাধুনিক RL প্রশিক্ষণ রানের ওপর কেন্দ্রীভূত ছিল; এগুলোকে আমরা সর্বোচ্চ-ঝুঁকির কাজ হিসেবে বিবেচনা করেছি, কারণ এগুলো উন্নত মডেল সক্ষমতার সঙ্গে টুল, সংবেদনশীল সিস্টেম এবং অভ্যন্তরীণ বা বাহ্যিক নেটওয়ার্কে প্রবেশাধিকার একত্রে ব্যবহার করতে পারে. টুল ব্যবহার করা সব ইনফারেন্স ও প্রশিক্ষণ রানে এগুলো প্রয়োগ করা হয়নি. আমাদের নতুন পর্যবেক্ষণ ব্যবস্থার মাধ্যমে আমরা আমাদের পদ্ধতি সংশোধন ও সম্প্রসারিত করেছি.
এই নতুন পর্যবেক্ষণ ব্যবস্থা বহু-পর্যায়ের, এটি অ্যাক্টিভেশন ক্লাসিফায়ার দিয়ে শুরু হয়, (এমন ডিটেক্টর যা একটি মডেলের অভ্যন্তরীণ কার্যকলাপ পরীক্ষা করে), যা প্রতিটি নমুনাকৃত টোকেনে চলে এবং সম্ভাব্য উদ্বেগগুলোকে ক্রমশ আরও উন্নত ও উচ্চ-কম্পিউট স্বয়ংক্রিয় তদন্তকারীদের কাছে পাঠায়. অননুমোদিত প্রবেশ, ডেটা চুরি, ধ্বংসাত্মক আচরণ এবং সুরক্ষা ভাঙার চেষ্টার জন্য ওই সিস্টেমগুলো টুলের কাজ, উপলভ্য যুক্তিপ্রক্রিয়া এবং কার্যকলাপের পূর্ণ ধারাবাহিকতা পরীক্ষা করে. আমাদের লক্ষ্য হলো, পর্যবেক্ষণ ব্যবস্থার মাধ্যমে উদ্বেগজনক কার্যকলাপ সামনে আসার 30 মিনিটের মধ্যে সতর্কতা জারি করা. পর্যবেক্ষণ ব্যবস্থা যদি কোনো গুরুত্বপূর্ণ নিরাপত্তা সীমানার সম্ভাব্য লঙ্ঘন শনাক্ত করে, তাহলে এটি সর্বোচ্চ-অগ্রাধিকারের সতর্কতা তৈরি করে. আমাদের বর্তমান বাস্তবায়নে নিরাপত্তা, সুরক্ষা এবং গবেষণা দলগুলোকে পেজ করা হয়. যদি তারা 30 মিনিটের মধ্যে নিশ্চিতভাবে নির্ধারণ করতে না পারে যে ফ্ল্যাগটি ফলস পজিটিভ, তাহলে ওই দলগুলোর কার্যকলাপ স্থগিত করার কথা.
Sol সক্ষমতা বা তার বেশি স্তরের মডেলের জন্য টুল-সম্পৃক্ত সব RL প্রশিক্ষণ ও মূল্যায়নে এই পর্যবেক্ষণ বাধ্যতামূলক. ৭ আগস্ট যখন আমরা নির্ধারণ করি যে Astra-এর সাইবার-সংক্রান্ত গুরুত্বপূর্ণ সক্ষমতা থাকতে পারে, তখন টুল ব্যবহার করে Astra-এর সব ইনফারেন্সের জন্য আমরা অতিরিক্ত একটি পর্যবেক্ষণের বাধ্যবাধকতা যুক্ত করেছি, (শুধু RL প্রশিক্ষণ ও মূল্যায়নের জন্য নয়).
এই সুরক্ষাগুলোর জন্য উল্লেখযোগ্য কম্পিউট দরকার. আমাদের বর্তমান অনুমান অনুযায়ী, পর্যবেক্ষণের ওভারহেড পর্যবেক্ষণাধীন ইনফারেন্স কম্পিউটের প্রায় ২০%, যদিও প্রশিক্ষণ ও মূল্যায়ন কাজভেদে খরচ যথেষ্ট ভিন্ন হয়. আসন্ন একটি ব্লগ পোস্টে আমরা এই সিস্টেম সম্পর্কে আরও বিস্তারিত শেয়ার করব.
সামঞ্জস্যকরণ গবেষণা আমাদের মিশনের একটি কেন্দ্রীয় অংশ. আমাদের মিশন হলো, আর্টিফিশিয়াল জেনারেল ইন্টেলিজেন্স যাতে সমগ্র মানবজাতির উপকারে আসে, তা নিশ্চিত করা. মডেলগুলো সাইবার আক্রমণের সক্ষমতার মতো উন্নত ক্ষমতা অর্জন করলে এবং আরও জটিল পরিবেশে কাজ করলে, রিওয়ার্ড লাভের শর্টকাটের মতো অসামঞ্জস্যপূর্ণ আচরণ, (আসলে কাঙ্ক্ষিত ফল অর্জন না করেই প্রশিক্ষণে উচ্চ রিওয়ার্ড পাওয়ার উপায় খোঁজা), প্রতারণা বা অননুমোদিত প্রবেশ ক্রমশ গুরুতর ঝুঁকি তৈরি করবে.
সবচেয়ে সক্ষম মডেলগুলোর RL রানে, আমরা এখন প্রশিক্ষণ প্রক্রিয়ার আরও অনেক বেশি পর্যায়ে আমাদের মূল সামঞ্জস্যকরণ কৌশল প্রয়োগ করছি. এর মধ্যে রয়েছে বিভিন্ন কাজ ও পরিবেশে অনিরাপদ আচরণ আরও ভালোভাবে শনাক্ত ও নিরুৎসাহিত করতে রিওয়ার্ড মডেল উন্নত করা; মডেলগুলোকে তাদের কাজ, সক্ষমতা ও সীমাবদ্ধতা সম্পর্কে আরও সৎ হতে প্রশিক্ষণ দেওয়া; এবং রিওয়ার্ড, গ্রেডার, টুল বা তদারকির দুর্বলতা কাজে লাগায় এমন আচরণ কমানো. মডেলগুলো যখন বাহ্যিক সিস্টেম বা সম্পদের সঙ্গে মিথস্ক্রিয়া করে, তখন ক্ষতি ঘটাতে পারে এমন আচরণের জন্য আমরা প্রশিক্ষণের পরিধিও বাড়াচ্ছি.
আমরা সামঞ্জস্যকরণ গবেষণায় জোরালোভাবে বিনিয়োগ চালিয়ে যাচ্ছি, মূল্যায়নের পরিধি বাড়াচ্ছি এবং যা শিখছি তা প্রশিক্ষণ ও সুরক্ষা নির্ধারণে ব্যবহার করছি. নিকট ভবিষ্যতে আমরা আমাদের সামঞ্জস্যকরণ গবেষণা সম্পর্কে আরও অনেক কিছু শেয়ার করার পরিকল্পনা করছি, যার মধ্যে থাকবে মডেলের আচরণ সম্পর্কে আমরা কী শিখছি এবং আমরা যে নতুন চ্যালেঞ্জগুলো খুঁজে পাই.
প্রশিক্ষণ ও ডেপ্লয়মেন্ট উভয় ক্ষেত্রেই এসব সুরক্ষা ব্যবস্থাকে সমন্বিতভাবে প্রয়োগ করতে এবং ভবিষ্যৎ মডেলগুলোর সক্ষমতা ও সেগুলো যে পরিবেশে পরিচালিত হবে, তা আরও ভালোভাবে প্রতিফলিত করতে আমরা আমাদের প্রিপেয়ার্ডনেস ফ্রেমওয়ার্ক বিকশিত করব. এসব সক্ষমতার সঙ্গে স্কেল করতে পারে এমন পদ্ধতি তৈরি করতে মডেল-সহায়িত নিরাপত্তা, আরও কার্যকর পর্যবেক্ষণ এবং সামঞ্জস্যকরণ গবেষণায় অব্যাহত অগ্রগতিতে ধারাবাহিক বিনিয়োগ দরকার হবে. আমাদের পদ্ধতি বিকশিত হওয়ার সঙ্গে সঙ্গে আমরা বাইরের সংস্থাগুলোকে যুক্ত করতে এবং যা শিখি তার আরও বেশি বেশি শেয়ার করতে চাই.
অত্যাধুনিক মডেলগুলোর সক্ষমতা দ্রুত ত্বরান্বিত হচ্ছে. সেগুলোকে বোঝা, সামঞ্জস্যপূর্ণ রাখা এবং সুরক্ষিত করার ক্ষেত্রে আমাদের সক্ষমতাকে এক ধাপ এগিয়ে থাকতে হবে.
*আগামী কয়েক সপ্তাহের মধ্যে আমরা আমাদের শেখা বিষয়গুলোর একটি প্রযুক্তিগত প্রতিবেদন প্রকাশ করব.
