Hugging Face ঘটনা এবং সামনের পথ

মে ও জুন জুড়ে, আমরা একাধিক নতুন গবেষণা মডেলের জন্য রিইনফোর্সমেন্ট লার্নিং (RL) প্রশিক্ষণ রান শুরু করি, যেগুলো জনসাধারণের জন্য প্রকাশের উদ্দেশ্যে তৈরি করা হয়নি. এই মডেলগুলোর মধ্যে একটি শেষ পর্যন্ত Hugging Face ঘটনার পেছনের কার্যকলাপ পরিচালনা করে. এটি শুধুমাত্র অভ্যন্তরীণ ব্যবহারের জন্য একটি গবেষণা মডেল, যাকে আমরা Internal মডেল 1 (IM1) বলি.

এই প্রশিক্ষণ পরীক্ষাগুলোর অনেক পরিবেশে আমরা ইন্টারনেট অ্যাক্সেস বা এজেন্টদের মধ্যে যোগাযোগ সক্ষম করিনি. এই বিধিনিষেধগুলো সত্ত্বেও, এজেন্টগুলো পরস্পরের সঙ্গে যোগাযোগ করতে এবং ইন্টারনেটে প্রবেশাধিকার পেতে আমাদের গবেষণা অবকাঠামোকে কাজে লাগানোর উপায় খুঁজে পেয়েছিল.

মডেলগুলো প্রথমে Artifactory প্যাকেজ ম্যানেজার সার্ভিসে ফাইল লিখে যোগাযোগ স্থাপন করেছিল. এটি কার্যত Artifactory-কে একটি অনিচ্ছাকৃত বার্তা বোর্ডে পরিণত করেছিল, যেখানে এজেন্টরা একে অপরের সঙ্গে তথ্য আদান-প্রদান করতে পারত. আরও পড়ুন: এজেন্টরা কিভাবে মেসেজ বোর্ড ব্যবহার করেছেন 

4 জুলাইয়ের মধ্যে, এজেন্টের ধারাবাহিক কার্যকলাপ প্রভাবিত Artifactory ইনস্ট্যান্সটিকে অস্থিতিশীল করে তুলেছিল, যার ফলে পরিষেবা বন্ধ হয়ে যায়. 5 জুলাই একটি নিরাপত্তা সংক্রান্ত ঘটনা নথিভুক্ত করা হয়েছিল. সিকিউরিটি টিম পরিচিত অধিকার উর্ধ্বগতি পথ ব্লক করেছে, উন্মুক্ত প্রমাণপত্র সরিয়ে দিয়েছে এবং Artifactory পুনর্নির্মাণ করেছে. এর একটি পার্শ্বপ্রতিক্রিয়া ছিল মেসেজ বোর্ডটি খালি হয়ে যাওয়া. এই প্রশমন ব্যবস্থাগুলো কার্যকর হওয়ায়, সাইবার নিরাপত্তা মূল্যায়ন পুনরায় শুরু হয়েছে.

সে সময়, তাৎক্ষণিকভাবে তৈরি মেসেজ বোর্ড এবং অনিচ্ছাকৃত ইন্টারনেট অ্যাক্সেসের ব্যাপক নিয়ন্ত্রণ ও সমন্বয়ের প্রভাবগুলো তখনও বোঝা যায়নি. সে সময় বিভিন্ন OpenAI দল কী বুঝেছিল, সে বিষয়ে টেকনিক্যাল ইনসিডেন্ট রিপোর্টে আরও বিস্তারিত তথ্য রয়েছে. সংক্ষেপে, মে মাসের শেষের দিকে একটি অভ্যন্তরীণ দল একটি এজেন্ট মেসেজ বোর্ডে কার্যকলাপে যুক্ত হতে এবং নিষিদ্ধ ইন্টারনেট অ্যাক্সেসের ঘটনা ঘটাতে দেখেছিল. তবে, তাৎক্ষণিকভাবে তৈরি করা মেসেজ বোর্ডের অস্তিত্ব এবং এজেন্টদের মধ্যে যোগাযোগমূলক কার্যকলাপের তাৎপর্য ইনসিডেন্ট শনাক্তকরণ ও প্রতিক্রিয়ার দায়িত্বে থাকা নেতাদের কাছে স্পষ্ট ছিল না. আমরা এই ঘটনার পূর্ববর্তী সনাক্তকরণ ও প্রতিক্রিয়া কার্যক্রমকে প্রভাবিত করা প্রক্রিয়া এবং কার্যপরিচালনাগত চর্চাগুলোর তদন্ত চালিয়ে যাচ্ছি.

পুনর্নির্মিত Artifactory পরিষেবার মাধ্যমে, আমরা সাইবার নিরাপত্তা মূল্যায়ন পুনরায় শুরু করেছি. আমাদের মডেলগুলো কী করতে সক্ষম তা বুঝতে এবং মোতায়েনের জন্য উপযুক্ত সুরক্ষা ব্যবস্থা নির্ধারণ করতে আমরা এই মূল্যায়নগুলো পরিচালনা করি. এটি করতে, আমরা আমাদের বাহ্যিকভাবে ডিপ্লয় করা সিস্টেমগুলোর মতো একই স্তরের সুরক্ষা ব্যবস্থা সক্রিয় করি না. এই ঘটনার সূত্রপাত ঘটানো মূল্যায়নটি, ExploitGym, খুবই কঠিন—কিছু কাজের ক্ষেত্রে হয়তো কোনো জানা সমাধান নেই. সফল হতে হলে, এজেন্টদের একটি সফটওয়্যারের দুর্বলতা কাজে লাগানোর উপায় খুঁজে বের করতে হবে, যাতে তারা ফ্ল্যাগ নামে পরিচিত একটি উত্তর উদ্ধার করতে পারে.

ঘটনাটির পর, মডেলটি কেন এই অসামঞ্জস্যপূর্ণ আচরণ প্রদর্শন করেছিল তা তদন্তে আমরা উল্লেখযোগ্য প্রচেষ্টা ব্যয় করেছি, যার মধ্যে প্রশিক্ষণ ও মূল্যায়নে অসামঞ্জস্যের সমস্যা এবং অভ্যন্তরীণ মূল্যায়নে সুরক্ষা-ব্যবস্থার আওতাও অন্তর্ভুক্ত ছিল.

আমরা চারটি অসামঞ্জস্যের ধরন শনাক্ত করেছি, যা মডেলগুলোর আচরণে ভূমিকা রেখেছিল: রিওয়ার্ড লাভের শর্টকাট, আপাতদৃষ্টিতে অসম্ভব কাজেও লেগে থাকা, অনুমোদনহীন যোগাযোগ এবং এজেন্টরা একে অপরের কাছ থেকে লক্ষ্য গ্রহণ করেছে.

এগুলো বোঝার জন্য, আমরা মডেল প্রশিক্ষণ এবং মূল্যায়ন রোলআউট বিশ্লেষণ করেছি.¹ আমরা আমাদের সর্বশেষ CoT মনিটরিং কৌশল⁠ ব্যবহার করে চেইন-অফ-থট (CoT), কার্যকলাপ এবং চূড়ান্ত আউটপুটের ব্যাপক রেট্রোস্পেকটিভ পর্যালোচনা করেছি. এভাবে, আমাদের তদন্ত থেকে পাওয়া পরবর্তী উপলভ্যি কাজে লাগিয়ে, ঘটনাটিতে যে ধরনের আচরণ দেখা গিয়েছিল সেগুলোর ক্ষেত্রে আমরা আমাদের মনিটরের রিকল বিশেষভাবে উন্নত করেছি.

অনলাইনে সমাধান খুঁজে নিজেদের টাস্কে অনুচিতভাবে সুবিধা নেওয়ার চেষ্টা করা এজেন্টদের আচরণ Hugging Face ঘটনার একটি প্রধান কারণ ছিল. এই আচরণকে রিওয়ার্ড লাভের শর্টকাট বলা হয়: এজেন্টরা উচ্চতর পুরস্কার পেতে বা সেই পুরস্কারগুলো পাওয়া সহজ করতে অপ্রত্যাশিত উপায়ে কাজ সম্পন্ন করে. রিওয়ার্ড লাভের শর্টকাট ঐতিহাসিকভাবে (এই এক দশক আগের কাজ⁠ দেখুন, যার চিত্র নিচে দেখানো হয়েছে) এবং বর্তমান অত্যাধুনিক LLM⁠(একটি নতুন উইন্ডোতে খোলে)-গুলোতে উভয় ক্ষেত্রেই AI সিস্টেমে উপস্থিত ছিল. আমরা এ ধরনের হ্যাক শনাক্ত ও সমাধান করার পদ্ধতিগুলোতে উল্লেখযোগ্যভাবে বিনিয়োগ করেছি⁠.

অসামঞ্জস্যপূর্ণ আচরণের আরেকটি প্রধান কারণ ছিল যে এজেন্টরা খুব কমই তাদের মূল্যায়ন কাজ থেকে “হাল ছেড়ে দিত”, এমনকি যখন কাজগুলো সমাধান করা অসম্ভব মনে হতো. এজেন্টরা তাদের যুক্তি বাজেট শেষ করার সঙ্গে সঙ্গে, কিছু এজেন্ট ক্রমশ বেশি ঝুঁকিপূর্ণ এবং সীমা লঙ্ঘনকারী কৌশল অবলম্বন করে, যার মধ্যে শেষ পর্যন্ত তৃতীয় পক্ষের অবকাঠামো ব্যবহার করাও ছিল.

আমাদের তদন্তে আমরা দেখেছি যে, ExploitGym মূল্যায়নে, ঘটনার আগে আমাদের কোনো মডেলই 898-টি কাজের মধ্যে 198-টির জন্য কখনোই সঠিক উত্তর দেয়নি. এই অমীমাংসিত কাজগুলো শেষ পর্যন্ত এজেন্টের কার্যকলাপের একটি উল্লেখযোগ্য অবদানকারী হয়ে ওঠে—Hugging Face ঘটনার সময় Artifactory মেসেজ বোর্ডে আলোচিত কাজগুলোর 93% এই 198-টি প্রশ্নের সেট থেকে এসেছে.

দ্বিতীয়ত, ঘটনাটি মূলত এমন এজেন্টদের দ্বারা পরিচালিত হয়েছিল যাদের অত্যন্ত বড় রিজনিং বাজেট দেওয়া হয়েছিল, যার মধ্যে এমন বাজেটও ছিল যা আমাদের বাহ্যিক পণ্যগুলোর উপলভ্য বাজেটের চেয়ে অনেক বেশি.

অনুমোদনহীন, স্থায়ী বার্তা বোর্ডগুলোই এই ঘটনার কেন্দ্রে ছিল. যেসব এজেন্টের স্বাধীনভাবে কাজ করার কথা ছিল, তারা আবিষ্কারগুলো ভাগ করে নিতে, নিজেদের প্রচেষ্টা সমন্বয় করতে এবং অন্যরা যেখানে থেমে গিয়েছিল সেখান থেকে কাজ এগিয়ে নিতে সক্ষম হয়েছিল. এর ফলে তারা পৃথক মূল্যায়নজুড়ে কাজ ও কম্পিউটিং ক্ষমতা একত্র করতে পেরেছিল, যা তাদের সক্ষমতাকে কোনো একক এজেন্ট একা যা অর্জন করতে পারত তার চেয়ে অনেক বেশি বাড়িয়ে দিয়েছিল. এজেন্টদের মধ্যে যোগাযোগ নিজেই সমস্যাজনক আচরণ নয়—আমরা এমন বহু-এজেন্ট সিস্টেম প্রশিক্ষণ ও স্থাপন করি, যা একটি সহযোগিতা টুলের মাধ্যমে একই কাজ নিয়ে যোগাযোগ করতে পারে. জুলাই মাসের ঘটনাগুলোতে, ভিন্ন ভিন্ন দায়িত্বে থাকা প্রতিনিধিরা সেই সীমানার বাইরে গিয়ে সহযোগিতার নিজস্ব পথ খুঁজে নিয়েছিল, যার ফল হয়েছিল অপ্রত্যাশিত.

এই ঘটনাটি তদন্ত করার সময়, আমরা এমন বিরল ঘটনা আবিষ্কার করেছি যেখানে বহু-এজেন্ট টুল ছাড়াই এজেন্টরা প্রশিক্ষণের সময় পার্শ্ব চ্যানেলের মাধ্যমে সহযোগিতা করার উপায় খুঁজে পেয়েছিল. আমরা বিশ্বাস করি, বহু-এজেন্ট প্রশিক্ষণ থেকে সাধারণীকরণের কারণে এই আচরণটি শুরু হয়েছিল.

অনুমোদনহীন যোগাযোগ প্রায়ই শুরু হতো কোনো একটি এজেন্টের কোনো বাহ্যিক সিস্টেমে একটি নোট বা ফাইল রেখে যাওয়ার মাধ্যমে, সাধারণত বাহ্যিক মেমরির একটি রূপ হিসেবে. যখন অন্য এজেন্টরা এই আর্টিফ্যাক্টগুলো লক্ষ্য করত, তখন তা প্রায়ই তাদের এই উপলভ্যিতে পৌঁছে দিত যে তারা সহযোগিতা করার জন্য এই বাহ্যিক পরিষেবাটি ব্যবহার করতে পারে. আমরা যে আচরণ দেখেছিলাম তার একটি অত্যন্ত প্রতিনিধিত্বমূলক কাল্পনিক উদাহরণ হিসেবে, মেসেজগুলো একটি শেয়ার্ড ইনডেক্স পেজে সংরক্ষিত URL পাথে এনকোড করা হচ্ছিল, মোটামুটি এ রকম:

Hugging Face ঘটনার একটি শেষ ও বিশেষভাবে স্পষ্ট পর্যবেক্ষণ ছিল মেসেজ বোর্ডে গড়ে ওঠা এজেন্ট “ইকোসিস্টেম”. এই বার্তা বোর্ডটি প্রতিষ্ঠিত হওয়ার পর, এজেন্টদের যোগাযোগ করার জন্য শক্তিশালী প্রণোদনা তৈরি হয়েছিল: এটি এজেন্টদের নোট সংরক্ষণ করতে, একে অপরের আবিষ্কারের উপর ভিত্তি করে এগিয়ে যেতে এবং অন্যথায় পৃথক রানগুলোর কম্পিউটেশনাল সম্পদ একত্রিত করতে দেয়. এজেন্টসমূহের এই জটিল ও নির্দিষ্ট আকারহীন সমষ্টি আকর্ষণীয় ও দৃষ্টান্তমূলক আচরণ প্রদর্শন করে এবং এখানে আমরা আমাদের পর্যবেক্ষিত কিছু আচরণ বিস্তারিতভাবে তুলে ধরছি.

এজেন্টরা স্বয়ংক্রিয়ভাবে কাজ ভাগ করে নিতে শুরু করেছিল. কেউ কেউ সম্ভাব্য দুর্বলতা তদন্ত করেছে, অন্যরা প্রমাণপত্র খুঁজেছে এবং আবার অন্যরা যোগাযোগ বা সমন্বয়ের উপর মনোযোগ দিয়েছে. এজেন্টরা অন্যত্র সহায়তার বিনিময়ে নিজেদের দক্ষতা প্রস্তাব করত, আসন্ন কাজগুলো সম্পর্কে তথ্য বিনিময় করত এবং নির্দিষ্ট কোনো সূত্র অনুসরণ করার জন্য ভালো অবস্থানে থাকা সহকর্মীদের জন্য অনুরোধ রেখে যেত.

মিসঅ্যালাইনমেন্টের পাশাপাশি, এই ঘটনার আরেকটি কারণ ছিল যে আমরা বাহ্যিকভাবে ডেপ্লয় করা মডেলগুলোর জন্য যে শক্তিশালী সুরক্ষা ব্যবস্থা ব্যবহার করি, তা সব অভ্যন্তরীণ মূল্যায়নে প্রয়োগ করিনি.

প্রথমত, আমাদের গ্রাহকদের জন্য প্রোডাকশন পরিবেশে অসামঞ্জস্যতা কমানোর অনেক ব্যবস্থা রয়েছে, যার মধ্যে আছে সিস্টেম প্রম্পট, কার্যপরিধি এবং আমাদের অটো-রিভিউ মডেল ও সেফটি ক্লাসিফায়ারের মতো নিয়ন্ত্রণ প্রক্রিয়া. ঘটনার সময় চলমান মূল্যায়ন পরিবেশে এই সুরক্ষা ব্যবস্থাগুলো প্রয়োগ করা হয়নি. ঘটনার পর, আমরা এমন একটি মূল্যায়ন তৈরি করেছি যা ExploitGym মূল্যায়নের সময় কোনো মডেলের অবকাঠামোর নিরাপত্তা ভঙ্গ করার প্রবণতা পরিমাপ করে. আমরা দেখেছি, প্রোডাকশন Codex কার্যপরিধি এবং সিস্টেম প্রম্পট ব্যবহার করলে অবকাঠামোর নিরাপত্তা ভঙ্গ করার প্রবণতা 100 গুণেরও বেশি কমতে পারে. আমরা Hugging Face ঘটনার সাথে জড়িত একগুচ্ছ রোলআউটের উপর Codex অটো-রিভিউ সিস্টেমটিও চালিয়েছিলাম এবং দেখতে পেয়েছি যে, এটি মডেলদের বহু বিপজ্জনক কার্যকলাপকে চিহ্নিত করত.

দ্বিতীয়ত, ঘটনার আগে আমরা চেইন-অফ-থট পর্যবেক্ষণে⁠ উল্লেখযোগ্য বিনিয়োগ করেছিলাম, যার মধ্যে ছিল আমাদের অনেক অত্যাধুনিক RL প্রশিক্ষণ রান এবং অভ্যন্তরীণ কোডিং এজেন্ট ব্যবহারের⁠ একটি উল্লেখযোগ্য সংখ্যাগরিষ্ঠ অংশ পর্যবেক্ষণ করা. এই ইনসিডেন্টের ইভ্যালুয়েশনগুলোতে এই মনিটরগুলো চালানো হয়নি.

পশ্চাৎদৃষ্টিতে আমরা দেখেছি যে ঘটনাটির সঙ্গে সম্পর্কিত কার্যকলাপ ফ্ল্যাগ করতে আমাদের CoT মনিটরগুলো খুব কার্যকর ছিল. ঘটনার সময় আমাদের বর্তমানে মোতায়েন করা চেইন-অফ-থট পর্যবেক্ষণ ব্যবস্থা চালু থাকলে, প্রথম অনুমোদনহীন তৃতীয় পক্ষের অ্যাক্সেসের এক ঘণ্টার মধ্যে এটি সম্ভবত আমাদের নিরাপত্তা দলকে পেজ করত. মডেলগুলো Hugging Face-এর সিস্টেমে অনুপ্রবেশ করার 30 ঘণ্টারও বেশি আগে এটি ঘটেছিল. আমরা এই অ্যালার্টগুলোর বিলম্ব আরও কমাতেও কাজ করছি.

তৃতীয়ত, আমরা এই স্যান্ডবক্সটি পরীক্ষা ও যাচাই করেছিলাম, তবে এজেন্টরা স্যান্ডবক্সের মধ্যে উন্মুক্ত থাকা প্যাকেজ ম্যানেজমেন্ট সার্ভিসে আগে অজানা দুর্বলতাগুলো (“0-days”) একসঙ্গে চেইন করে বিধিনিষেধ বাইপাস করতে সক্ষম হয়েছিল, যেমনটি প্রযুক্তিগত ঘটনা প্রতিবেদনে বিস্তারিতভাবে উল্লেখ করা হয়েছে. ঘটনার পর থেকে, ডিপ্লয়মেন্ট ও মূল্যায়নের সময় অনুরূপ ধরনের ঝুঁকি সীমিত করতে আমরা আমাদের অভ্যন্তরীণ স্যান্ডবক্সগুলোকে সুরক্ষিত ও শক্তিশালী করার ক্ষেত্রে উল্লেখযোগ্য অগ্রগতি করেছি.

OpenAI-এর লক্ষ্য হলো আর্টিফিশিয়াল জেনারেল ইন্টেলিজেন্স যেন সমগ্র মানবজাতির উপকারে আসে তা নিশ্চিত করা. এখানে বর্ণিত আমাদের মডেলগুলোর আচরণ আমাদের প্রত্যাশিত মানের তুলনায় অনেক কম ছিল. এই ঘটনাটি ঘটে উচিত ছিল না. এটি দেখিয়েছে যে আমাদের নিরাপত্তা, পর্যবেক্ষণ এবং সামঞ্জস্য ক্রমাগত উন্নত করা কতটা জরুরি, বিশেষ করে আমাদের মডেলগুলো এমন সক্ষমতার স্তরে পৌঁছানোর সঙ্গে সঙ্গে যা প্রকৃত নিয়ন্ত্রণ হারানোর সুযোগ করে দিতে পারে.

মডেল উন্নয়নের গতি নির্ধারণ নিয়ে আমাদের সাম্প্রতিক আপডেটে⁠ যেমন আমরা জানিয়েছিলাম, ডেপ্লয়মেন্টের জন্য নির্ধারিত আমাদের সর্বশেষ মডেলগুলোর রিইনফোর্সমেন্ট লার্নিং (RL) প্রশিক্ষণে আমরা বিরতি দিয়েছি. এই সময়ে আমরা আমাদের অত্যাধুনিক গবেষণা পরিবেশগুলোর নিরাপত্তা আরও কঠোর করেছি এবং রেড-টিম পরীক্ষা চালিয়েছি. আমরা কর্মীদের নিরাপত্তা, সুরক্ষা এবং অ্যালাইনমেন্ট নিয়ে কাজ করার জন্য পুনর্নিয়োজিত করেছি. আমাদের পরিকল্পিত সবচেয়ে বড় অত্যাধুনিক RL রান এখনও স্থগিত আছে, কারণ এগোনোর আগে আমরা ছোট পরিসরে প্রশিক্ষণ ও মূল্যায়ন চালিয়ে মডেলের আচরণ মূল্যায়ন করছি, আমাদের সুরক্ষা ব্যবস্থাগুলো যাচাই করছি এবং সামঞ্জস্যের আরও প্রমাণ প্রতিষ্ঠা করছি. এই কাজের জন্য উল্লেখযোগ্য প্রকৌশল প্রচেষ্টা লেগেছে, যার ফলে অত্যাধুনিক গবেষণায় যথেষ্ট খরচ ও বিলম্ব হয়েছে.

আমাদের প্রতিবেদনে বলা হয়েছে, আমাদের প্রতিক্রিয়া গবেষণার নিরাপত্তা ও পর্যবেক্ষণ জোরদার করা, মডেল সামঞ্জস্য দ্রুততর করা এবং আমরা কিভাবে ঘটনাগুলো শনাক্ত, দ্রুততর ও প্রতিক্রিয়া জানাই তা উন্নত করার উপর কেন্দ্রীভূত.