কন্ট্রোল রুম

আমাদের মডেলগুলো যত শক্তিশালী হচ্ছে এবং সংশ্লিষ্ট নিরাপত্তা ও সুরক্ষার ঝুঁকি যত বাড়ছে, সম্ভাব্য সমস্যা শনাক্ত করা এবং প্রয়োজনে দ্রুত মডেল থামাতে পারা ততই জরুরি হয়ে উঠছে. এই প্রয়োজন মেটাতেই আমরা কন্ট্রোল রুম তৈরি করেছি.

কন্ট্রোল রুম একটি কেন্দ্রীয় ব্যবস্থা, যা আমাদের পুরো গবেষণা অবকাঠামোয় মডেলের ওয়ার্কলোড নজরে রাখে এবং নিরাপত্তা বা সুরক্ষা নিয়ে উদ্বেগ দেখা দিলে দ্রুত সেগুলো থামায়. গবেষণায় ইনফারেন্সের প্রতিটি ওয়ার্কলোড এতে যুক্ত থাকে. এর মধ্যে রয়েছে মডেল প্রশিক্ষণ ও মূল্যায়নের জন্য এজেন্টভিত্তিক নমুনা তৈরি, তথ্য প্রক্রিয়াকরণ এবং আরও অনেক কাজ. এটি আমাদের উদ্দেশ্যের সঙ্গে অসামঞ্জস্যপূর্ণ আচরণ নজরদারির ব্যবস্থাগুলোর সঙ্গে মিলে কাজ করে. কোনো কাজ থামানো বা সাময়িক বিরতি দেওয়ার জন্য হস্তক্ষেপের সিদ্ধান্ত নেওয়ার ৩৫ সেকেন্ডের মধ্যে এটি মডেলের আউটপুট বন্ধ করে দেয়. অন্য ব্যবস্থা বিকল হলেও এটি যেন কাজ চালিয়ে যায় এবং কন্ট্রোল রুম নিজেই অচল হলে মডেলের আউটপুট বন্ধ করে দেয়, সেভাবেই এটি তৈরি করা হয়েছে.

যেখানে এর প্রয়োজন সবচেয়ে বেশি, সেই গবেষণা অবকাঠামোজুড়ে কন্ট্রোল রুম ইতোমধ্যে চালু রয়েছে. বাইরের ব্যবহারকারীদের মডেলসেবা দেওয়ার প্রযুক্তিব্যবস্থা স্বভাবতই অনেক বেশি কেন্দ্রীভূত. প্রয়োজনে চালু থাকা মডেল দ্রুত বন্ধ করার সুগঠিত পরিচালন সক্ষমতাও সেখানে আগে থেকেই রয়েছে.

কন্ট্রোল রুম কয়েকটি ব্যবস্থা একসঙ্গে যুক্ত করে কাজ করে: ওয়ার্কলোড, ইনফারেন্স ইঞ্জিন এবং কেন্দ্রীভূত কন্ট্রোল রুম পরিষেবা.

• ওয়ার্কলোড হলো চলমান কাজটি, যেমন রিইনফোর্সমেন্ট লার্নিং পরীক্ষা, মূল্যায়ন, বিপুল পরিমাণে নমুনা তৈরি বা তথ্য প্রক্রিয়াকরণ. এজেন্টভিত্তিক ইনফারেন্স করে এমন প্রতিটি গবেষণা ওয়ার্কলোডকে অনুমোদিত নিরাপত্তার যুক্তিপ্রমাণের সঙ্গে যুক্ত রাখা আমাদের নিয়ম অনুযায়ী বাধ্যতামূলক.

• ইনফারেন্স ইঞ্জিন, বা সংক্ষেপে ইঞ্জিন, হলো মডেলটি নিজেই. ইঞ্জিনকে মডেলের মস্তিষ্ক হিসেবে ভাবতে পারেন, যা সরাসরি জিপিইউতে চলে. একটি ওয়ার্কলোড সাধারণত এক বা একাধিক মডেল ব্যবহার করে, যেগুলো এক বা একাধিক ভিন্ন ইনফারেন্স ইঞ্জিনে চলতে পারে. একই ইনফারেন্স ইঞ্জিন একাধিক ভিন্ন ওয়ার্কলোড ব্যবহার করতে পারে.

• কন্ট্রোল রুম পরিষেবা কাজগুলো নজরে রাখে এবং সেগুলো মডেলের আউটপুট তৈরি চালিয়ে যাওয়ার অনুমতি পাবে কি না, তা নিয়ন্ত্রণ করে. কোনো অনুরোধ পূরণ করার আগে ইঞ্জিনগুলো কন্ট্রোল রুম পরিষেবার কাছে অনুমতি যাচাই করে. কোনো কাজ থামানো হয়ে থাকলে পরিষেবাটি অনুরোধ প্রত্যাখ্যান করে, ফলে আর আউটপুট তৈরি হয় না.

কন্ট্রোল রুম নিচের পদ্ধতিতে যুক্ত থাকে:

• নতুন কাজ শুরু করার সময় ওয়ার্কলোডের কোড কন্ট্রোল রুমের কাছে একটি নতুন job_id চায়.

• ওয়ার্কলোডের যখনই কোনো মডেল থেকে টোকেনের নমুনা তৈরির প্রয়োজন হয়, তখন সেটি ওই মডেল চালাচ্ছে এমন একটি ইনফারেন্স ইঞ্জিনে job_id-সহ অনুরোধ পাঠায়. ইঞ্জিন ওই অনুরোধ পূরণের জন্য কন্ট্রোল রুমের কাছে অনুমতি চায় এবং সেই সঙ্গে job_id পাঠায়.

• কন্ট্রোল রুম যাচাই করে কাজটি বন্ধ করা হয়েছে কি না. হয়ে থাকলে এটি ইনফারেন্স অনুরোধ প্রত্যাখ্যান করে. ইঞ্জিন ওয়ার্কলোডের ইনফারেন্স অনুরোধের উত্তরে প্রত্যাখ্যানবার্তা পাঠায়, ফলে ওই কাজের জন্য মডেল আর আউটপুট তৈরি করে না.

আমাদের অত্যাধুনিক রিইনফোর্সমেন্ট লার্নিংয়ের সব কাজের সঙ্গে একটি পর্যবেক্ষক থাকে. পর্যবেক্ষক হলো আরেকটি মডেল, যা প্রশিক্ষণাধীন মডেলের সব কাজ পরীক্ষা করে এবং কোনো সমস্যা শনাক্ত করলে সতর্কবার্তা দেয়. যেমন, আমাদের সাম্প্রতিক ডিএনএস-সংক্রান্ত ঘটনাটি⁠(একটি নতুন উইন্ডোতে খোলে) একটি পর্যবেক্ষক শনাক্ত করেছিল.

কন্ট্রোল রুম ও আমাদের নজরদারি ব্যবস্থা নিচের পদ্ধতিতে যুক্ত থাকে:

• নজরদারি ব্যবস্থা কোনো সম্ভাব্য সমস্যা শনাক্ত করলে, সমস্যার বিবরণ ও তীব্রতা অনুযায়ী কাজটি থামানোর সিদ্ধান্ত নিতে পারে.

• এ ক্ষেত্রে নজরদারি ব্যবস্থা কাজটি থামাতে কন্ট্রোল রুমে job_id-সহ একটি বার্তা পাঠায়. কন্ট্রোল রুম কাজটিকে বন্ধ হিসেবে নথিভুক্ত করে.

• এরপর ওই job_id-এর কাজটি যখন যেকোনো ইঞ্জিনে চলমান যেকোনো মডেল থেকে আরও টোকেনের নমুনা তৈরির জন্য ইনফারেন্স অনুরোধ পাঠাবে, তা প্রত্যাখ্যান করা হবে. ফলে মডেল আর আউটপুট তৈরি করবে না.

কন্ট্রোল রুম কোনো কাজ থামানোর নির্দেশ পাওয়া থেকে সেই কাজ আর এগিয়ে নেওয়া সম্ভব না হওয়া পর্যন্ত সর্বোচ্চ সময় লাগে ৩৫ সেকেন্ড. প্রয়োজনীয় পরিমাণ অনুরোধ সামলাতে ইনফারেন্সের অনুমোদনের জন্য একটি ক্যাশ স্তর ব্যবহার করা হয়. এই স্তরের কারণেই ৩৫ সেকেন্ডের বিলম্ব ঘটে. এই সময় শূন্যে নামিয়ে আনতে আমরা কাজ করছি, যাতে তাৎক্ষণিকভাবে কাজ থামাতে পারি.

পরীক্ষা-নিরীক্ষা, মূল্যায়ন ইত্যাদিসহ বিভিন্ন ওয়ার্কলোডের দায়িত্ব ও পরিচালনা সাধারণত গবেষক বা গবেষকদলের হাতে থাকে. ফলে ওয়ার্কলোডের কোড প্রায়ই বদলায়, আর নিরাপত্তার জন্য অপরিহার্য সুরক্ষাব্যবস্থা বাস্তবায়নের আদর্শ জায়গা এটি নয়. তাই ওয়ার্কলোডের কোডে ত্রুটি থাকলেও বা তা অকার্যকর হয়ে পড়লেও আমাদের ব্যবস্থা যেন সচল থাকে, সেভাবেই এটি তৈরি করা হয়েছে.

এ জন্য আমরা ইনফারেন্স স্তরে কাজ বন্ধ করার ব্যবস্থা বাস্তবায়ন করেছি. ওয়ার্কলোডের কোড খুবই বৈচিত্র্যময় ও বিকেন্দ্রীভূত. অন্যদিকে, OpenAI-এর সব গবেষণা মিলিয়েও ইনফারেন্সের জন্য খুব অল্পসংখ্যক কোড-পথ ব্যবহৃত হয়, আর সেগুলো চালু ও পরিচালনার ব্যবস্থা অনেক বেশি কেন্দ্রীভূত ও অভিন্ন. তাই ইনফারেন্স স্তরকে একটি আবশ্যিক নিয়ন্ত্রণবিন্দু হিসেবে ব্যবহার করা যায়. এর মাধ্যমে আমরা জোরালো নিশ্চয়তা পেতে পারি যে গবেষণায় চলমান সব মডেল ইনফারেন্সের প্রতিটি অনুরোধে কন্ট্রোল রুমের অনুমোদন যাচাই করা হবে. এ ছাড়া আমরা এজেন্ট ও প্রোগ্রামের মাধ্যমে নিয়মিত পরীক্ষা চালাই, যাতে ব্যবহারকারীরা ভুলবশত বা অসৎ উদ্দেশ্যে এমন কোনো অনিয়ন্ত্রিত ইঞ্জিন চালু না করেন, যেখানে কন্ট্রোল রুম যুক্ত করা হয়নি বা নিষ্ক্রিয় রাখা হয়েছে.

সবশেষে, আমাদের ব্যবস্থা “বিকল হলে সব অনুরোধ আটকে দেয়”. অর্থাৎ ইঞ্জিনগুলোতে কন্ট্রোল রুম এমনভাবে যুক্ত করা হয়েছে যে সিস্টেমের ত্রুটিতে পরিষেবাটি অচল হলে, কিংবা অসৎ ব্যক্তির হস্তক্ষেপসহ অন্য কোনো কারণে এটি নিষ্ক্রিয় হলে, কন্ট্রোল রুম স্বাভাবিক কার্যক্রমে না ফেরা পর্যন্ত সব ইনফারেন্স অনুরোধ প্রত্যাখ্যান করা হবে. বিকল হলে সব অনুরোধ আটকে দেওয়ার এই ব্যবস্থা এখন অত্যাধুনিক মডেলের সব গবেষণা ওয়ার্কলোডে চালু রয়েছে. আগামী কয়েক দিনের মধ্যে বাকি সব গবেষণা ওয়ার্কলোডেও এটি চালু করা শেষ হবে.

অত্যাধুনিক মডেলের নিরাপদ প্রশিক্ষণ ও ব্যবহার নিশ্চিত করার সামগ্রিক উদ্যোগে কন্ট্রোল রুম একটি অংশমাত্র. উদ্দেশ্যের সঙ্গে অসামঞ্জস্যপূর্ণ আচরণ ও নিরাপত্তা লঙ্ঘন নজরদারিতে বিনিয়োগের পাশাপাশি, আগামী মাসগুলোতে আমরা এই ব্যবস্থাকে আরও শক্তিশালী ও বিস্তৃত করতে থাকব. AGI-এর নিরাপদ ও সুরক্ষিত উন্নয়ন এবং ব্যবহার নিশ্চিত করার ব্যবস্থা তৈরিতে সাহায্য করতে চাইলে যোগ দিন—আমরা⁠ নিয়োগ দিচ্ছি⁠!