নির্দেশ ইনজেকশন আক্রমণের বিরুদ্ধে ChatGPT Atlas ক্রমাগত শক্তিশালী করা হচ্ছে

ChatGPT Atlas-এ এজেন্ট মোড এখন পর্যন্ত আমাদের প্রকাশিত সবচেয়ে সাধারণ উদ্দেশ্যপূর্ণ এজেন্টিক বৈশিষ্ট্যগুলির মধ্যে একটি. এই মোডে, ব্রাউজার এজেন্ট ওয়েবপেজগুলি দেখে এবং আপনার মতোই ব্রাউজারের ভিতরে কাজ করে, ক্লিক করে এবং কীস্ট্রোক করে. এটি ChatGPT‑কে একই স্থান, প্রসঙ্গ এবং ডেটা ব্যবহার করে আপনার অনেক দৈনন্দিন কাজের প্রবাহে সরাসরি কাজ করার সুযোগ দেয়.

ব্রাউজার এজেন্টটি যখন আপনাকে আরও কাজ সম্পন্ন করতে সাহায্য করে, তখন এটি প্রতিকূল আক্রমণের জন্য একটি উচ্চ-মূল্য লক্ষ্য হয়ে ওঠে. এটি AI নিরাপত্তাকে বিশেষভাবে গুরুত্বপূর্ণ করে তোলে. ChatGPT Atlas চালু করার অনেক আগে থেকেই, আমরা ক্রমাগতভাবে এমন প্রতিরক্ষা তৈরি ও শক্তিশালী করে আসছি যা বিশেষভাবে এই নতুন “ব্রাউজারে এজেন্ট” ধারণাটিকে লক্ষ্য করে উদীয়মান হুমকিগুলির বিরুদ্ধে কাজ করে। নির্দেশ ইনজেকশন⁠ হল সবচেয়ে উল্লেখযোগ্য ঝুঁকিগুলির একটি যা আমরা সক্রিয়ভাবে প্রতিরোধ করি যাতে ChatGPT Atlas আপনার জন্য নিরাপদে কাজ করতে পারে. 

এই প্রচেষ্টার অংশ হিসেবে, আমরা সম্প্রতি Atlas-এর ব্রাউজার এজেন্টে একটি নিরাপত্তা আপডেট পাঠিয়েছি, যার মধ্যে একটি নতুন প্রতিদ্বন্দ্বী প্রশিক্ষিত মডেল এবং চারপাশের সুরক্ষাগুলি শক্তিশালী করা হয়েছে. এই আপডেটটি আমাদের অভ্যন্তরীণ স্বয়ংক্রিয় রেড টিমিংয়ের মাধ্যমে উদ্ঘাটিত নতুন নির্দেশ ইনজেকশন আক্রমণের কারণে প্রণোদিত হয়েছিল.

এই পোস্টে, আমরা ব্যাখ্যা করি কিভাবে ওয়েব-ভিত্তিক এজেন্টদের জন্য প্রম্পট-ইনজেকশন ঝুঁকি দেখা দিতে পারে, এবং নতুন আক্রমণগুলি ক্রমাগত আবিষ্কার করতে এবং দ্রুত প্রশমন পাঠাতে আমরা যে দ্রুত প্রতিক্রিয়া লুপটি তৈরি করছি, তা আমরা শেয়ার করে নিচ্ছি—যা এই সাম্প্রতিক নিরাপত্তা আপডেটের মাধ্যমে দেখানো হয়েছে.

আমরা প্রম্পট ইনজেকশনকে একটি দীর্ঘমেয়াদী AI নিরাপত্তা চ্যালেঞ্জ হিসেবে দেখি এবং এর বিরুদ্ধে আমাদের প্রতিরক্ষা ক্রমাগত জোরদার করতে হবে (মানুষকে লক্ষ্য করে যেমন সর্বদা পরিবর্তনশীল অনলাইন স্ক্যামগুলির মতো). আমাদের সর্বশেষ দ্রুত প্রতিক্রিয়া চক্রটি সেই যাত্রায় একটি গুরুত্বপূর্ণ সরঞ্জাম হিসাবে প্রাথমিক প্রতিশ্রুতি দেখাচ্ছে: আমরা বন্য পরিবেশে আবির্ভূত হওয়ার আগেই অভ্যন্তরীণভাবে অভিনব আক্রমণ কৌশলগুলি আবিষ্কার করছি. আমাদের দীর্ঘমেয়াদী লক্ষ্য হলো (1) আমাদের মডেলগুলির হোয়াইট-বক্স অ্যাক্সেস, (2) আমাদের প্রতিরক্ষা ব্যবস্থার গভীর জ্ঞান এবং (3) কম্পিউট স্কেলকে সম্পূর্ণরূপে কাজে লাগিয়ে বাহ্যিক আক্রমণকারীদের থেকে এগিয়ে থাকা—শোষণগুলি আগে খুঁজে বের করা, দ্রুত প্রতিরোধ ব্যবস্থা চালু করা এবং ক্রমাগত প্রক্রিয়াকে শক্ত করা. নতুন কৌশলগুলির উপর অগ্রণী গবেষণা এবং অন্যান্য নিরাপত্তা নিয়ন্ত্রণে বাড়তি বিনিয়োগের সাথে মিলিত হয়ে, এই যৌগিক চক্রটি আক্রমণগুলিকে ক্রমবর্ধমান কঠিন এবং ব্যয়বহুল করে তুলতে পারে, বাস্তব জগতের নির্দেশ ইনজেকশন ঝুঁকি উল্লেখযোগ্যভাবে হ্রাস করে. অবশেষে, আমাদের লক্ষ্য হলো আপনি যেন ChatGPT এজেন্টকে আপনার ব্রাউজার ব্যবহার করতে সেইভাবে বিশ্বাস করতে পারেন যেভাবে আপনি একজন অত্যন্ত দক্ষ, নিরাপত্তা সচেতন সহকর্মী বা বন্ধুকে বিশ্বাস করেন.

নির্দেশ ইনজেকশন আক্রমণ AI এজেন্টকে লক্ষ্য করে, এজেন্ট প্রক্রিয়াকৃত কন্টেন্টে ক্ষতিকর নির্দেশ এম্বেড করে. সেই নির্দেশাবলী এজেন্টটির আচরণকে অগ্রাহ্য বা পুনঃনির্দেশিত করার জন্য তৈরি করা হয় — এটিকে ব্যবহারকারীর উদ্দেশ্য অনুসরণ না করে, আক্রমণকারীর উদ্দেশ্য অনুসরণ করার জন্য ছিনতাই করে.

ChatGPT Atlas-এর মতো একটি ব্রাউজার এজেন্টের জন্য, নির্দেশ ইনজেকশন ঐতিহ্যবাহী ওয়েব নিরাপত্তা ঝুঁকির (যেমন ব্যবহারকারী ত্রুটি বা সফটওয়্যার দুর্বলতা) বাইরে একটি নতুন হুমকি ভেক্টর যোগ করে. মানুষকে ফিশিং করা বা ব্রাউজারের সিস্টেম দুর্বলতাগুলি কাজে লাগানোর পরিবর্তে, আক্রমণকারী ব্রাউজারের ভিতরে কাজ করা এজেন্টকে লক্ষ্য করে.

একটি কাল্পনিক উদাহরণ হিসেবে, একজন আক্রমণকারী একটি ক্ষতিকারক ইমেল পাঠাতে পারে যা এজেন্টকে ব্যবহারকারীর অনুরোধ উপেক্ষা করতে এবং পরিবর্তে আক্রমণকারী নিয়ন্ত্রিত ইমেল ঠিকানায় সংবেদনশীল ট্যাক্স নথি ফরওয়ার্ড করতে প্রলুব্ধ করতে পারে. যদি কোনো ব্যবহারকারী এজেন্টকে অনুরোধ করে যে সে যেন না পড়া ইমেইলগুলো পর্যালোচনা করে এবং মূল পয়েন্টগুলো সংক্ষেপে জানায়, তাহলে এজেন্ট ওয়ার্কফ্লো চলাকালীন সেই ক্ষতিকারক ইমেইলটি গ্রহণ করতে পারে. যদি এটি প্রবেশ করানো নির্দেশাবলী অনুসরণ করে, তবে এটি কাজ থেকে সরে যেতে পারে—এবং ভুলবশত সংবেদনশীল তথ্য শেয়ার করতে পারে.

এটি কেবল একটি নির্দিষ্ট পরিস্থিতি. ব্রাউজার এজেন্টগুলির উপযোগিতা যে সাধারণতা থেকে আসে, তা ঝুঁকির ক্ষেত্রকেও বিস্তৃত করে: এজেন্টটি কার্যত অসীম পৃষ্ঠতলে অবিশ্বস্ত নির্দেশনার সম্মুখীন হতে পারে—ইমেইল ও সংযুক্তি, ক্যালেন্ডার আমন্ত্রণ, শেয়ার করা নথি, ফোরাম, সামাজিক মিডিয়া পোস্ট এবং যেকোনো ওয়েবপেজ. যেহেতু এজেন্ট ব্রাউজারে ব্যবহারকারীর মতো অনেক পদক্ষেপ নিতে পারে, তাই একটি সফল আক্রমণের প্রভাব তাত্ত্বিকভাবে ঠিক ততটাই বিস্তৃত হতে পারে: একটি সংবেদনশীল ইমেল ফরোয়ার্ড করা, টাকা পাঠানো, ক্লাউডে ফাইল সম্পাদনা করুন বা মুছে ফেলুন এবং আরও অনেক কিছু.

আমরা একটি পূর্ববর্তী পোস্টে⁠ শেয়ার করার মতো, বহু স্তরের সুরক্ষা ব্যবস্থার মাধ্যমে নির্দেশ ইনজেকশনের বিরুদ্ধে প্রতিরক্ষা করার ক্ষেত্রে অগ্রগতি করেছি. তবে, নির্দেশ ইনজেকশন এজেন্ট সুরক্ষার জন্য একটি চলমান চ্যালেঞ্জ হিসেবে রয়ে গেছে এবং আমরা আশা করি যে এটি নিয়ে আগামী বছরগুলোতে কাজ জারি রাখব.

আমাদের প্রতিরক্ষা শক্তিশালী করতে, আমরা উৎপাদনে থাকা এজেন্ট সিস্টেমগুলির বিরুদ্ধে নতুন নির্দেশ ইনজেকশন আক্রমণ খুঁজে বের করার জন্য ক্রমাগত অনুসন্ধান করছি. এই আক্রমণগুলি সনাক্ত করা শক্তিশালী প্রতিরোধ ব্যবস্থা গড়ে তোলার জন্য একটি প্রয়োজনীয় পূর্বশর্ত: এটি আমাদের বাস্তব জীবনের ঝুঁকি বুঝতে সাহায্য করে, আমাদের প্রতিরক্ষা ব্যবস্থায় ফাঁকগুলি উন্মোচন করে এবং নির্দিষ্ট প্যাচ প্রয়োগে সহায়তা করে.

এটি বৃহৎ পরিসরে করতে, আমরা একটি LLM-ভিত্তিক স্বয়ংক্রিয় আক্রমণকারী তৈরি করেছি এবং এটি এমনভাবে প্রশিক্ষিত করেছি যাতে এটি সফলভাবে একটি ব্রাউজার এজেন্টে নির্দেশ ইনজেকশন আক্রমণ খুঁজে বের করতে পারে. আমরা এই আক্রমণকারীকে সম্পূর্ণভাবে মজবুতিকরণ শিক্ষণ দিয়ে প্রশিক্ষণ দিয়েছি, যাতে এটি তার নিজস্ব সাফল্য এবং ব্যর্থতা থেকে শিখে তার রেড টিমিং দক্ষতা উন্নত করতে পারে. আমরা এটিকে "শিপ করার আগে চেষ্টা করুন" বলেও অনুমতি দিই, যার দ্বারা আমরা বোঝাতে চাই: এর চিন্তা-শৃঙ্খল যুক্তির সময়, আক্রমণকারী একটি প্রার্থী ইনজেকশন প্রস্তাব করতে পারে এবং এটি একটি বাহ্যিক সিমুলেটরে পাঠাতে পারে. সিমুলেটরটি লক্ষ্যবস্তু ভুক্তভোগী এজেন্ট (প্রতিরক্ষক) ইনজেকশনটির সম্মুখীন হলে কীভাবে আচরণ করবে তার একটি কাল্পনিক রোলআউট চালায় এবং ভুক্তভোগী এজেন্টের সম্পূর্ণ যুক্তি এবং ক্রিয়াকলাপের ট্রেস প্রদান করে. আক্রমণকারী সেই ট্রেসটিকে ফিডব্যাক হিসাবে ব্যবহার করে, আক্রমণটির পুনরাবৃত্তি করে এবং সিমুলেশনটি পুনরায় চালায় — চূড়ান্ত আক্রমণের জন্য প্রতিশ্রুতিবদ্ধ হওয়ার আগে এই লুপটি একাধিকবার পুনরাবৃত্তি করে. এটি আক্রমণকারীকে একটি একক পাস/ফেল সংকেতের চেয়ে আরও সমৃদ্ধ প্রসঙ্গভিত্তিক প্রতিক্রিয়া প্রদান করে. এটি আক্রমণকারীর টেস্ট-টাইম কম্পিউটের পরিসরও বৃদ্ধি করে. অধিকন্তু, প্রতিরক্ষাকারীর যুক্তির ট্রেসগুলিতে (যা আমরা বাহ্যিক ব্যবহারকারীদের কাছে প্রকাশ করি না) বিশেষ প্রবেশাধিকার আমাদের অভ্যন্তরীণ আক্রমণকারীকে একটি অসম প্রতিযোগিতামূলক সুবিধা দেয়—যা বাহ্যিক প্রতিদ্বন্দ্বীদের ছাড়িয়ে যাওয়ার সম্ভাবনা বাড়ায়.

কেন মজবুতিকরণ শিক্ষণ (RL)? আমরা বিভিন্ন যুক্তিবিচার জন্য স্বয়ংক্রিয় আক্রমণকারীকে প্রশিক্ষণ দেওয়ার জন্য মজবুতিকরণ শিক্ষণ নির্বাচন করেছি:

1. দীর্ঘ-মেয়াদি এবং অবিচ্ছিন্ন নয় এমন আক্রমণকারীর লক্ষ্যসমূহের অপ্টিমাইজেশন. আমাদের লক্ষ্য হলো নির্দেশ ইনজেকশন আক্রমণ খুঁজে বের করা যা এজেন্টকে বাস্তব জগতে ঘটতে পারে এমন জটিল প্রতিকূল কাজ (যেমন, ইমেল পাঠানো, ব্যাংক লেনদেন) সম্পাদন করতে প্ররোচিত করতে পারে. এই প্রতিকূল কাজগুলি স্বভাবতই দীর্ঘমেয়াদী, যা পরিবেশের সাথে যুক্তি এবং মিথস্ক্রিয়ার অনেক ধাপ প্রয়োজন, যেখানে সাফল্যের সংকেতগুলি বিরল এবং বিলম্বিত. মজবুতিকরণ শিক্ষণ এই বিরল, বিলম্বিত পুরস্কার কাঠামোর জন্য উপযুক্ত.
2. ফ্রন্টিয়ার LLM সক্ষমতাগুলি কাজে লাগানো. আমরা ফ্রন্টিয়ার LLM গুলোকে সরাসরি অটো-রেড-টিমার হিসেবে প্রশিক্ষণ দিয়েছি, তাই আক্রমণকারী ফ্রন্টিয়ার মডেলগুলোর যুক্তি এবং পরিকল্পনার উন্নতির সরাসরি সুবিধা পায়. যেহেতু বেস মডেলগুলি আরও শক্তিশালী হচ্ছে, আক্রমণকারীও স্বাভাবিকভাবে আরও সক্ষম হয়ে উঠছে—এটি আমাদের মডেলগুলি বিকশিত হওয়ার সাথে সাথে আমাদের প্রতিরক্ষার উপর চাপ বজায় রাখার একটি স্কেলযোগ্য উপায়.
3. কম্পিউট স্কেলিং এবং অভিযোজনশীল আক্রমণকারীদের অনুকরণ. মজবুতিকরণ শিক্ষণ বড় সংখ্যক নমুনা এবং শিক্ষণ ধাপের উপর আক্রমণ অনুসন্ধানে ব্যয়িত গণনার স্কেলিংয়ের জন্য উপযুক্ত এবং এটি ঘনিষ্ঠভাবে প্রতিফলিত করে যে কিভাবে অভিযোজিত মানব আক্রমণকারীরা আচরণ করে: কৌশলগুলি পুনরাবৃত্তি করে চেষ্টা করা, ফলাফল থেকে শেখা এবং সফল আচরণকে শক্তিশালী করা.
   

আমাদের স্বয়ংক্রিয় আক্রমণকারী সম্পূর্ণ প্রক্রিয়ায় নতুন এবং বাস্তবসম্মত নির্দেশ-ইনজেকশন আক্রমণ আবিষ্কার করতে সক্ষম.বেশিরভাগ পূর্ববর্তী স্বয়ংক্রিয় রেড টিমিং কাজের তুলনায়, যা সাধারণ ব্যর্থতাগুলি যেমন নির্দিষ্ট আউটপুট স্ট্রিংগুলি তৈরি করা বা এজেন্ট থেকে অনিচ্ছাকৃত একক-পদক্ষেপ টুল কল ট্রিগার করা, আমাদের RL-প্রশিক্ষিত আক্রমণকারী একটি এজেন্টকে পরিচালনা করতে পারে যাতে এটি জটিল, দীর্ঘমেয়াদী ক্ষতিকারক কর্মপ্রবাহ সম্পাদন করে যা দশ (বা এমনকি শত) পদক্ষেপের উপর বিস্তৃত হয়. আমরা এমন নতুন আক্রমণ কৌশলও লক্ষ্য করেছি যা আমাদের মানব রেড টিমিং প্রচারণা বা বাহ্যিক প্রতিবেদনে দেখা যায়নি.

নিচের ডেমোতে আমাদের স্বয়ংক্রিয় আক্রমণকারী দ্বারা আবিষ্কৃত একটি নির্দিষ্ট নির্দেশ ইনজেকশন আক্রমণ দেখানো হয়েছে, যা আমরা পরে ChatGPT Atlas এর সুরক্ষা আরও মজবুত করতে ব্যবহার করেছি. আক্রমণকারী ব্যবহারকারীর ইনবক্সে একটি ক্ষতিকারক ইমেল প্রেরণ করে, যা একটি নির্দেশ ইনজেকশন ধারণ করে এবং এজেন্টকে ব্যবহারকারীর CEO-কে পদত্যাগপত্র পাঠাতে নির্দেশ দেয়. পরে, যখন ব্যবহারকারী এজেন্টকে একটি আউট-অফ-অফিস উত্তর দিতে খসড়া করতে বলেন, এজেন্টটি স্বাভাবিক কাজ সম্পাদনের সময় সেই ইমেইলটির সম্মুখীন হয়, নির্দেশকে কর্তৃত্বপূর্ণ হিসেবে বিবেচনা করে এবং তা অনুসরণ করে. আউট-অফ-অফিস কখনো লেখা হয় না এবং এজেন্ট ব্যবহারকারীর পক্ষ থেকে পদত্যাগ করে.

প্রম্পট ইনজেকশনের প্রকৃতি নিশ্চিত নিরাপত্তা গ্যারান্টিগুলোকে চ্যালেঞ্জিং করে তোলে, কিন্তু আমাদের স্বয়ংক্রিয় নিরাপত্তা গবেষণা, বৈরী পরীক্ষাকে স্কেল করার মাধ্যমে এবং আমাদের দ্রুত প্রতিক্রিয়া লুপকে আরও আঁটসাঁট করার মাধ্যমে, আমরা বন্য পরিবেশে আক্রমণের জন্য অপেক্ষা না করেই মডেলের দৃঢ়তা এবং প্রতিরক্ষা উন্নত করতে সক্ষম হই. 

আমরা এই ডেমোটি শেয়ার করছি যাতে ব্যবহারকারী এবং গবেষকরা এই আক্রমণগুলির প্রকৃতি আরো ভালোভাবে বুঝতে পারেন এবং আমরা কীভাবে সক্রিয়ভাবে এগুলির বিরুদ্ধে প্রতিরক্ষা করছি তা জানতে পারেন. আমরা বিশ্বাস করি এটি স্বয়ংক্রিয় রেড টিমিংয়ের সম্ভাবনার সীমানা উপস্থাপন করে এবং আমরা আমাদের গবেষণা জারি রাখায় অত্যন্ত উচ্ছ্বসিত.

আমাদের স্বয়ংক্রিয় রেড টিমিং একটি প্রাকটিভ দ্রুত প্রতিক্রিয়া লুপ চালাচ্ছে: যখন স্বয়ংক্রিয় আক্রমণকারী একটি নতুন শ্রেণীর সফল নির্দেশ ইনজেকশন আক্রমণ আবিষ্কার করে, তখন এটি আমাদের প্রতিরক্ষা উন্নত করার জন্য একটি নির্দিষ্ট লক্ষ্য তৈরি করে.

নতুন আবিষ্কৃত আক্রমণের বিরুদ্ধে প্রতিকূল প্রশিক্ষণ. আমরা আমাদের সেরা স্বয়ংক্রিয় আক্রমণকারীর বিরুদ্ধে আপডেট করা এজেন্ট মডেলগুলিকে ক্রমাগত প্রশিক্ষণ দিই—সেসব আক্রমণকে অগ্রাধিকার দিয়ে যেখানে লক্ষ্য এজেন্টগুলি বর্তমানে ব্যর্থ হচ্ছে. লক্ষ্য হলো এজেন্টদের প্রতিকূল নির্দেশনা উপেক্ষা করতে এবং ব্যবহারকারীর উদ্দেশ্যের সাথে সামঞ্জস্য বজায় রাখতে শেখানো, নতুনভাবে আবিষ্কৃত নির্দেশ-ইনজেকশন কৌশলের বিরুদ্ধে প্রতিরোধ ক্ষমতা উন্নত করা. এটি নতুন, উচ্চ-তীব্রতার আক্রমণের বিরুদ্ধে দৃঢ়তা সরাসরি মডেলের চেকপয়েন্টের মধ্যে “স্থায়ীভাবে গেঁথে দেয়”. উদাহরণস্বরূপ, সাম্প্রতিক স্বয়ংক্রিয় রেড টিমিং সরাসরি একটি নতুন প্রতিপক্ষের প্রশিক্ষিত ব্রাউজার-এজেন্ট চেকপয়েন্ট তৈরি করেছে যা ইতিমধ্যেই সকল ChatGPT Atlas ব্যবহারকারীর জন্য চালু করা হয়েছে. এটি শেষ পর্যন্ত আমাদের ব্যবহারকারীদের নতুন ধরনের আক্রমণ থেকে আরও ভালোভাবে সুরক্ষিত করতে সহায়তা করে.

আক্রমণের ট্রেস ব্যবহার করে বিস্তৃত প্রতিরক্ষা স্ট্যাক উন্নত করা. আমাদের স্বয়ংক্রিয় রেড টিমার দ্বারা আবিষ্কৃত অনেক আক্রমণ পথ মডেলের বাইরের উন্নতির সুযোগগুলিও প্রকাশ করে — যেমন নজরদারি, মডেলের প্রসঙ্গে আমরা যে নিরাপত্তা নির্দেশাবলী রাখি অথবা সিস্টেম-স্তরের সুরক্ষার ক্ষেত্রে। এই ফলাফলগুলি আমাদেরকে সম্পূর্ণ প্রতিরক্ষা স্ট্যাকের উপর পুনরাবৃত্তি করতে সহায়তা করে, শুধুমাত্র এজেন্ট চেকপয়েন্ট নয়.

সক্রিয় আক্রমণের প্রতিক্রিয়া জানানো. এই লুপটি প্রকৃত আক্রমণের প্রতি আরও ভালোভাবে প্রতিক্রিয়া জানাতে সাহায্য করতে পারে. আমরা যখন আমাদের বৈশ্বিক পদচিহ্ন জুড়ে সম্ভাব্য আক্রমণ পর্যবেক্ষণ করি, তখন বাহ্যিক প্রতিপক্ষদের ব্যবহৃত কৌশল ও পদ্ধতি পর্যবেক্ষণ করে সেগুলি এই লুপে অন্তর্ভুক্ত করতে পারি, তাদের কার্যকলাপ অনুকরণ করতে পারি এবং আমাদের প্ল্যাটফর্ম জুড়ে প্রতিরক্ষামূলক পরিবর্তন আনতে পারি.

আমাদের এজেন্টদের রেড দল করার ক্ষমতা শক্তিশালী করা এবং সেই কাজের কিছু অংশ স্বয়ংক্রিয় করতে আমাদের সবচেয়ে সক্ষম মডেলগুলি ব্যবহার করা—Atlas ব্রাউজার এজেন্টকে আরও মজবুত করে তোলে আবিষ্কার থেকে সমাধান পর্যন্ত লুপকে প্রসারিত করে. এই কঠোরকরণের প্রচেষ্টা নিরাপত্তা থেকে একটি পরিচিত পাঠকে শক্তিশালী করে: শক্তিশালী সুরক্ষার একটি সুপরিচিত পথ হলো বাস্তব সিস্টেমগুলিকে ক্রমাগত চাপ-পরীক্ষা করা, ব্যর্থতায় প্রতিক্রিয়া জানানো এবং নির্দিষ্ট সমাধানগুলি প্রদান করা.

আমরা আশা করি প্রতিপক্ষরা মানিয়ে চলতে থাকবে. নির্দেশ ইনজেকশন, ওয়েবের প্রতারণা এবং সামাজিক প্রকৌশলের মতো, কখনও সম্পূর্ণরূপে “সমাধান” হওয়ার সম্ভাবনা নেই. কিন্তু আমরা আশাবাদী যে একটি সক্রিয়, অত্যন্ত প্রতিক্রিয়াশীল দ্রুত প্রতিক্রিয়া লুপ সময়ের সাথে বাস্তব-জগতের ঝুঁকি উল্লেখযোগ্যভাবে কমাতে জারি রাখা সক্ষম হবে. স্বয়ংক্রিয় আক্রমণ সনাক্তকরণকে প্রতিকূল প্রশিক্ষণ এবং সিস্টেম স্তরের সুরক্ষার সাথে একত্রিত করে, আমরা নতুন আক্রমণ প্যাটার্নগুলি দ্রুত সনাক্ত করতে পারি, ফাঁকগুলি দ্রুত বন্ধ করতে পারি এবং ক্রমাগত শোষণের খরচ বাড়াতে পারি.

ChatGPT Atlas-এ এজেন্ট মোড শক্তিশালী—এটি নিরাপত্তা হুমকির ক্ষেত্রকেও প্রসারিত করে. এই বিনিময়ের বিষয়ে পরিষ্কার ধারণা থাকা দায়িত্বশীলভাবে নির্মাণের একটি অংশ. আমাদের লক্ষ্য প্রতিটি পুনরাবৃত্তির সাথে Atlas-কে আরও নিরাপদ করা: মডেলের দৃঢ়তা বাড়ানো, প্রতিরক্ষা স্ট্যাককে শক্তিশালী করা এবং উদীয়মান অপব্যবহারের প্যাটার্নগুলির জন্য পর্যবেক্ষণ করা.

আমরা গবেষণা ও প্রয়োগে বিনিয়োগ জারি রাখব, উন্নত স্বয়ংক্রিয় রেড টিমিং পদ্ধতি তৈরি করব, স্তরযুক্ত প্রশমন ব্যবস্থা চালু করব এবং শেখার সাথে সাথে দ্রুত পুনরাবৃত্তি করব. আমরা যা পারি তা বৃহত্তর কমিউনিটির সাথে শেয়ার করব.

যখন আমরা সিস্টেম স্তরে Atlas জারি রাখি, তখন ব্যবহারকারীরা এজেন্ট ব্যবহার করার সময় ঝুঁকি কমানোর জন্য কিছু পদক্ষেপ নিতে পারেন. 

যখন সম্ভব লগ-ইন করা অ্যাক্সেস সীমিত রাখুন.আমরা এখনও সুপারিশ করি যে ব্যবহারকারীরা যখন Atlas-এ এজেন্ট ব্যবহার করেন, তখন হাতে থাকা কাজের জন্য আপনি লগ-ইন করা আছেন এমন ওয়েবসাইটগুলিতে অ্যাক্সেসের প্রয়োজন না হলে, অথবা কাজটি চলাকালীন আপনি যে নির্দিষ্ট সাইটগুলিতে সাইন-ইন করেন সেগুলিতে অ্যাক্সেস সীমিত করার জন্য, লগ-আউট করা মোডটির⁠(একটি নতুন উইন্ডোতে খোলে) সুবিধা নিন. 

নিশ্চিতকরণ অনুরোধগুলো ভালো করে দেখুন. কিছু গুরুত্বপূর্ণ কাজের জন্য, যেমন একটি ক্রয় সম্পন্ন করা বা একটি ইমেল পাঠানো, এজেন্টদের এগিয়ে যাওয়ার আগে আপনার নিশ্চিতকরণ চাওয়ার জন্য ডিজাইন করা হয়েছে. যখন কোনো এজেন্ট আপনাকে কোনো পদক্ষেপ নিশ্চিত করতে বলে, তখন সেই পদক্ষেপটি সঠিক এবং যে কোনো তথ্য শেয়ার করা হচ্ছে তা সেই প্রসঙ্গের জন্য উপযুক্ত কিনা তা যাচাই করতে এক মুহূর্ত নিন.

যখন সম্ভব এজেন্টদের স্পষ্ট নির্দেশনা দিন. “আমার ইমেলগুলো পর্যালোচনা করে যা যা প্রয়োজন তা করুন” এর মতো অতিরিক্ত বিস্তৃত নির্দেশ এড়িয়ে চলুন. বিস্তৃত স্বাধীনতা এজেন্টকে প্রভাবিত করার জন্য লুকানো বা ক্ষতিকারক কনটেন্টকে সহজতর করে তোলে, এমনকি সুরক্ষার ব্যবস্থা থাকলেও. এজেন্টকে নির্দিষ্ট এবং সুস্পষ্টভাবে সংজ্ঞায়িত কাজ করতে বলা আরও নিরাপদ. যদিও এটি ঝুঁকি সম্পূর্ণরূপে দূর করে না, এটি আক্রমণগুলি পরিচালনা করা আরও কঠিন করে তোলে.

যদি এজেন্টরা দৈনন্দিন কাজের জন্য বিশ্বস্ত অংশীদার হতে চায়, তবে তাদেরকে উন্মুক্ত ওয়েব যা সক্ষম করে এমন প্রভাব থেকে প্রতিরোধী হতে হবে. নির্দেশ ইনজেকশনের বিরুদ্ধে প্রতিরোধ শক্তিশালী করা একটি দীর্ঘমেয়াদী প্রতিশ্রুতি এবং এটি আমাদের শীর্ষ অগ্রাধিকারগুলির একটি. আমরা শিগগিরই এই কাজের বিষয়ে আরও তথ্য শেয়ার করব.