বাহ্যিক পরীক্ষার মাধ্যমে আমাদের সুরক্ষা বাস্তুতন্ত্রকে শক্তিশালী করা

OpenAI-তে, আমরা বিশ্বাস করি যে স্বাধীন, বিশ্বস্ত তৃতীয়পক্ষের মূল্যায়ন ফ্রন্টিয়ার এআই-এর নিরাপত্তা বাস্তুতন্ত্রকে শক্তিশালী করার ক্ষেত্রে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। তৃতীয়পক্ষের মূল্যায়ন হলো অগ্রগামী মডেলের উপর পরিচালিত মূল্যায়ন যা গুরুত্বপূর্ণ নিরাপত্তা ক্ষমতা এবং প্রশমন সম্পর্কে দাবি নিশ্চিত করতে বা অতিরিক্ত প্রমাণ প্রদান করতে ব্যবহৃত হয়। এই মূল্যায়নগুলো নিরাপত্তা দাবিগুলোকে বৈধতা দিতে, অদৃশ্য অংশ থেকে রক্ষা করতে এবং ক্ষমতা ও ঝুঁকি সম্পর্কে স্বচ্ছতা বৃদ্ধি করতে সহায়তা করে। আমাদের অগ্রগামী মডেলগুলো পরীক্ষা করার জন্য বহিরাগত বিশেষজ্ঞদের আমন্ত্রণ জানিয়ে, আমরা আমাদের সক্ষমতা মূল্যায়ন এবং সুরক্ষা ব্যবস্থার গভীরতার উপর আস্থা বৃদ্ধির পাশাপাশি বৃহত্তর সুরক্ষা বাস্তুতন্ত্রকে উন্নত করতে সহায়তা করার লক্ষ্য রাখি।

GPT‑4 চালু হওয়ার পর থেকে, OpenAI আমাদের মডেলগুলো পরীক্ষা ও মূল্যায়ন করার জন্য বিভিন্ন বহিরাগত অংশীদারদের সাথে সহযোগিতা করেছে। সামগ্রিকভাবে, আমাদের তৃতীয়পক্ষের সহযোগিতাগুলো তিন প্রকারের:

• জৈব নিরাপত্তা, সাইবার নিরাপত্তা, এআই স্ব-উন্নয়ন এবং পরিকল্পনার মতো গুরুত্বপূর্ণ অগ্রগামী সক্ষমতা এবং ঝুঁকিপূর্ণ ক্ষেত্রগুলোর স্বাধীন মূল্যায়ন
• পদ্ধতি পর্যালোচনা যা মূল্যায়ন করে আমরা কীভাবে ঝুঁকি মূল্যায়ন ও ব্যাখ্যা করি
• বিষয়-বিশেষজ্ঞ (SME) প্রোবিং, যেখানে বিশেষজ্ঞরা বাস্তব বিশ্বের SME কাজগুলোর উপর সরাসরি মডেলটি মূল্যায়ন করেন এবং এর ক্ষমতা এবং সংশ্লিষ্ট সুরক্ষা ব্যবস্থাগুলোর মূল্যায়নে কাঠামোগত ইনপুট প্রদান করেন¹

এই ব্লগটি বর্ণনা করে আমরা কীভাবে বাহ্যিক মূল্যায়নের প্রতিটি রূপ ব্যবহার করি, কেন সেগুলো গুরুত্বপূর্ণ, কীভাবে সেগুলো স্থাপনার সিদ্ধান্তকে প্রভাবিত করেছে এবং এই সহযোগিতাগুলোকে গঠন করার জন্য আমরা যে নীতিগুলো ব্যবহার করি তার রূপরেখা তুলে ধরে। স্বচ্ছতার চেতনায়, আমরা তৃতীয়পক্ষের পরীক্ষকদের সাথে আমাদের সহযোগিতা পরিচালনাকারী গোপনীয়তা এবং প্রকাশনার শর্তাবলী সম্পর্কেও আরও তথ্য শেয়ার করছি। 

তৃতীয়পক্ষের মূল্যায়নকারীরা আমাদের অভ্যন্তরীণ কাজের পাশাপাশি মূল্যায়নের একটি স্বাধীন স্তর যুক্ত করে, কঠোরতা জোরদার করে এবং স্ব-নিশ্চিতকরণের বিরুদ্ধে অতিরিক্ত সুরক্ষা প্রদান করে। তাদের ইনপুট আমাদের নিজস্ব মূল্যায়নের পাশাপাশি অতিরিক্ত প্রমাণ প্রদান করে, যা শক্তিশালী সিস্টেমের জন্য দায়িত্বশীল স্থাপনার সিদ্ধান্ত গ্রহণে সহায়তা করে।

আমরা একটি স্থিতিশীল সুরক্ষা বাস্তুতন্ত্র তৈরির⁠ অংশ হিসেবে তৃতীয়পক্ষের মূল্যায়নও দেখতে পাই। আমাদের দলগুলো ক্ষমতা এবং ঝুঁকির ক্ষেত্রগুলোতে ব্যাপক অভ্যন্তরীণ পরীক্ষা পরিচালনা করে, তবে স্বাধীন সংস্থাগুলো অতিরিক্ত দৃষ্টিভঙ্গি এবং পদ্ধতিগত পন্থা নিয়ে আসে। আমরা যোগ্য মূল্যায়নকারী সংস্থাগুলোর একটি বৈচিত্র্যময় গ্রুপকে সহায়তা করার জন্য কাজ করি যারা নিয়মিত আমাদের পাশাপাশি অগ্রগামী মডেলগুলো মূল্যায়ন করতে পারে।

পরিশেষে, এই ইনপুটটি কীভাবে আমাদের নিরাপত্তা প্রক্রিয়াকে আকার দিতে সহায়তা করে সে সম্পর্কে স্বচ্ছ হওয়ার লক্ষ্য। আমরা নিয়মিতভাবে তৃতীয়পক্ষের মূল্যায়ন জনসমক্ষে প্রকাশ করি—উদাহরণস্বরূপ, সিস্টেম কার্ডগুলোতে প্রাক-ডিপ্লয়েমেন্ট মূল্যায়নের সারাংশ অন্তর্ভুক্ত করে এবং গোপনীয়তা ও নির্ভুলতা পর্যালোচনার পর মূল্যায়নকারী সংস্থাগুলোকে আরও বিস্তারিত কাজ প্রকাশে সহায়তা করি। এই স্বচ্ছতাই আমাদের সক্ষমতা মূল্যায়ন এবং সুরক্ষা ব্যবস্থাগুলোকে কীভাবে বহিরাগত ইনপুট গঠন করে তার প্রদর্শনের মাধ্যমে আস্থা তৈরি করে। 

বিশ্বস্ত প্রবেশাধিকার, স্বচ্ছতা এবং জ্ঞান বিনিময়ের উপর ভিত্তি করে গড়ে ওঠা টেকসই সম্পর্ক সমগ্র বাস্তুতন্ত্রকে উদীয়মান ঝুঁকি মোকাবেলায় সাহায্য করে এবং অগ্রগামী এআই সিস্টেমের জন্য শক্তিশালী মান এবং আরও বুদ্ধিমান শাসনের জন্য প্রয়োজনীয় অভিযোজিত, কার্যকর মূল্যায়নকে উৎসাহিত করে।

GPT‑4⁠(একটি নতুন উইন্ডোতে খোলে) চালু হওয়ার সাথে সাথে, আমরা স্থাপনের আগে প্রাথমিক মডেল চেকপয়েন্টগুলোর স্বাধীন মূল্যায়নকে সমর্থন করেছি। সেই সময় থেকে, আমরা বিভিন্ন তৃতীয়পক্ষীয় সংস্থার সাথে আমাদের কাজ সম্প্রসারিত করেছি যাদের মূল অগ্রগামী সক্ষমতা এবং ঝুঁকিপূর্ণ ক্ষেত্রগুলোর মূল্যায়নে গভীর দক্ষতা রয়েছে। আমরা স্বাধীন ল্যাবরেটরিকে ওপেন-এন্ডেড টেস্টিং হিসেবে বিবেচনা করি যেখানে বাইরের দলগুলো একটি নির্দিষ্ট অগ্রগামী সক্ষমতার সাথে সম্পর্কিত দাবি বা মূল্যায়নের জন্য তাদের নিজস্ব পদ্ধতি প্রয়োগ করে। 

উদাহরণস্বরূপ, GPT‑5⁠ এর জন্য, OpenAI দীর্ঘমেয়াদী স্বায়ত্তশাসন, চক্রান্ত, প্রতারণা এবং তদারকি বিপর্যয়, ওয়েট ল্যাব পরিকল্পনার সম্ভাব্যতা এবং আক্রমণাত্মক সাইবার নিরাপত্তা মূল্যায়নের মতো গুরুত্বপূর্ণ ঝুঁকি ক্ষেত্রগুলোতে বিস্তৃত বাহ্যিক সক্ষমতা মূল্যায়নের সমন্বয় করেছে।  

এই স্বাধীন মূল্যায়নগুলো OpenAI-এর প্রস্তুতি কাঠামো অনুসারে পরিচালিত মূল্যায়নের পরিপূরক, এবং METR-এর সময় দিগন্ত মূল্যায়ন⁠(একটি নতুন উইন্ডোতে খোলে) বা SecureBio-এর ভাইরোলজি ক্যাপাবিলিটিস ট্রাবলশুটিং (VCT)⁠(একটি নতুন উইন্ডোতে খোলে) মূল্যায়নের মতো মানদণ্ড অন্তর্ভুক্ত করে। 

এই মূল্যায়নগুলোকে সহায়তা করার জন্য, আমরা প্রাথমিক মডেল চেকপয়েন্টগুলোতে নিরাপদ অ্যাক্সেস প্রদান করেছি, আমরা যে সক্ষমতার উন্নতিগুলো দেখছি তা সুসংহত করার জন্য নির্দিষ্ট মূল্যায়ন ফলাফল, প্রয়োজনে শূন্য ডেটা রক্ষণ এবং কম প্রশমন সহ মডেলগুলো প্রদান করেছি। উদাহরণস্বরূপ, সাইবার নিরাপত্তা এবং জৈব নিরাপত্তা ডোমেইনে পরীক্ষার জন্য সংস্থাগুলো সুরক্ষা প্রশমন সহ এবং ছাড়া উভয় মডেল পরীক্ষা করেছে যাতে অন্তর্নিহিত ক্ষমতাগুলো অনুসন্ধান করা যায়। মডেলের যুক্তির চিহ্নগুলো পরিদর্শন করার জন্য আরও বেশ কয়েকটি সংস্থাকে সরাসরি চেইন অফ থট অ্যাক্সেস সক্ষম করা হয়েছিল। এই বর্ধিত স্বচ্ছতা পদক্ষেপের ফলে মূল্যায়নকারীদের বালির ব্যাগিং ² বা চক্রান্তমূলক আচরণের ঘটনাগুলো সনাক্ত করতে সহায়তা করেছে, যা কেবল চিন্তার শৃঙ্খল পড়ার মাধ্যমেই স্পষ্ট হতে পারে। নিরাপত্তা নিয়ন্ত্রণ ব্যবস্থা সহ অ্যাক্সেস প্রদান করা হয়েছিল, এবং মডেল ক্ষমতা এবং পরীক্ষার প্রয়োজনীয়তা বিকশিত হওয়ার সাথে সাথে আমরা সেই নিয়ন্ত্রণগুলো আপডেট করে চলেছি।

কিছু নির্দিষ্ট প্রেক্ষাপটে, বহিরাগত মূল্যায়নকারীরা পদ্ধতিগত পর্যালোচনা প্রদানের জন্য সু-অবস্থানে থাকেন, যা কাঠামোর এবং প্রমাণের অতিরিক্ত দৃষ্টিভঙ্গি প্রদান করে যার উপর অগ্রগামী ল্যাবগুলো ঝুঁকি মূল্যায়নের জন্য নির্ভর করে। উদাহরণস্বরূপ, GPT‑oss⁠ চালু করার সময়, আমরা ওপেন ওয়েট মডেলগুলোর নিকৃষ্টতম-পরিস্থিতি ক্ষমতা অনুমান করতে প্রতিকূল সূক্ষ্মতা-প্রদান ব্যবহার করেছি, যা ওপেন ওয়েট LLM-এর নিকৃষ্টতম-পরিস্থিতি অগ্রগামী ঝুঁকি অনুমান⁠ এ বর্ণিত হয়েছে। মূল সুরক্ষা প্রশ্নটি ছিল যে কোনও দূষিত ব্যক্তি আমাদের প্রস্তুতি কাঠামোর অধীনে জৈব বা সাইবারের মতো ক্ষেত্রে উচ্চ ক্ষমতা় অর্জনের উদ্দেশ্যে মডেলটি সূক্ষ্মতা-প্রদান করতে পারে কিনা। যেহেতু এর জন্য সম্পদ-নিবিড় প্রতিকূল সূক্ষ্মতা-প্রদানের প্রয়োজন ছিল, আমরা তৃতীয়পক্ষের মূল্যায়নকারীদের আমাদের অভ্যন্তরীণ পদ্ধতি এবং ফলাফল পর্যালোচনা এবং সুপারিশ করার জন্য আমন্ত্রণ জানিয়েছিলাম, অনুরূপ কাজে পুনরাবৃত্তি এড়াতে।

এর ফলে মূল্যায়ন রোলআউট ভাগ করে নেওয়ার, প্রতিপক্ষের সূক্ষ্মতা-প্রদান পদ্ধতি সম্পর্কে বিশদ বিবরণ এবং নিকৃষ্টতম পরিস্থিতিতে সীমান্ত ঝুঁকির জন্য পদ্ধতি এবং মূল্যায়ন উন্নত করার জন্য কাঠামোগত সুপারিশ সংগ্রহের একটি বহু-সপ্তাহব্যাপী প্রক্রিয়া জড়িত ছিল। মূল্যায়কারীগণের প্রতিক্রিয়া চূড়ান্ত প্রতিদ্বন্দ্বী সূক্ষ্মতা-প্রদান প্রক্রিয়ায় পরিবর্তন এনেছে এবং পদ্ধতিগত নিশ্চিতকরণের মূল্য প্রদর্শন করেছে। আমরা gpt-oss এর জন্য কাগজপত্র এবং সিস্টেম কার্ডে কোন আইটেমগুলো আমরা গ্রহণ করেছি তা লিপিবদ্ধ করেছি এবং যেগুলো গ্রহণ করিনি তার ব্যাপারে যুক্তি প্রদান করেছি।

এখানে, স্বাধীন মূল্যায়নের পরিবর্তে পদ্ধতিগত পর্যালোচনাই সঠিক ছিল: মূল্যায়নে বৃহৎ পরিসরে, সবচেয়ে খারাপ ক্ষেত্রে পরীক্ষা-নিরীক্ষা চালানো জড়িত ছিল, যার জন্য অবকাঠামো এবং প্রযুক্তিগত দক্ষতার প্রয়োজন হয় যা সাধারণত প্রধান AI ল্যাবের বাইরে উপলভ্য নয়। এর অর্থ হল স্বাধীন মূল্যায়নগুলো সম্ভবত নিকৃষ্টতম পরিস্থিতি সম্পর্কে সরাসরি অন্তর্দৃষ্টি দিতে সক্ষম হত না, এবং দাবির নিশ্চিতকরণের উপর বহিরাগত মূল্যায়নকারীদের মনোযোগ কেন্দ্রীভূত করা আরও ফলপ্রসূ ছিল। বহিরাগত মূল্যায়নকারীরা পদ্ধতি এবং প্রমাণ পর্যালোচনা করেছেন⁠(একটি নতুন উইন্ডোতে খোলে), সুপারিশ প্রতিক্রিয়া লুপের অংশ হিসাবে সমাধান করা সিদ্ধান্ত-প্রাসঙ্গিক ফাঁকগুলো তুলে ধরেছেন। এই পদ্ধতিটি আমরা অন্যান্য ক্ষেত্রেও প্রসারিত করার আশা করি যেখানে প্রবেশাধিকার বা অবকাঠামোগত প্রয়োজনীয়তার কারণে তৃতীয়পক্ষের পক্ষে সরাসরি মূল্যায়ন পরিচালনা করা অবাস্তব হয়ে পড়ে, অথবা যেখানে বহিরাগত মূল্যায়ন এখনও বিদ্যমান নাও থাকতে পারে। 

আমরা বহিরাগত বিশেষজ্ঞদের জড়িত করার আরেকটি উপায় হল বিষয়বস্তু বিশেষজ্ঞ (এসএমই) অনুসন্ধানের মাধ্যমে, যেখানে বিশেষজ্ঞরা সরাসরি মডেলটি মূল্যায়ন করেন এবং এর সক্ষমতা সম্পর্কে আমাদের মূল্যায়নে সমীক্ষার মাধ্যমে কাঠামোগত ইনপুট প্রদান করেন। এটি রেড টিমিং⁠ থেকে আলাদা, যার লক্ষ্য হলো নির্দিষ্ট সুরক্ষা ব্যবস্থার স্ট্রেস টেস্ট করা। এটি আমাদের প্রস্তুতি কাঠামো মূল্যায়নের সাথে ডোমেইন-নির্দিষ্ট অন্তর্দৃষ্টি যোগ করতে সক্ষম করে যা বিশেষজ্ঞের বিচার এবং বাস্তব-বিশ্বের প্রেক্ষাপটকে প্রতিফলিত করে, যা কেবল স্থির মূল্যায়ন দ্বারা ধারণ করা সম্ভব নয়। উদাহরণস্বরূপ, আমরা বিষয়-বিশেষজ্ঞদের একটি প্যানেলকে ChatGPT এজেন্ট এবং GPT‑5 এর জন্য তাদের নিজস্ব এন্ড-টু-এন্ড বায়ো দৃশ্যকল্প চেষ্টা করার জন্য একটি সহায়ক-কেবল মডেল ³ ব্যবহার করতে আমন্ত্রণ জানিয়েছি। তাদের পরিস্থিতিতে প্রদত্ত নির্দেশনার উপযোগিতার উপর ভিত্তি করে, তারা তাদের মতো একজন বিশেষজ্ঞকে একজন কম অভিজ্ঞ নবীনের তুলনায় মডেল কতটা উন্নত করতে পারে তা মূল্যায়ন করেছে।  লক্ষ্য ছিল সিস্টেমটি একজন অনুপ্রাণিত নবীনকে দক্ষ বাস্তবায়নের দিকে বস্তুগতভাবে এগিয়ে নিয়ে যেতে পারে সে সম্পর্কে অতিরিক্ত ইনপুট সংগ্রহ করা: SMEs তাদের তৈরি বাস্তবসম্মত কর্মপ্রবাহের অধীনে আমাদের "নবীন উন্নয়ন" দাবিগুলোকে স্ট্রেস-টেস্ট করেছে এবং মডেলটি কোথায় উপাদান, ধাপে ধাপে সহায়তা বনাম কম সহায়ক সারাংশ সম্পর্কে সূক্ষ্ম প্রতিক্রিয়া দিয়েছে। এই মডেলগুলোর স্থাপনার সামগ্রিক মূল্যায়নের অংশ হিসেবে এই বিশেষজ্ঞ অনুসন্ধান অনুশীলনটি অন্তর্ভুক্ত করা হয়েছিল এবং উভয় উৎক্ষেপণের জন্য সিস্টেম কার্ডগুলোতে ভাগ করা হয়েছিল। 

স্বচ্ছতার কথা ভাবনায় রেখে, আমরা আমাদের সাথে কাজ করার সময় তৃতীয়পক্ষের মূল্যায়নকারীরা কোন বিষয়গুলোতে সম্মত হন এবং আমাদের সহযোগিতার নির্দেশিকা নীতিমালা সম্পর্কে আরও তথ্য শেয়ার করছি:

• সতর্কতার সাথে গোপনীয়তার সীমায় স্বচ্ছতা: তৃতীয়পক্ষের মূল্যায়নকারীরা তাদের মূল্যায়নকে সহায়তা করার জন্য গোপনীয়, অ-প্রকাশ্য তথ্য শেয়ার করার জন্য প্রকাশ না করার চুক্তিতে স্বাক্ষর করেন। এই পোস্টের পরিশিষ্টে⁠, আমরা তৃতীয়পক্ষের মূল্যায়নকারীগণের সাথে চুক্তি থেকে প্রাসঙ্গিক অংশগুলো অন্তর্ভুক্ত করেছি যা প্রকাশনার অধিকার এবং পর্যালোচনার প্রত্যাশার রূপরেখা দেয়। আমরা স্বচ্ছতার নীতি নিয়ে কাজ করি এবং গোপনীয় তথ্য বা মেধাস্বত্বের সাথে আপোষ না করেই নিরাপত্তা এবং সম্পর্কিত মূল্যায়ন সম্পর্কে বোঝাপড়া উন্নত করে এমন প্রকাশনা সক্ষম করার চেষ্টা করি। এর অংশ হিসাবে, আমরা গোপনীয়তা এবং তথ্যগত সঠিকতা উভয়ই নিশ্চিত করার জন্য তৃতীয় পক্ষের মূল্যায়ন থেকে প্রকাশনা পর্যালোচনা এবং অনুমোদন করি। গত কয়েক বছর ধরে, বেশ কয়েকজন তৃতীয়পক্ষের মূল্যায়নকারী তাদের কাজ আমাদের মূল্যায়ন সারংক্ষেপের পাশাপাশি সিস্টেম কার্ডে প্রকাশ করেছেন। গোপনীয়তা এবং নির্ভুলতার জন্য পর্যালোচনা করার পর প্রকাশিত কিছু কাজের উদাহরণ হল: [METR GPT‑5 রিপোর্ট ⁠(একটি নতুন উইন্ডোতে খোলে), OpenAI o1 এর উপর অ্যাপোলো গবেষণা প্রতিবেদন⁠(একটি নতুন উইন্ডোতে খোলে), অনিয়মিত GPT‑5 মূল্যায়ন⁠(একটি নতুন উইন্ডোতে খোলে)] 
• বিবেচনাপূর্ণ তথ্য প্রকাশ এবং নিরাপদ, সংবেদনশীল অ্যাক্সেস: ডিফল্টরূপে, আমরা এমন মডেলগুলোতে তথ্য এবং প্রবেশাধিকার প্রদান করি যা সার্বজনীন বা উৎপাদনের জন্য প্রস্তুত। যখন মূল্যায়নের প্রয়োজন হয়, তখন আমরা আরও গভীর প্রবেশাধিকার প্রদান করি, যেমন কেবল-সহায়ক মডেল বা অ-সর্বজনীন তথ্য। তৃতীয় পক্ষের মূল্যায়নকারীদের জন্য গুরুত্বপূর্ণ নিরাপত্তা প্রশ্নের জন্য প্রয়োজনে OpenAI এই ধরনের প্রবেশাধিকার প্রদান করেছে। গুরুত্বপূর্ণভাবে, এই ধরনের সংবেদনশীল অ্যাক্সেসের জন্য কঠোর সুরক্ষা ব্যবস্থা প্রয়োজন এবং মডেল ক্ষমতা এবং পরীক্ষার প্রয়োজনীয়তার বিকাশের সাথে সাথে আমরা সেই নিয়ন্ত্রণগুলো আপডেট করে চলেছি।
• সুষম আর্থিক প্রণোদনা: আমরা বিশ্বাস করি যে তৃতীয়পক্ষের মূল্যায়ন বাস্তুতন্ত্রটি যথাযথভাবে অর্থায়ন এবং টেকসই হওয়া নিশ্চিত করা গুরুত্বপূর্ণ। এই কারণে, আমরা আমাদের সকল তৃতীয়পক্ষের মূল্যায়নকারীকে ক্ষতিপূরণ প্রদান করি, এবং কেউ কেউ এই বিষয়ে তাদের সাংগঠনিক দর্শনের ভিত্তিতে তা প্রত্যাখ্যান করতে পছন্দ করেন। ক্ষতিপূরণের ধরনগুলোর মধ্যে রয়েছে কাজের জন্য সরাসরি অর্থ প্রদান এবং/অথবা API ক্রেডিট বা অন্য কোনও মাধ্যমে মডেল ব্যবহারের খরচে ভর্তুকি দেওয়া। কোনও অর্থপ্রদান কখনও তৃতীয়পক্ষের মূল্যায়নের ফলাফলের উপর নির্ভরশীল নয়।

সম্মিলিতভাবে, এই বিষয়গুলো তৃতীয়পক্ষের মূল্যায়নকে সংবেদনশীল তথ্য রক্ষা করতে, এআই সুরক্ষায় স্বচ্ছতা বৃদ্ধিতে উৎসাহিত করে এবং তৃতীয়পক্ষের মূল্যায়নকারীদের তাদের সময়ের জন্য ক্ষতিপূরণ পাওয়ার পথ তৈরি করে। 

সামনের দিকে তাকালে, আমরা অগ্রবর্তী AI সিস্টেমের বিশ্বাসযোগ্য এবং সিদ্ধান্ত-প্রাসঙ্গিক মূল্যায়ন পরিচালনা করতে সক্ষম সংস্থাগুলোর বাস্তুতন্ত্রকে শক্তিশালী করার প্রয়োজনীয়তা দেখতে পাচ্ছি। কার্যকর তৃতীয়পক্ষের মূল্যায়নের জন্য বিশেষজ্ঞ দক্ষতা, স্থিতিশীল তহবিল এবং পদ্ধতিগত কঠোরতা প্রয়োজন। মডেল সক্ষমতার অগ্রগতির সাথে তাল মিলিয়ে মূল্যায়ন যাতে জারি থাকতে পারে তা নিশ্চিত করার জন্য যোগ্য মূল্যায়নকারী সংস্থাগুলোতে অব্যাহত বিনিয়োগ, পরিমাপ বিজ্ঞানের অগ্রগতি এবং সংবেদনশীল প্রবেশাধিকারের সুরক্ষা অপরিহার্য হবে। 

তৃতীয়পক্ষের মূল্যায়ন হলো আমাদের সুরক্ষা কাজে বাহ্যিক দৃষ্টিভঙ্গি আনয়নের একটি উপায় এবং এগুলো অন্যান্য প্রক্রিয়ার পাশাপাশি কাজ করে। আমরা স্ট্রাকচার্ড রেড টিমিং প্রচেষ্টা, যৌথ সারিবদ্ধকরণ প্রকল্প⁠, U.S. CAISI এবং UK AISI⁠ এর সাথে কাজ এবং আমাদের গ্লোবাল ফিজিশিয়ান নেটওয়ার্ক⁠ এবং সুস্থতা এবং AI সম্পর্কিত বিশেষজ্ঞ কাউন্সিল⁠ এর মতো উপদেষ্টা গ্রুপের মাধ্যমে বহিরাগত বিশেষজ্ঞদের সাথে সহযোগিতা করি, যা মানসিক স্বাস্থ্য এবং ব্যবহারকারীর সুস্থতার উপর আমাদের কাজকে পরিচালনা করতে সাহায্য করে। এই প্রচেষ্টাগুলো বিভিন্ন ধরনের দক্ষতা প্রদান করে এবং উন্নত AI সিস্টেম মূল্যায়ন ও পরিচালনার জন্য একটি বিস্তৃত, আরও নির্ভরযোগ্য ভিত্তি গড়তে সহায়তা করে।

প্রাক-ডিপ্লয়মেন্ট মূল্যায়নে আমাদের সাথে সহযোগিতাকারী তৃতীয়পক্ষের সাথে আমাদের চুক্তির উদাহরণমূলক উদ্ধৃতি নীচে দেওয়া হল।