LifeSciBench পরিচিতি

এজেন্টিক এআই সিস্টেম বৈজ্ঞানিক কাজ সম্পাদনে ক্রমেই বেশি সক্ষম হয়ে উঠছে. তবে জীবনবিজ্ঞান গবেষকদের জন্য এগুলোর উপযোগিতা নির্ভর করে বাস্তব গবেষণার জটিলতা কত ভালোভাবে সামলাতে পারে তার ওপর. সেই কাজ খুব কমই একক তথ্য-স্মরণ প্রশ্ন বা পরিষ্কার পূর্বাভাস সমস্যার মতো হয়. গবেষকেরা অসম্পূর্ণ প্রমাণ ব্যাখ্যা করেন, পরস্পরবিরোধী ফল মেলান, কঠিন পরীক্ষা নকশা করেন, অ্যাসে সমস্যার সমাধান করেন, ট্রান্সলেশনাল ঝুঁকি মূল্যায়ন করেন, এবং অনিশ্চয়তার মধ্যে পরবর্তী পদক্ষেপ ঠিক করেন.

বর্তমান বেঞ্চমার্কগুলো এসব সক্ষমতা পুরোপুরি ধরতে পারে না. অনেক জীবনবিজ্ঞান মূল্যায়ন সংকীর্ণ ক্ষেত্র বা বিচ্ছিন্ন দক্ষতায় কেন্দ্রীভূত, ফলে প্রশ্নগুলো কাঠামোবদ্ধ ফরম্যাট ও পরিষ্কার রেফারেন্স উত্তরের হয়. এগুলো মূল্যবান হলেও, কোনো মডেল গবেষণা-স্তরের কাজের বিস্তৃত পরিসরে সত্যিই অবদান রাখতে পারে কি না তা প্রায়ই যথাযথভাবে মাপে না.

এই ফাঁক কমাতে আমরা LifeSciBench তৈরি করেছি. প্রতিটি কাজ এমন কর্মরত জীবনবিজ্ঞানীদের বিচারে ভিত্তিসম্পন্ন, যাদের Ph.D.-স্তরের প্রশিক্ষণ এবং বায়োটেক ও ফার্মাসিউটিক্যাল পরিবেশে ওষুধ আবিষ্কার কর্মসূচি এগিয়ে নেওয়ার প্রত্যক্ষ অভিজ্ঞতা আছে.

LifeSciBench-এ সাতটি কর্মপ্রবাহ ও সাতটি জীববৈজ্ঞানিক ক্ষেত্রজুড়ে বিশেষজ্ঞ-রচিত 750টি কাজ রয়েছে.

LifeSciBench মাপে AI সিস্টেম বাস্তবসম্মত জীবনবিজ্ঞান গবেষণা-কাজে সহায়তা করতে পারে কি না, শুধু জীববিজ্ঞানের প্রশ্নের উত্তর দিতে পারে কি না নয়. বেঞ্চমার্কের শ্রেণিবিন্যাস নির্ধারণে আমরা কর্মরত জীবনবিজ্ঞানীদের কাছে জানতে চেয়েছি, প্রয়োগমুখী গবেষণায় তারা কোন কর্মপ্রবাহ সবচেয়ে বেশি ব্যবহার করেন. এরপর তাদের উত্তর সাতটি পুনরাবৃত্ত শ্রেণিতে ভাগ করেছি: প্রমাণ ব্যবস্থাপনা, বিশ্লেষণ, নকশা ও অপ্টিমাইজেশন, বৈজ্ঞানিক যুক্তি, যাচাই ও অপারেশন, ট্রান্সলেশন, এবং বৈজ্ঞানিক যোগাযোগ.

প্রতিটি কাজ এমন অনুরোধের মতো সাজানো, যা একজন বিজ্ঞানী কোনো জ্ঞানী সহকর্মীকে দিতে পারেন: বৈজ্ঞানিক প্রম্পট, প্রাসঙ্গিক প্রসঙ্গ বা আর্টিফ্যাক্ট, এবং মুক্ত-উত্তর. বিশেষজ্ঞ-লিখিত রুব্রিক মূল্যায়ন করে কোনো মডেল নির্দিষ্ট সমস্যার সঠিক উত্তর, যথাযথ মাত্রার বিস্তারিত, যুক্তি, সতর্কতা ও বিজ্ঞানীর প্রত্যাশিত ফরম্যাট দিতে পারে কি না.

LifeSciBench বৈজ্ঞানিক যুক্তির পাশাপাশি বাস্তব ব্যবহারের জন্য প্রয়োজনীয় কম-সুনির্দিষ্ট ব্যবহারিক দক্ষতাও মূল্যায়ন করে. এর কাজগুলো মডেলকে বাস্তব গবেষণা-সমস্যার মধ্য দিয়ে এগোতে বলে: প্রমাণ ব্যাখ্যা করা, ক্ষেত্রভিত্তিক বিচার করা, এবং বিশেষজ্ঞ পর্যালোচকের কাজে লাগবে এমন উপসংহার জানানো. অনেক কাজে মডেলকে শুধু প্রম্পট টেক্সটের ওপর নির্ভর না করে অনিশ্চয়তা সামলাতে এবং সহায়ক ডেটা ফাইল নিয়ে যুক্তি করতে হয়.

বেঞ্চমার্কটি জীবনবিজ্ঞানের কাজের জটিলতা প্রতিফলিত করার জন্য নকশা করা হয়েছে. মোটের ওপর, 79% কাজে একাধিক যুক্তি বা সিদ্ধান্ত-গ্রহণ ধাপ দরকার, প্রতি কাজে গড়ে চারটি ধাপ. LifeSciBench-এ চিত্র, PDF, টেবিল, সিকোয়েন্স ফাইল, স্ট্রাকচার বা রাসায়নিক ফাইল এবং ওয়েব রেফারেন্স মিলিয়ে 1,062টি সংযুক্ত আর্টিফ্যাক্ট আছে. অর্ধেকের বেশি কাজ (53%) অন্তত একটি আর্টিফ্যাক্ট থেকে তথ্য ব্যাখ্যা বা সংশ্লেষ করতে মডেলকে বাধ্য করে.

বিভিন্ন জীবনবিজ্ঞান শাখার 173 জন বিশেষজ্ঞ বিজ্ঞানী কাজগুলো তৈরি করেছেন. প্রতিটি বিজ্ঞানীর Ph.D.-স্তরের প্রশিক্ষণ এবং বায়োটেকনোলজি বা ফার্মাসিউটিক্যাল শিল্পের অভিজ্ঞতা ছিল. গ্রহণের আগে কাজগুলো প্রয়োজনমতো যতবার দরকার সংশোধিত হতে পারত, রাউন্ডের কোনো নির্দিষ্ট সীমা ছিল না; গৃহীত কাজে গড়ে ছয়টি স্বনির্দেশিত স্বয়ংক্রিয় পর্যালোচনা চক্র এবং অন্তত দুই রাউন্ড বিশেষজ্ঞ পর্যালোচনা সম্পন্ন হয়েছে. পর্যালোচনাগুলো যাচাইযোগ্য সঠিক উত্তর অথবা শক্তিশালী বিশেষজ্ঞ ঐকমত্যে ভিত্তিসম্পন্ন ছিল, সংশ্লিষ্ট ক্ষেত্রে পর্যালোচকদের মধ্যে অন্তত 90% সম্মতি ছিল. এই প্রক্রিয়া নিশ্চিত করতে সাহায্য করেছে যে গৃহীত কাজগুলো বৈজ্ঞানিকভাবে ভিত্তিসম্পন্ন, মূল্যায়নের জন্য যথেষ্ট পরিষ্কার, এবং প্রয়োগমুখী গবেষণার প্রতিনিধি.

LifeSciBench-এর কাজগুলো বিস্তারিত, কাজ-নির্দিষ্ট রুব্রিক দিয়ে গ্রেড করা হয়, যা প্রত্যাশিত উত্তরকে নির্দিষ্ট বৈজ্ঞানিক দাবি, হিসাব, সিদ্ধান্ত, যুক্তি ইত্যাদিতে ভাগ করে. পুরো বেঞ্চমার্কে বিশেষজ্ঞ-উন্নত রুব্রিকে 19,020টি মানদণ্ড আছে—প্রতি কাজে গড়ে 25টি—যা বৈজ্ঞানিক সঠিকতা ও গবেষণা সিদ্ধান্তে উপযোগিতা উভয়ই মূল্যায়ন করে.

এই নকশা বাস্তবে বৈজ্ঞানিক কাজ কীভাবে মূল্যায়িত হয় তা প্রতিফলিত করে: অনেক জীবনবিজ্ঞান কাজ শুধু চূড়ান্ত উত্তর দেখে গ্রেড করা যায় না. কোনো উত্তর উচ্চ-স্তরের সঠিক উপসংহারে পৌঁছাতে পারে, কিন্তু যদি তা গুরুত্বপূর্ণ অ্যাসে-সীমাবদ্ধতা এড়িয়ে যায় বা অত্যন্ত ফলপ্রসূ কোনো জীববৈজ্ঞানিক সূক্ষ্মতা আগে থেকে না তোলে, তবে সেটি অসম্পূর্ণ ধরা হতে পারে. উল্টোভাবে, কোনো আংশিক উত্তরে কাজটি পুরো সমাধান না হলেও উচ্চমানের যুক্তি থাকতে পারে.

সূক্ষ্ম রুব্রিকগুলো এই পার্থক্য ধরতে পারে. LifeSciBench শুধু চূড়ান্ত উত্তরের সঠিকতা নয়, কোনো মডেল বৈজ্ঞানিকভাবে বৈধ ও কার্যগতভাবে উপযোগী পথে উত্তরে পৌঁছায় কি না তাও মূল্যায়ন করে.

আমরা স্বাধীন বিশেষজ্ঞ পর্যালোচনার মাধ্যমে LifeSciBench যাচাই করেছি. প্রতিক্রিয়া এসেছে 453 জন পর্যালোচকের কাছ থেকে, যারা কাজ লেখায় যুক্ত ছিলেন না. এই পর্যালোচকদের 97% Ph.D. বা সমমানের ডক্টরেটধারী; তাদের গড়ে 12 বছরের ক্ষেত্র-অভিজ্ঞতা ও 14টি পিয়ার-রিভিউড প্রকাশনা ছিল; 88% অন্তত একটি পুরস্কার বা ফেলোশিপ পাওয়ার কথা জানান.

পর্যালোচকেরা স্কোর দিয়েছেন প্রতিটি কাজ শক্তিশালী বেঞ্চমার্ক প্রশ্নের জন্য দরকারি গুণ কতটা প্রতিফলিত করে: বাস্তব গবেষণার সঙ্গে সামঞ্জস্য, বৈজ্ঞানিক যুক্তি ও ক্ষেত্র-দক্ষতার যথাযথ পরীক্ষা, প্রমাণ বা বিশেষজ্ঞ ঐকমত্যে ভিত্তি, এবং মডেল কর্মক্ষমতা মূল্যায়নে সামগ্রিক উপযোগিতা. প্রতিটি শ্রেণিতে সম্মতি 96% ছাড়িয়েছে.

পর্যালোচকদের মন্তব্য পরিমাণগত রেটিংকে আরও শক্তিশালী করেছে:

আমরা দুটি পরিপূরক মেট্রিক রিপোর্ট করি. পাস হার হলো সেই কাজের শতাংশ যেখানে কোনো মডেল কাজ-স্তরের 70% সাফল্য-সীমা পূরণ করে. স্কোর হলো গড় রুব্রিক পুরস্কার, যা সম্পূর্ণ কাজ সমাধান না হলেও পৃথক মানদণ্ডে আংশিক ক্রেডিট দেয়. দুটিই গুরুত্বপূর্ণ, কারণ কোনো বৈজ্ঞানিক কাজের উত্তর পূর্ণাঙ্গ উত্তরের সব শর্ত পূরণ না করেও আংশিকভাবে সঠিক বা উপযোগী হতে পারে.

মডেল কর্মক্ষমতা কাজের ধরন, কর্মপ্রবাহ ও উত্তর ফরম্যাট অনুযায়ী উল্লেখযোগ্যভাবে বদলে যায়.

LifeSciBench দেখায় যে অত্যাধুনিক মডেলগুলো বৈজ্ঞানিক সংশ্লেষ, যোগাযোগ ও কাঠামোবদ্ধ ব্যাখ্যামূলক কাজে তুলনামূলকভাবে সবচেয়ে শক্তিশালী. সর্বমোট পাস হার এখনও মাঝারি, তাই এসব বেঞ্চমার্ক ক্ষেত্র পূর্ণতার অনেক দূরে; তবে GPT‑Rosalind, GPT‑5.5‑এর তুলনায় অর্থবহ অগ্রগতি দেখায়, সামগ্রিক exact pass rate 25.7% থেকে 36.1%-এ উন্নত করে.

মডেল সক্ষমতার অগ্রগতির সবচেয়ে শক্তিশালী দিক দেখা যায় বৈজ্ঞানিক যোগাযোগ ও ট্রান্সলেশনে. যেমন, বৈজ্ঞানিক যোগাযোগে পাস হার GPT‑5.5‑এর 56.3% থেকে GPT‑Rosalind‑এর 71.1%-এ ওঠে; এই শ্রেণি ছোট (n=9), তাই সতর্কভাবে ব্যাখ্যা করা উচিত, তবে এটি ইঙ্গিত দেয় যে অত্যাধুনিক মডেল প্রমাণ সংগঠিত করা ও বিশেষজ্ঞমুখী বিশ্বাসযোগ্য ব্যাখ্যা তৈরিতে দ্রুত উন্নতি করছে. ট্রান্সলেশন, অর্থাৎ ওষুধ উন্নয়নের "বেঞ্চ থেকে শয্যাপাশে" প্রক্রিয়া, একই ধারা দেখায়: GPT‑5.5‑এর 36.8% থেকে GPT‑Rosalind‑এর 57.7%-এ ওঠে, যা ইঙ্গিত করে মডেলগুলো প্রাক্-ক্লিনিক্যাল প্রমাণকে ক্লিনিক্যাল তাৎপর্যের সঙ্গে যুক্ত করার ক্ষমতায় দ্রুত উন্নত হচ্ছে.

রুব্রিক-স্তরের ফলও একই দিকে ইঙ্গিত করে. বিশেষজ্ঞের কাজে লাগে বা কার্যকর করা যায় এমন আউটপুট দরকার এমন কাজে GPT‑Rosalind স্কোর করে 44.7%, যেখানে GPT‑5.5 করে 29.1%. অনিশ্চয়তা ও সতর্কতা সামলানো দরকার এমন কাজে এর স্কোর 44.8%, তুলনায় 29.3%. এই ধারা দেখায়, কাজের প্রমাণসীমা পরিষ্কার এবং কাঠামোবদ্ধ বৈজ্ঞানিক বিচার দরকার হলে মডেলগুলো সবচেয়ে বেশি উপযোগী.

আর্টিফ্যাক্ট-নির্ভর, নকশা-নির্ভর ও কার্যগতভাবে সীমাবদ্ধ বৈজ্ঞানিক কাজে কর্মক্ষমতা অনেক দুর্বল থাকে. বিশেষ করে, নকশা, অপ্টিমাইজেশন, & পূর্বাভাস এখনও সবচেয়ে কঠিন কর্মপ্রবাহগুলোর একটি, যেখানে GPT‑Rosalind পাস হার 30.7%; বিশ্লেষণও 30.3% নিয়ে একইভাবে কঠিন.

আর্টিফ্যাক্ট ব্যবহার একটি বিশেষভাবে স্পষ্ট ঘাটতি. আর্টিফ্যাক্ট-নির্ভর পরিবেশে GPT‑Rosalind, GPT‑5.5‑এর চেয়ে ভালো করলেও, শুধু টেক্সট কাজের 45.1% থেকে আর্টিফ্যাক্ট বা URL-সহ কাজে এর পাস হার 28.1%-এ নেমে যায়. GPT‑5.5‑ও একই ধারা দেখায়, 29.9% থেকে 21.9%-এ নেমে যায়. আরও বিস্তারিত বিশ্লেষণ নিশ্চিত করে যে অত্যাধুনিক মডেল জটিল চিত্র বা বড় সিকোয়েন্স ফাইল থেকে তথ্য বের করে তা চূড়ান্ত উত্তরে একীভূত করতে হিমশিম খায়.

উত্তরের ফরম্যাটও গুরুত্বপূর্ণ. যেসব কাজে নির্ভুল সিকোয়েন্স, স্ট্রাকচার বা construct-স্তরের আউটপুট দরকার, সেগুলোতে পাস হার কম: GPT‑Rosalind সংখ্যাগত কাজে মাত্র 14.8% এবং সিকোয়েন্স বা স্ট্রাকচার আউটপুটে 24.0% পায়. Construct-generation কাজও ভঙ্গুর; GPT‑Rosalind 27.3% পায় এবং GPT‑5.5‑এর তুলনায় সামান্য উন্নতি দেখায়. এই ফাঁকের কিছুটা exact-answer কাজের কঠোর গ্রেডিং পৃষ্ঠের কারণে হতে পারে, যেখানে হিসাব বা ফরম্যাটিংয়ের ছোট পার্থক্যই উত্তরকে পাস সীমার নিচে নামিয়ে দিতে পারে. তবু এসব ব্যর্থতা বৈজ্ঞানিকভাবে অর্থবহ, কারণ অনেক জীবনবিজ্ঞান কর্মপ্রবাহে এমন আউটপুট দরকার যা সরাসরি ব্যবহার করার মতো যথেষ্ট নির্ভুল, যেমন CRISPR/HDR donor design বা siRNA design.

মডেলগুলো প্রায়ই কিছুটা পথ এগোয়, কিন্তু কাজ পুরো সমাধান করতে পারে না. প্রায় 14% কাজে, exact-pass সীমা পূরণ না করেও মডেলগুলো উল্লেখযোগ্য রুব্রিক ক্রেডিট পেয়েছে. GPT‑Rosalind‑এর ক্ষেত্রে, 109টি কাজের পাস হার 20%-এর নিচে ছিল, তবু অন্তত 50% রুব্রিক পুরস্কার পেয়েছে. বাস্তবে এর অর্থ, মডেল প্রাসঙ্গিক প্রমাণ শনাক্ত করতে বা সম্ভাব্য আংশিক উত্তর দিতে পারে, কিন্তু কোনো মূল সীমাবদ্ধতা বাদ দেওয়া, ভুল প্রমাণ ব্যবহার, অসম্পূর্ণ হিসাব করা, বা যুক্তিকে বৈজ্ঞানিকভাবে উপযোগী চূড়ান্ত সিদ্ধান্তের সঙ্গে না যুক্ত করার কারণে ব্যর্থ হয়.

LifeSciBench জীবনবিজ্ঞান গবেষণায় AI সিস্টেম কতটা উপযোগী হতে পারে তা মাপার দিকে একটি পদক্ষেপ, কিন্তু এটি সরাসরি গবেষণা পরিবেশে মডেল অধ্যয়নের বিকল্প নয়. বেঞ্চমার্কটি পুনরাবৃত্ত শিল্প-কর্মপ্রবাহ প্রতিফলিত করা স্বয়ংসম্পূর্ণ কাজে কেন্দ্রীভূত, তবে অনেক বৈজ্ঞানিক বিশেষত্ব ও কাজের ধরন এখনও এর বর্তমান পরিসরের বাইরে. বাস্তব গবেষণা পুনরাবৃত্তিমূলক: বিজ্ঞানীরা নতুন প্রমাণ সংগ্রহ করেন, অনুমান সংশোধন করেন, follow-up পরীক্ষা নকশা করেন, এবং ফল আসার সঙ্গে সঙ্গে পরিকল্পনা বদলান.

তাই LifeSciBench-এ শক্তিশালী কর্মক্ষমতাকে বাস্তবসম্মত কাজ-স্তরের সক্ষমতার প্রমাণ হিসেবে ব্যাখ্যা করা উচিত, downstream গবেষণা-প্রভাবের সরাসরি মাপ হিসেবে নয়. বেঞ্চমার্কটি শিল্প-কর্মপ্রবাহে ভিত্তিসম্পন্ন, কিন্তু সরাসরি গবেষণা কর্মসূচির পূর্ণ বৈচিত্র্য বা গতিশীলতা ধরতে পারে না, যেখানে অগ্রগতি সময়ের সঙ্গে উদ্ভাসিত নানা উপাদানের ওপর নির্ভর করে.

পরবর্তী ধাপ হলো বেঞ্চমার্ক কর্মক্ষমতাকে সরাসরি গবেষণা কর্মপ্রবাহে deployment study-এর সঙ্গে যুক্ত করা. LifeSciBench কর্মরত বিজ্ঞানীদের সঙ্গে তৈরি হলেও, AI সিস্টেম আবিষ্কার ত্বরান্বিত করে বা R&D ফল উন্নত করে কি না মাপতে হলে বাস্তব গবেষণা পরিবেশে, দীর্ঘ সময়জুড়ে, এবং যুক্তি, প্রতিক্রিয়া ও পরীক্ষামূলক follow-up-এর একাধিক রাউন্ডে মডেল ব্যবহার ও কর্মক্ষমতা অধ্যয়ন করতে হবে.