ব্যবসার জন্য AI-এর পরবর্তী অধ্যায়কে কীভাবে ইভ্যাল পরিচালিত করে

বিশ্বজুড়ে এক মিলিয়নেরও বেশি ব্যবসা প্রতিষ্ঠান⁠ বৃহত্তর দক্ষতা এবং মূল্য সৃষ্টির জন্য AI ব্যবহার করছে। কিন্তু কিছু সংস্থা তাদের প্রত্যাশিত ফলাফল পেতে সংগ্রাম করেছে। এই ব্যবধানের কারণ কী?

OpenAI-তে আমরা আমাদের উচ্চাভিলাষী লক্ষ্য অর্জনের জন্য অভ্যন্তরীণভাবে AI ব্যবহার করছি। আমরা যে প্রধান সরঞ্জামগুলির একটি ব্যবহার করি তা হলো ইভ্যালস, যা একটি AI সিস্টেমের প্রত্যাশা পূরণের ক্ষমতা পরিমাপ এবং উন্নত করার পদ্ধতি। 

পণ্যের প্রয়োজনীয়তার নথির মতো, ইভ্যাল অস্পষ্ট লক্ষ্য এবং বিমূর্ত ধারণাগুলিকে নির্দিষ্ট এবং সুস্পষ্ট করে তোলে। কৌশলগতভাবে মূল্যায়ন ব্যবহার করলে গ্রাহক-মুখী পণ্য বা অভ্যন্তরীণ সরঞ্জাম স্কেলে আরও নির্ভরযোগ্য হয়ে উঠতে পারে, উচ্চ-তীব্রতার ত্রুটি হ্রাস করতে পারে, নেতিবাচক ঝুঁকি থেকে রক্ষা করতে পারে এবং একটি প্রতিষ্ঠানকে উচ্চতর ROI-এর জন্য একটি পরিমাপযোগ্য পথ প্রদান করতে পারে। 

OpenAI-তে, আমাদের মডেলগুলি আমাদের পণ্য, তাই আমাদের গবেষকরা বিভিন্ন ডোমেইনে মডেলগুলি কতটা ভালো পারফর্ম করে তা পরিমাপ করার জন্য কঠোর ফ্রন্টিয়ার ইভ্যাল⁠(একটি নতুন উইন্ডোতে খোলে) ¹ ব্যবহার করেন। যদিও ফ্রন্টিয়ার ইভ্যাল আমাদের আরও ভালো মডেল দ্রুত সরবরাহ করতে সাহায্য করে, তারা একটি নির্দিষ্ট ব্যবসায়িক পরিবেশে একটি নির্দিষ্ট কর্মপ্রবাহে মডেলটি কার্যকর হবে তা নিশ্চিত করার জন্য প্রয়োজনীয় সমস্ত সূক্ষ্মতা প্রকাশ করতে পারে না। এই কারণেই অভ্যন্তরীণ দলগুলি একটি নির্দিষ্ট পণ্য বা অভ্যন্তরীণ কর্মপ্রবাহের মধ্যে কর্মক্ষমতা মূল্যায়নের জন্য ডিজাইন করা কয়েক ডজন কনটেক্সচুয়াল ইভ্যাল তৈরি করেছে। এটি এমনকি ব্যবসায়িক নেতাদের শেখা উচিত কেন এবং কীভাবে তাদের প্রতিষ্ঠানের চাহিদা ও পরিচালনার পরিবেশের সাথে সুনির্দিষ্ট প্রাসঙ্গিক মূল্যায়ন তৈরি করতে হয়। 

এটি ব্যবসায়িক নেতাদের জন্য একটি প্রাইমার যারা তাদের সংস্থায় ইভ্যালগুলি প্রয়োগ করতে চান। প্রতিটি প্রাসঙ্গিক মূল্যায়ন, যা একটি নির্দিষ্ট প্রতিষ্ঠানের কর্মপ্রবাহ বা পণ্যের জন্য তৈরি করা হয়েছে, উন্নয়নের একটি সক্রিয় ক্ষেত্র এবং নির্দিষ্ট প্রক্রিয়াগুলি এখনও উদ্ভূত হয়নি। ফলস্বরূপ, এই নিবন্ধটি একটি বিস্তৃত কাঠামো প্রদান করে যা আমরা অনেক পরিস্থিতিতে কার্যকর হতে দেখেছি। আমরা আশা করি এই ক্ষেত্রটি বিকশিত হবে এবং নির্দিষ্ট ব্যবসায়িক প্রসঙ্গ এবং লক্ষ্যগুলিকে সম্বোধন করে আরও কাঠামো উদ্ভূত হবে। উদাহরণস্বরূপ, একটি অত্যাধুনিক, AI-সক্ষম ভোক্তা পণ্যের জন্য একটি চমৎকার মূল্যায়ন একটি স্ট্যান্ডার্ড অপারেটিং পদ্ধতির উপর ভিত্তি করে অভ্যন্তরীণ অটোমেশনের মূল্যায়নের চেয়ে ভিন্ন প্রক্রিয়া প্রয়োজন হতে পারে। আমরা বিশ্বাস করি যে নীচে উপস্থাপিত কাঠামোটি উভয় ক্ষেত্রেই সেরা অনুশীলনের সংগ্রহ হিসেবে কাজ করবে এবং আপনার প্রতিষ্ঠানের চাহিদা অনুসারে মূল্যায়ন তৈরি করার সময় এটি একটি কার্যকর নির্দেশিকা হবে।

একটি ছোট, ক্ষমতায়িত দল দিয়ে শুরু করুন যা আপনার AI সিস্টেমের উদ্দেশ্যটি সরল ভাষায় লিখতে পারে, উদাহরণস্বরূপ: "ব্র্যান্ডের সাথে সামঞ্জস্য রেখে যোগ্য ইনবাউন্ড ইমেলগুলোকে নির্ধারিত ডেমোতে রূপান্তর করুন।"

এই দলে কারিগরি এবং ডোমেইন দক্ষতা সম্পন্ন ব্যক্তিদের মিশ্রণ থাকা উচিত (উদাহরণস্বরূপ, আপনি দলে বিক্রয় বিশেষজ্ঞদের চাইবেন)। তাদের পরিমাপের জন্য সবচেয়ে গুরুত্বপূর্ণ ফলাফলগুলি বর্ণনা করতে সক্ষম হওয়া উচিত, কর্মপ্রবাহের শুরু থেকে শেষ পর্যন্ত রূপরেখা তৈরি করা উচিত এবং আপনার AI সিস্টেম যে প্রতিটি গুরুত্বপূর্ণ সিদ্ধান্তের মুখোমুখি হবে তা চিহ্নিত করা উচিত। ওয়ার্কফ্লোর প্রতিটি ধাপের জন্য, দলের সাফল্য কেমন হবে এবং কী এড়ানো উচিত তা নির্ধারণ করা উচিত। এই প্রক্রিয়াটি কয়েক ডজন উদাহরণ ইনপুটের একটি মানচিত্র তৈরি করবে (যেমন ইনবাউন্ড ইমেল) সিস্টেমটি যে আউটপুট তৈরি করতে চায় তা উৎপন্ন করতে পাঠায়। ফলস্বরূপ গোল্ডেন সেট উদাহরণগুলি আপনার সবচেয়ে দক্ষ বিশেষজ্ঞদের বিচারবুদ্ধি এবং "দুর্দান্ত" দেখতে কেমন তা দেখার রুচির একটি জীবন্ত, প্রামাণিক রেফারেন্স হওয়া উচিত।

কোল্ড স্টার্ট নিয়ে অভিভূত হবেন না অথবা একবারে সব সমাধান করার চেষ্টা করবেন না। প্রক্রিয়াটি পুনরাবৃত্তিমূলক এবং বিশৃঙ্খল। প্রাথমিক প্রোটোটাইপিং অত্যন্ত সহায়ক হতে পারে। সিস্টেমের প্রাথমিক সংস্করণ থেকে 50 থেকে 100-টি আউটপুট পর্যালোচনা করলে আপনার সিস্টেম কীভাবে এবং কখন ব্যর্থ হচ্ছে তা উদঘাটন করা যাবে। এই “ত্রুটি বিশ্লেষণ” আপনার সিস্টেমের উন্নতির সাথে সাথে বিভিন্ন ত্রুটি (এবং তাদের ফ্রিকোয়েন্সি) ট্র্যাক করার জন্য একটি শ্রেণীবিন্যাস তৈরি করবে।

এই প্রক্রিয়াটি সম্পূর্ণরূপে প্রযুক্তিগত নয় - এটি আন্তঃকার্যকরী এবং ব্যবসায়িক লক্ষ্য এবং কাঙ্ক্ষিত প্রক্রিয়াগুলি সংজ্ঞায়িত করার উপর কেন্দ্রীভূত। গ্রাহকদের বা পণ্য, বিক্রয় বা মানব সম্পদের মতো অন্যান্য দলের চাহিদার জন্য কোনটি সবচেয়ে ভালো সেবা প্রদান করে তা বিচার করার জন্য কারিগরি দলগুলিকে বিচ্ছিন্নভাবে জিজ্ঞাসা করা উচিত নয়। ফলস্বরূপ, ডোমেন বিশেষজ্ঞ, প্রযুক্তিগত নেতৃত্ব এবং অন্যান্য মূল স্টেকহোল্ডারদের মালিকানা শেয়ার করা উচিত। 

পরবর্তী ধাপটি হলো পরিমাপ করা। পরিমাপের লক্ষ্য হলো সিস্টেমটি কখন এবং কীভাবে ব্যর্থ হচ্ছে তার নির্ভরযোগ্যভাবে সুনির্দিষ্ট উদাহরণ তুলে ধরা। এটি করার জন্য, একটি নিবেদিত পরীক্ষার পরিবেশ তৈরি করুন যা বাস্তব-বিশ্বের পরিস্থিতির সাথে ঘনিষ্ঠভাবে মিলে যায়—শুধু একটি ডেমো বা নির্দেশ প্লেগ্রাউন্ড নয়। আপনার সিস্টেম আসলে যে চাপ এবং প্রান্তিক পরিস্থিতির মুখোমুখি হবে, সেই একই চাপ এবং প্রান্তিক পরিস্থিতির অধীনে আপনার গোল্ডেন সেট এবং ত্রুটি বিশ্লেষণের সাথে কর্মক্ষমতা মূল্যায়ন করুন।

রুব্রিকগুলি আপনার সিস্টেম থেকে আউটপুট বিচার করার ক্ষেত্রে সুনির্দিষ্টতা আনতে সাহায্য করতে পারে, তবে আপনার সামগ্রিক লক্ষ্যগুলির মূল্যে ভাসাভাসা বিষয়গুলিকে অতিরিক্ত গুরুত্ব দেওয়া সম্ভব। তাছাড়া, কিছু গুণাবলী পরিমাপ করা কঠিন বা অসম্ভব। কিছু ক্ষেত্রে, ঐতিহ্যবাহী ব্যবসায়িক মেট্রিক্স গুরুত্বপূর্ণ হবে। অন্যান্য ক্ষেত্রে, আপনাকে নতুন মেট্রিক্স উদ্ভাবন করতে হবে। আপনার বিষয় বিশেষজ্ঞদের পুরো প্রক্রিয়ায় অবগত রাখুন এবং প্রক্রিয়াটিকে আপনার মূল লক্ষ্যের সাথে দৃঢ়ভাবে সামঞ্জস্য করুন।

সিস্টেমটি কার্যকরভাবে পরীক্ষা করার জন্য, যখনই সম্ভব বাস্তব-বিশ্বের পরিস্থিতি থেকে উদাহরণ ব্যবহার করুন এবং এমন কিছু বিরল কিন্তু ভুলভাবে পরিচালিত হলে ব্যয়বহুল এজ কেস অন্তর্ভুক্ত করুন বা উদ্ভাবন করুন। 

কিছু মূল্যায়ন LLM গ্রেডার ব্যবহারের মাধ্যমে স্কেল করা যেতে পারে, একটি AI মডেল যা একজন বিশেষজ্ঞের মতোই আউটপুট গ্রেড করে; তবুও, একজন মানুষকে প্রক্রিয়ার মধ্যে রাখা এখনও গুরুত্বপূর্ণ। আপনার ডোমেইন বিশেষজ্ঞকে নিয়মিতভাবে LLM গ্রেডারদের নির্ভুলতা নিরীক্ষণ করতে হবে এবং আপনার সিস্টেমের আচরণের লগগুলি সরাসরি পর্যালোচনা করতে হবে। 

ইভ্যালগুলি আপনাকে সিদ্ধান্ত নিতে সহায়তা করতে পারে যে কখন কোনো সিস্টেম চালু করার জন্য প্রস্তুত, তবে তারা লঞ্চের পরেও থামে না। ক্রমাগত আপনার সিস্টেমের বাস্তব ইনপুট থেকে উৎপন্ন আসল আউটপুটগুলির গুণমান আপনার পরিমাপ করা উচিত। যেকোনো পণ্যের মতো, আপনার শেষ ব্যবহারকারীদের (বাহ্যিক বা অভ্যন্তরীণ) থেকে সংকেতগুলি বিশেষভাবে গুরুত্বপূর্ণ এবং সেগুলি আপনার মূল্যায়নে অন্তর্ভুক্ত করা উচিত।

শেষ ধাপটি ক্রমাগত উন্নতির জন্য একটি প্রক্রিয়া স্থাপন করা। আপনার ইভ্যাল দ্বারা আবিষ্কৃত সমস্যাগুলি সমাধান করার বিভিন্ন উপায় হতে পারে: নির্দেশগুলি পরিমার্জন করা, ডেটা অ্যাক্সেস সামঞ্জস্য করা, আপনার লক্ষ্যগুলিকে আরও ভালোভাবে প্রতিফলিত করার জন্য ইভ্যাল নিজেই আপডেট করা, ইত্যাদি। আপনি নতুন ধরনের ত্রুটি আবিষ্কার করার সাথে সাথে, আপনার ত্রুটি বিশ্লেষণে সেগুলি যুক্ত করুন এবং সেগুলি সমাধান করুন। প্রতিটি পুনরাবৃত্তি পূর্বেরটির উপর ভিত্তি করে গড়ে ওঠে: নতুন মানদণ্ড এবং সিস্টেমের আচরণের স্পষ্ট প্রত্যাশা নতুন প্রান্তিক ঘটনা এবং সূক্ষ্ম, একগুঁয়ে সমস্যাগুলি সংশোধনের জন্য প্রকাশ করতে সহায়তা করে।

এই পুনরাবৃত্তি সহায়তা করার জন্য, একটি ডেটা ফ্লাইহুইল তৈরি করুন। ইনপুট, আউটপুট এবং ফলাফল লগ করুন; একটি নির্ধারিত সময়সূচীতে সেই লগগুলির নমুনা নিন এবং অস্পষ্ট বা ব্যয়বহুল কেসগুলিকে স্বয়ংক্রিয়ভাবে বিশেষজ্ঞ পর্যালোচনার জন্য পাঠান। আপনার মূল্যায়ন এবং ত্রুটি বিশ্লেষণে এই বিশেষজ্ঞ রায়গুলি যোগ করুন, তারপর সেগুলি নির্দেশ, সরঞ্জাম বা মডেল আপডেট করতে ব্যবহার করুন। এই লুপের মাধ্যমে আপনি সিস্টেমের প্রতি আপনার প্রত্যাশাগুলিকে আরও স্পষ্টভাবে সংজ্ঞায়িত করবেন, সেই প্রত্যাশাগুলির সাথে এটিকে আরও দৃঢ়ভাবে সামঞ্জস্য করবেন এবং ট্র্যাক করার জন্য অতিরিক্ত প্রাসঙ্গিক আউটপুট এবং ফলাফল চিহ্নিত করবেন। এই প্রক্রিয়াটি বৃহৎ পরিসরে স্থাপন করলে একটি বড়, স্বতন্ত্র, প্রসঙ্গ-নির্দিষ্ট ডেটাসেট তৈরি হয় যা অনুলিপি করা কঠিন - এটি একটি মূল্যবান সম্পদ যা আপনার প্রতিষ্ঠান আপনার বাজারে সেরা পণ্য বা প্রক্রিয়া তৈরি করার সময় ব্যবহার করতে পারে। 

যদিও ইভ্যালস আপনার AI সিস্টেমকে উন্নত করার জন্য একটি পদ্ধতিগত উপায় তৈরি করে, নতুন ব্যর্থতার মোড উদ্ভূত হতে পারে। বাস্তবে, মডেল, তথ্য এবং ব্যবসায়িক লক্ষ্যগুলি বিকশিত হওয়ার সাথে সাথে ইভ্যালগুলিকেও ক্রমাগত বজায় রাখতে হবে, প্রসারিত করতে হবে এবং চাপ-পরীক্ষা করতে হবে।

বাহ্যিক-মুখী স্থাপনার জন্য, ইভ্যাল আরও ঐতিহ্যবাহী A/B পরীক্ষা এবং পণ্য পরীক্ষা-নিরীক্ষার বিকল্প নয়। এগুলি ঐতিহ্যবাহী পরীক্ষা-নিরীক্ষার পরিপূরক যা একে অপরকে নির্দেশনা দিতে এবং আপনি যে পরিবর্তনগুলি করেন সেগুলি বাস্তব-বিশ্বের কর্মক্ষমতাকে কীভাবে প্রভাবিত করে তা দৃশ্যমান করতে সহায়তা করতে পারে। 

প্রতিটি বড় প্রযুক্তিগত পরিবর্তন কর্মক্ষম উৎকর্ষতা এবং প্রতিযোগিতামূলক সুবিধাকে পুনর্গঠন করে। OKR এবং KPI-এর মতো কাঠামো সংস্থাগুলিকে বিগ ডেটা অ্যানালিটিক্সের যুগে তাদের বিজনেসের জন্য "কী গুরুত্বপূর্ণ তা পরিমাপ করা"-এর দিকে মনোনিবেশ করতে সহায়তা করেছে। ইভ্যাল হলো AI যুগের জন্য পরিমাপের প্রাকৃতিক সম্প্রসারণ।

সম্ভাব্যতামূলক সিস্টেমের সাথে কাজ করতে হলে নতুন ধরনের পরিমাপ এবং বিনিময়ের গভীরতর বিবেচনা প্রয়োজন। নেতাদের অবশ্যই সিদ্ধান্ত নিতে হবে কখন নির্ভুলতা অপরিহার্য, কখন তারা আরও নমনীয় হতে পারেন এবং কীভাবে গতি ও নির্ভরযোগ্যতার ভারসাম্য বজায় রাখা যায়।

ইভ্যাল বাস্তবায়ন করা কঠিন, একই যুক্তিবিচারের জন্য যে দুর্দান্ত পণ্য তৈরি করা কঠিন; এর জন্য কঠোর হওয়া, দূরদর্শী হওয়া এবং রুচির প্রয়োজন। যদি সঠিকভাবে করা হয়, তবে মূল্যায়নগুলি বিশেষ পার্থক্যকারী হয়ে ওঠে। একটি বিশ্বে যেখানে তথ্য বিশ্বব্যাপী অবাধে পাওয়া যায় এবং দক্ষতা গণতন্ত্রায়িত হয়েছে, আপনার সুবিধা নির্ভর করে আপনার সিস্টেমগুলি আপনার প্রসঙ্গে কতটা দক্ষতার সাথে কার্যকর করতে পারে তার উপর। আপনার সিস্টেমের উন্নতির সাথে সাথে দৃঢ় মূল্যায়ন যৌগিক সুবিধা এবং প্রাতিষ্ঠানিক জ্ঞান তৈরি করে। 

মূলত, ইভ্যাল হলো ব্যবসায়িক প্রসঙ্গ এবং উদ্দেশ্যগুলির গভীর বোঝাপড়া। আপনার ব্যবহারের ক্ষেত্রে “দুর্দান্ত” অর্থ কী তা যদি আপনি সংজ্ঞায়িত করতে না পারেন, তবে আপনি এটি অর্জন করতে পারবেন না। এই অর্থে, মূল্যায়নগুলি AI যুগের একটি গুরুত্বপূর্ণ শিক্ষা তুলে ধরে: ব্যবস্থাপনা দক্ষতা হলো AI দক্ষতা। স্পষ্ট লক্ষ্য, সরাসরি প্রতিক্রিয়া, বিচক্ষণ বিচার এবং আপনার মূল্য প্রস্তাবনা, কৌশল এবং প্রক্রিয়াগুলির স্পষ্ট বোঝাপড়া এখনও গুরুত্বপূর্ণ, সম্ভবত আগের চেয়েও বেশি।

আরও সেরা অনুশীলন এবং ফ্রেমওয়ার্ক আবির্ভূত হওয়ার সাথে সাথে আমরা সেগুলি শেয়ার করব। ইতিমধ্যে, আমরা আপনাকে ইভ্যালগুলির সাথে পরীক্ষা করতে এবং আপনার প্রয়োজনের জন্য কোন প্রক্রিয়াগুলি সবচেয়ে ভালো কাজ করে তা আবিষ্কার করতে উৎসাহিত করছি। শুরু করতে, সমাধান করতে হবে এমন সমস্যাটি এবং আপনার ডোমেইন বিশেষজ্ঞকে চিহ্নিত করুন, আপনার ছোট দলকে একত্রিত করুন এবং যদি আপনি আমাদের API-তে তৈরি করে থাকেন, তবে আমাদের Platform Docs⁠(একটি নতুন উইন্ডোতে খোলে) অন্বেষণ করুন।

“দুর্দান্ত” আশা করবেন না। এটি নির্দিষ্ট করুন, পরিমাপ করুন এবং এর দিকে উন্নতি সাধন করুন।