வணிகங்களுக்கான AI இல் அடுத்தது அத்தியாயத்தை evals (மதிப்பீடு அமைப்புகள்)எவ்வாறு இயக்குகின்றன

உலகெங்கிலும் ஒரு மில்லியனுக்கும் மேற்பட்ட வணிகங்கள்⁠ அதிக செயல்திறன் மற்றும் மதிப்பு உருவாக்கத்தை மேம்படுத்த AI ஐப் பயன்படுத்துகின்றன. ஆனால் சில நிறுவனங்கள் தாங்கள் எதிர்பார்க்கும் முடிவுகளைப் பெறுவதில் சிரமப்பட்டுள்ளன. இடைவெளி ஏற்படுவதற்கு என்ன காரணம்?

OpenAI-இல், எங்கள் லட்சிய இலக்குகளை அடைய AI-ஐ உள்நாட்டில் பயன்படுத்தி வருகிறோம். நாம் பயன்படுத்தும் ஒரு முக்கிய கருவித் தொகுப்பு evals (மதிப்பீடு அமைப்புகள்) ஆகும், அதாவது எதிர்பார்ப்புகளை பூர்த்தி செய்யும் AI அமைப்பின் திறனை அளவிடுவதற்கும் மேம்படுத்துவதற்கும் உள்ள முறைகள். 

தயாரிப்பு தேவைகள் ஆவணங்களைப் போலவே, evals (மதிப்பீடு அமைப்புகள்) தெளிவற்ற இலக்குகளையும் சுருக்கமான கருத்துக்களையும் குறிப்பிட்டதாகவும் வெளிப்படையாகவும் ஆக்குகின்றன. மூலோபாய ரீதியாக evals (மதிப்பீடு அமைப்புகள்) ஐப் பயன்படுத்துவது, வாடிக்கையாளர் எதிர்கொள்ளும் தயாரிப்பு அல்லது உள் கருவியை அளவிலான நம்பகத்தன்மையுடன் மாற்றி, அதிக தீவிர பிழைகளை குறைத்து, எதிர்மறை அபாயத்திலிருந்து பாதுகாத்து, ஒரு நிறுவனத்திற்கு அதிக ROI க்கு அளவிடக்கூடிய பாதையை வழங்குகிறது. 

OpenAI-இல், எங்கள் மாதிரிகள் எங்கள் தயாரிப்புகள், எனவே எங்கள் ஆராய்ச்சியாளர்கள் வெவ்வேறு களங்களில் மாதிரிகள் எவ்வளவு சிறப்பாக செயல்படுகின்றன என்பதை அளவிட கடுமையான முன்னணி மதிப்பீடுகளை⁠(புதிய சாளரத்தில் திறக்கும்) ¹ பயன்படுத்துகின்றனர். எல்லைப்புற மதிப்பீடுகள் சிறந்த மாதிரிகளை விரைவாக அனுப்ப உதவினாலும், அவை ஒரு குறிப்பிட்ட Business சூழலில் ஒரு குறிப்பிட்ட பணிப்பாய்வில் மாதிரி செயல்படுவதை உறுதி செய்வதற்குத் தேவையான அனைத்து நுணுக்கங்களையும் வெளிப்படுத்த முடியாது. அதனால்தான் உள் குழுக்கள் ஒரு குறிப்பிட்ட தயாரிப்பு அல்லது உள் பணிப்பாய்வுக்குள் செயல்திறனை மதிப்பிடுவதற்கு வடிவமைக்கப்பட்ட டஜன் கணக்கான contextual evals உருவாக்கியுள்ளன. அதனால் தான் Business தலைவர்கள் தங்கள் நிறுவனத்தின் தேவைகள் மற்றும் செயல்பாட்டு சூழலுக்கு ஏற்ப குறிப்பிட்ட சூழல் மதிப்பீடுகளை உருவாக்கவும் எப்படி கற்றுக்கொள்ள வேண்டும். 

Business தலைவர்களுக்கு தங்கள் நிறுவனங்களில் evals (மதிப்பீடு அமைப்புகள்)-ஐ பயன்படுத்த விரும்பும் ஒரு முதன்மை இது. ஒவ்வொரு நிறுவனத்தின் பணிப்பாய்வு அல்லது தயாரிப்புக்காக தனித்தனியாக வடிவமைக்கப்பட்ட சூழல் மதிப்பீடுகள், வளர்ச்சியின் செயலில் உள்ள பகுதியாகும், மேலும் உறுதியான செயல்முறைகள் இன்னும் உருவாகவில்லை. இதன் விளைவாக, இந்தக் கட்டுரை பல சூழ்நிலைகளில் நாங்கள் பார்த்த ஒரு பரந்த கட்டமைப்பை வழங்குகிறது. இந்தத் துறை வளர்ச்சியடையும் என்றும், குறிப்பிட்ட Business சூழல்கள் மற்றும் இலக்குகளை நிவர்த்தி செய்யும் கூடுதல் கட்டமைப்புகள் உருவாகும் என்றும் நாங்கள் எதிர்பார்க்கிறோம். எடுத்துக்காட்டாக, ஒரு அதிநவீன, AI செயல்படுத்தும் நுகர்வோர் தயாரிப்புக்கான சிறந்த மதிப்பீடு, ஒரு நிலையான இயக்க நடைமுறையை அடிப்படையாகக் கொண்ட உள் தானியக்கத்திற்கான மதிப்பீட்டை விட வேறுபட்ட செயல்முறையை தேவைப்படலாம். கீழே வழங்கப்பட்டுள்ள கட்டமைப்பு இரண்டு சந்தர்ப்பங்களிலும் சிறந்த நடைமுறைகளின் தொகுப்பாகச் செயல்படும் என்றும், உங்கள் நிறுவனத்தின் தேவைகளுக்கு ஏற்ப மதிப்பீடுகளை உருவாக்கும்போது பயனுள்ள வழிகாட்டியாக இருக்கும் என்றும் நாங்கள் நம்புகிறோம்.

உங்கள் AI அமைப்பின் நோக்கத்தை எளிய வார்த்தைகளில் எழுதக்கூடிய ஒரு சிறிய, அதிகாரம் பெற்ற குழுவுடன் தொடங்குங்கள், எடுத்துக்காட்டாக: "பிராண்டில் இருக்கும்போது தகுதிவாய்ந்த உள்வரும் மின்னஞ்சல்களை திட்டமிடப்பட்ட டெமோக்களாக மாற்றவும்."

இந்த குழு தொழில்நுட்ப மற்றும் கள நிபுணத்துவம் பெற்ற தனிநபர்களின் கலவையாக இருக்க வேண்டும் (கொடுக்கப்பட்ட எடுத்துக்காட்டில், குழுவில் விற்பனை நிபுணர்கள் இருக்க வேண்டும் என்று நீங்கள் விரும்புவீர்கள்). அவர்கள் அளவிடுவதற்கான மிக முக்கியமான விளைவுகளை கூற முடியும், பணிப்பாய்வை முழுமையாக கோடிட்டுக் காட்ட முடியும், மேலும் உங்கள் AI அமைப்பு எதிர்கொள்ளும் ஒவ்வொரு முக்கிய முடிவுப் புள்ளியையும் அடையாளம் காண முடியும். அந்த பணிப்பாய்வின் ஒவ்வொரு அடியிலும், வெற்றி எப்படி இருக்கும், எதைத் தவிர்க்க வேண்டும் என்பதை குழு வரையறுக்க வேண்டும். இந்த செயல்முறை பல டஜன் எடுத்துக்காட்டு உள்ளீடுகளின் வரைபடத்தை உருவாக்கும் (எ.கா. (உள்வரும் மின்னஞ்சல்கள்) அமைப்பு உருவாக்க விரும்பும் வெளியீடுகளுக்கு அனுப்புகின்றன. இதன் விளைவாக உருவாகும் பொன்னான உதாரணங்கள் உங்கள் மிகவும் திறமையான நிபுணர்களின் தீர்ப்பு மற்றும் "பெரியது" எப்படிப் போல் இருக்கும் என்பதற்கான சுவையின் உயிருள்ள, அதிகாரபூர்வமான குறிப்பாக இருக்க வேண்டும்.

திடீர் தொடக்கத்தால் திகைக்காதீர்கள் அல்லது அதனை ஒரே நேரத்தில் தீர்க்க முயற்சிக்காதீர்கள். செயல்முறை சுழற்சி முறைமையானது மற்றும் குழப்பமானது. ஆரம்பகால முன்மாதிரி மிகவும் உதவும். கணினியின் ஆரம்ப பதிப்பிலிருந்து 50 முதல் 100 வெளியீடுகளை மதிப்பாய்வு செய்வது உங்கள் கணினி எவ்வாறு, எப்போது தோல்வியடைகிறது என்பதைக் கண்டறிய உதவும். இந்த “பிழை பகுப்பாய்வு” உங்கள் கணினி மேம்படும் போது கண்காணிக்க வெவ்வேறு பிழைகள் (மற்றும் அவற்றின் அதிர்வெண்கள்) வகைப்பாட்டை உருவாக்கும்.

இந்த செயல்முறை முற்றிலும் தொழில்நுட்பமானது அல்ல - இது பல்துறை மற்றும் Business இலக்குகள் மற்றும் விரும்பிய செயல்முறைகளை வரையறுப்பதை மையமாகக் கொண்டது. வாடிக்கையாளர்களுக்கு எது சிறந்தது அல்லது தயாரிப்பு, விற்பனை அல்லது HR போன்ற பிற குழிகளின் தேவைகளை தீர்மானிக்க தொழில்நுட்ப குழுக்கள் தனிமைப்படுத்தப்படக்கூடாது. இதனால், களத்தின் வல்லுநர்கள், தொழில்நுட்பத் தலைவர்கள் மற்றும் பிற முக்கிய பங்குதாரர்கள் உரிமையைப் பகிர்ந்து கொள்ள வேண்டும். 

அடுத்தது படி அளவிடுவது ஆகும். அளவீட்டின் நோக்கம், அமைப்பு எப்போது மற்றும் எவ்வாறு தோல்வியடைகிறது என்பதற்கான தெளிவான எடுத்துக்காட்டுகளை நம்பத்தகுந்த முறையில் வெளிப்படுத்துவதாகும். அதைச் செய்ய, வெறும் டெமோ அல்லது தூண்டி Playground அல்லாமல், நிஜ உலக நிலைமைகளை நெருக்கமாகப் பிரதிபலிக்கும் ஒரு பிரத்யேக சோதனை சூழலை உருவாக்கவும். உங்கள் அமைப்பு உண்மையில் எதிர்கொள்ளும் அதே அழுத்தங்கள் மற்றும் விளிம்பு நிலைகளின் கீழ், உங்கள் கோல்டன் செட் மற்றும் பிழை பகுப்பாய்விற்கு எதிராக செயல்திறனை மதிப்பீடு செய்க.

உங்கள் அமைப்பின் வெளியீடுகளை மதிப்பீடு செய்ய ரூப்ரிக்ஸ் உறுதியான தன்மையைக் கொண்டுவர உதவலாம், ஆனால் உங்கள் ஒட்டுமொத்த இலக்குகளை இழக்கும் வகையில் மேலோட்டமான உருப்படிகளை அதிகமாக வலியுறுத்துவது சாத்தியமாகும். மேலும், சில பண்புகளை அளவிடுவது கடினம் அல்லது சாத்தியமற்றதாகும். சில சந்தர்ப்பங்களில், பாரம்பரிய வணிக அளவீடுகள் முக்கியமானதாக இருக்கும். மற்றவற்றில், நீங்கள் புதிய அளவீடுகளைக் கண்டுபிடிக்க வேண்டும். உங்கள் பாட நிபுணர்களை முழுவதும் தகவலறிந்தவர்களாக வைத்திருங்கள், மேலும் செயல்முறையை உங்கள் முக்கிய நோக்கங்களுடன் இறுக்கமாக இணைக்கவும்.

அமைப்பை உண்மையில் சோதிக்க, முடிந்தவரை நிஜ உலக சூழ்நிலைகளிலிருந்து பெறப்பட்ட எடுத்துக்காட்டுகளைப் பயன்படுத்தவும், மேலும் அரிதான ஆனால் தவறாகக் கையாளப்பட்டால் விலை உயர்ந்ததாக இருக்கும் எட்ஜ் கேஸ்களைச் சேர்க்கவும் அல்லது கண்டுபிடிக்கவும். 

சில மதிப்பீடுகளை LLM கிரேடரைப் பயன்படுத்தி அளவிட முடியும், இது ஒரு நிபுணர் செய்வது போலவே வெளியீடுகளை தரப்படுத்தும் ஒரு AI மாதிரியாகும்; இருப்பினும், ஒரு மனிதரை சுழற்சியில் வைத்திருப்பது இன்னும் முக்கியம். உங்கள் களம் நிபுணர், LLM மதிப்பீட்டாளர்களின் துல்லியத்தை தொடர்ந்து தணிக்கை செய்ய வேண்டும், மேலும் உங்கள் அமைப்பின் நடத்தையின் பதிவுகளை நேரடியாக மதிப்பாய்வு செய்ய வேண்டும். 

மதிப்பீடு அமைப்புகள் உங்களுக்கு ஒரு அமைப்பு எப்போது தொடங்கத் தயாராக உள்ளது என்பதைத் தீர்மானிக்க உதவலாம், ஆனால் அவை தொடங்குதலுடன் நிற்காது. உண்மையான உள்ளீடுகளிலிருந்து உருவாக்கப்படும் உங்கள் அமைப்பின் உண்மையான வெளியீடுகளின் தரத்தை நீங்கள் தொடர்ந்து அளவிட வேண்டும். எந்தவொரு தயாரிப்பையும் போலவே, உங்கள் இறுதி பயனர்களிடமிருந்து வரும் சமிக்ஞைகள் (வெளிப்புறமாகவோ அல்லது அகமாகவோ) மிகவும் முக்கியமானவை மற்றும் அவை உங்கள் மதிப்பீட்டில் சேர்க்கப்பட வேண்டும்.

தொடர்ச்சியான முன்னேற்றத்திற்கான செயல்முறையை அமைப்பது இறுதி படியாகும். உங்கள் eval மூலம் கண்டறியப்பட்ட சிக்கல்களைத் தீர்ப்பது பல வடிவங்களை எடுக்கலாம்: தூண்டிகளைச் செம்மைப்படுத்துதல், தரவுப் பயன்பாட்டை சரிசெய்தல், உங்கள் இலக்குகளை சிறப்பாகப் பிரதிபலிக்கும் வகையில் eval ஐ புதுப்பித்தல் மற்றும் பல. புதிய வகையான பிழைகளை நீங்கள் கண்டறியும்போது, அவற்றை உங்கள் பிழை பகுப்பாய்வில் சேர்த்து அவற்றை சரிசெய்யவும். ஒவ்வொரு மறு செய்கையும் முந்தையதை மேம்படுத்துகிறது: புதிய அளவுகோல்கள் மற்றும் அமைப்பு நடத்தையின் தெளிவான எதிர்பார்ப்புகள் புதிய விளிம்பு வழக்குகளையும், நுட்பமான மற்றும் பிடிவாதமான சிக்கல்களையும் சரிசெய்ய வெளிப்படுத்த உதவுகின்றன.

இந்த மறு செய்கையை ஆதரவளிக்க, ஒரு தரவு சுழல்சக்கரத்தை உருவாக்கவும். உள்ளீடுகள், வெளியீடுகள் மற்றும் விளைவுகளைப் பதிவு செய்யுங்கள்; அந்த பதிவுகளை ஒரு அட்டவணையில் மாதிரியாக எடுத்து, தெளிவற்ற அல்லது அதிக செலவான வழக்குகளை நிபுணர் மதிப்பாய்வுக்கு தானாகவே அனுப்பவும். இந்த நிபுணர் தீர்ப்புகளை உங்கள் மதிப்பீடு மற்றும் பிழை பகுப்பாய்வில் சேர்க்கவும், பின்னர் அவற்றைப் பயன்படுத்தி தூண்டிகள், கருவிகள் அல்லது மாதிரிகளைப் புதுப்பிக்கவும். இந்த சுழற்சியின் மூலம், நீங்கள் கணினிக்கான உங்கள் எதிர்பார்ப்புகளை இன்னும் தெளிவாக வரையறுப்பீர்கள், அவற்றுக்கு ஏற்ப அதை மேலும் நெருக்கமாகச் சீரமைப்பீர்கள், மேலும் கண்காணிக்க கூடுதல் தொடர்புடைய வெளியீடுகள் மற்றும் விளைவுகளை அடையாளம் காண்பீர்கள். இந்த செயல்முறையை அளவிலான அளவில் பயன்படுத்துவது ஒரு பெரிய, வேறுபட்ட, சூழல் சார்ந்த தரவுத்தொகுப்பை உருவாக்குகிறது, இது நகலெடுப்பது கடினம் - உங்கள் சந்தையில் சிறந்த தயாரிப்பு அல்லது செயல்முறையை உருவாக்கும்போது உங்கள் நிறுவனம் பயன்படுத்தக்கூடிய ஒரு மதிப்புமிக்க சொத்து. 

AI அமைப்பை மேம்படுத்துவதற்கான முறையான வழியை மதிப்பீடுகள் உருவாக்கவும், புதிய தோல்வி முறைகள் தோன்றலாம். நடைமுறையில், மாதிரிகள், தரவு மற்றும் Business இலக்குகள் உருவாகும்போது, மதிப்பீடுகள் தொடர்ந்து பராமரிக்கப்பட வேண்டும், விரிவுபடுத்தப்பட வேண்டும் மற்றும் அழுத்தத்தால் சோதிக்கப்பட வேண்டும்.

வெளிப்புற நோக்கமுள்ள அமைப்புகளுக்கு, ஈவல்ஸ் பாரம்பரிய A/B சோதனைகள் மற்றும் தயாரிப்பு பரிசோதனைகளை மாற்றுவதில்லை. அவை பாரம்பரிய பரிசோதனைகளுக்கு துணையாக இருக்கின்றன, அவை ஒருவருக்கொருவர் வழிகாட்டவும், நீங்கள் செய்யும் மாற்றங்கள் நிஜ உலக செயல்திறனை எவ்வாறு பாதிக்கின்றன என்பதைப் பற்றிய தெளிவை வழங்கவும் உதவும். 

ஒவ்வொரு முக்கியமான தொழில்நுட்ப மாற்றமும் செயல்திறன் சிறப்பையும் போட்டி நன்மையையும் மறுவடிவமைக்கிறது. பெரிய தரவு பகுப்பாய்வுகளின் யுகத்தில், நிறுவனங்கள் தங்கள் Business-ஐ "முக்கியமானவற்றை அளவிடுவதை" மையமாகக் கொண்டு செயல்பட OKRகள் மற்றும் KPIகள் போன்ற கட்டமைப்புகள் உதவியுள்ளன. மதிப்பீடு அமைப்புகள் என்பது AI காலத்திற்கான அளவீட்டின் இயல்பான நீட்டிப்பாகும்.

நிகழ்தகவு அமைப்புகளுடன் பணிபுரிவதற்கு புதிய வகையான அளவீடுகள் மற்றும் சமரசங்களைப் பற்றிய ஆழமான பரிசீலனை தேவைப்படுகிறது. துல்லியம் அவசியமானது எப்போது, அதிக நெகிழ்வுத்தன்மையுடன் இருக்க முடியும் எப்போது, மற்றும் வேகம் மற்றும் நம்பகத்தன்மையை எவ்வாறு சமநிலைப்படுத்துவது என்பதை தலைவர்கள் தீர்மானிக்க வேண்டும்.

மிகச் சிறந்த தயாரிப்புகளை உருவாக்குவது எவ்வளவு கடினமோ, அதே காரணத்திற்காகவே மதிப்பீடுகளை செயல்படுத்துவதும் கடினம்; அவற்றிற்கு கடுமை, பார்வை மற்றும் நுணுக்கம் தேவை. நன்றாகச் செய்தால், evals (மதிப்பீடு அமைப்புகள்) தனித்துவமான வேறுபாட்டாளர்களாக மாறும். உலகம் முழுவதும் தகவல்கள் இலவசமாகக் கிடைக்கும் மற்றும் நிபுணத்துவம் ஜனநாயகப்படுத்தப்படும் உலகில், உங்கள் அமைப்புகள் உங்கள் சூழலில் எவ்வளவு சிறப்பாகச் செயல்பட முடியும் என்பதில் உங்கள் நன்மை தங்கியுள்ளது. உங்கள் அமைப்புகள் மேம்படும்போது, வலுவான மதிப்பீடுகள் கூட்டு நன்மைகளையும் நிறுவன அறிவையும் உருவாக்கவும். 

அடிப்படையில், மதிப்பீடுகள் என்பது Business சூழல் மற்றும் குறிக்கோள்களைப் பற்றிய ஆழமான புரிதலைக் குறிக்கின்றன. உங்கள் பயன்பாட்டு விஷயத்தில் "சிறந்தது" என்றால் என்ன என்பதை நீங்கள் வரையறுக்க முடியாவிட்டால், நீங்கள் அதை அடைய முடியாது. இந்த அர்த்தத்தில், மதிப்பீடுகள் AI காலத்தின் ஒரு முக்கிய பாடத்தை எடுத்துக்காட்டுகின்றன: மேலாண்மை திறன்கள் AI திறன்கள். தெளிவான இலக்குகள், நேரடி பின்னூட்டம், விவேகமான தீர்ப்பு மற்றும் உங்கள் மதிப்பு முன்மொழிவு, உத்தி மற்றும் செயல்முறைகள் பற்றிய தெளிவான புரிதல் இன்னும் முக்கியம், ஒருவேளை எப்போதும் போலவே அல்லது அதைவிட அதிகமாக.

சிறந்த நடைமுறைகள் மற்றும் கட்டமைப்புகள் மேலும் வெளிவரும்போது, அவற்றைப் பகிர்ந்து கொள்வோம். இதற்கிடையில், நீங்கள் மதிப்பீடுகளைப் பரிசோதித்து, உங்கள் தேவைகளுக்கு சிறந்த செயல்முறைகளை கண்டறிய நாங்கள் உங்களை ஊக்குவிக்கிறோம். தொடங்க, தீர்க்க வேண்டிய பிரச்சினையை மற்றும் உங்கள் களம் நிபுணரை அடையாளம் கண்டு, உங்கள் சிறிய Team-ஐ திரட்டி, எங்கள் API-யில் நீங்கள் உருவாக்கினால், எங்கள் Platform Docs⁠(புதிய சாளரத்தில் திறக்கும்) ஐ ஆராய்க.

"பெரியது" என்று நம்பாதீர்கள். அதைக் குறிப்பிடுங்கள், அளவிடுங்கள், அதை நோக்கி முன்னேறுங்கள்.