કેવી રીતે evals વ્યવસાય માટે AIના આગામી અધ્યાયને આગળ ધપાવે છે

વિશ્વભરના દસ લાખથી વધુ વ્યવસાયો⁠ વધુ કાર્યક્ષમતા અને મૂલ્ય સર્જન માટે AI નો ઉપયોગ કરી રહ્યા છે. પરંતુ કેટલીક સંસ્થાઓને તેઓ અપેક્ષા રાખતા પરિણામો મેળવવામાં મુશ્કેલી પડી છે. આ ખાડો શા કારણે ઊભો થાય છે?

OpenAIમાં અમે અમારા મહત્ત્વાકાંક્ષી લક્ષ્યો હાંસલ કરવા માટે આંતરિક રીતે AI નો ઉપયોગ કરીએ છીએ. અમે જે મુખ્ય સાધનોનો ઉપયોગ કરીએ છીએ તેમાંનું એક છે evals, એટલે કે AI સિસ્ટમ અપેક્ષાઓ પૂર્ણ કરવાની ક્ષમતા માપવા અને સુધારવાની પદ્ધતિઓ.

પ્રોડક્ટ જરૂરીયાત દસ્તાવેજોની જેમ, evals અસ્પષ્ટ લક્ષ્યો અને અમૂર્ત વિચારોને ચોક્કસ અને સ્પષ્ટ બનાવે છે. evals નો વ્યૂહાત્મક ઉપયોગ ગ્રાહકમુખી પ્રોડક્ટ અથવા આંતરિક ટૂલને મોટા પાયે વધુ વિશ્વસનીય બનાવી શકે છે, ઊંચી ગંભીરતાવાળી ભૂલો ઘટાડે છે, નકારાત્મક જોખમથી રક્ષણ આપે છે, અને સંસ્થાને વધુ ROI માટે માપી શકાય એવો માર્ગ આપે છે.

OpenAIમાં, અમારા મોડલ અમારા પ્રોડક્ટ્સ છે, તેથી અમારા સંશોધકો કડક અત્યાધુનિક evals⁠(નવી વિન્ડોમાં ખૂલે છે) ¹ નો ઉપયોગ કરીને મોડલ વિવિધ ક્ષેત્રોમાં કેટલું સારું પ્રદર્શન કરે છે તે માપે છે. જ્યારે અત્યાધુનિક evals અમને વધુ સારા મોડલ ઝડપથી રજૂ કરવામાં મદદ કરે છે, ત્યારે તે ચોક્કસ વ્યવસાયિક પરિસ્થિતિમાં ચોક્કસ વર્કફ્લો પર મોડલ કેવી રીતે પ્રદર્શન કરશે તેની તમામ સૂક્ષ્મતાઓ બતાવી શકતા નથી. તેથી જ આંતરિક ટીમોએ પણ ચોક્કસ પ્રોડક્ટ અથવા આંતરિક વર્કફ્લોમાં પ્રદર્શનનું મૂલ્યાંકન કરવા માટે ડઝનો સંદર્ભાત્મક evals બનાવ્યા છે. અને તેથી જ વ્યવસાય નેતાઓએ પોતાની સંસ્થાની જરૂરિયાતો અને કાર્યપરિવેશ માટે ચોક્કસ એવા સંદર્ભાત્મક evals કેવી રીતે બનાવવા તે શીખવું જોઈએ.

આ પોતાની સંસ્થાઓમાં evals લાગુ કરવા ઇચ્છતા વ્યવસાય નેતાઓ માટેનું પ્રાઈમર છે. દરેક ચોક્કસ સંસ્થાના વર્કફ્લો અથવા પ્રોડક્ટ માટે બનાવેલા સંદર્ભાત્મક evals વિકાસનું સક્રિય ક્ષેત્ર છે અને હજી સુધી કોઈ નિશ્ચિત પ્રક્રિયાઓ ઊભી થઈ નથી. પરિણામે, આ લેખ એક વ્યાપક ફ્રેમવર્ક આપે છે જે અમને ઘણી પરિસ્થિતિઓમાં કાર્યરત જોવા મળ્યું છે. અમે અપેક્ષા રાખીએ છીએ કે આ ક્ષેત્ર વિકસશે અને વધુ ફ્રેમવર્ક્સ ઉભા થશે જે ચોક્કસ વ્યવસાયિક પરિસ્થિતિઓ અને લક્ષ્યોને ઉકેલશે. ઉદાહરણ તરીકે, અગ્રણી AI-સક્ષમ ગ્રાહક પ્રોડક્ટ માટે ઉત્તમ eval ને માનક કામગીરી પ્રક્રિયા પર આધારિત આંતરિક ઓટોમેશન માટેના eval કરતાં જુદી પ્રક્રિયા જોઈએ. અમને વિશ્વાસ છે કે નીચે રજૂ કરાયેલ ફ્રેમવર્ક બંને કિસ્સામાં શ્રેષ્ઠ પદ્ધતિઓના સંગ્રહ તરીકે કામ કરશે, અને જ્યારે તમે તમારી સંસ્થાની જરૂરિયાતોને અનુરૂપ evals બનાવશો ત્યારે ઉપયોગી માર્ગદર્શિકા બનશે.

નાની પરંતુ સશક્ત ટીમથી શરૂઆત કરો, જે તમારી AI સિસ્ટમનો હેતુ સરળ શબ્દોમાં લખી શકે, ઉદાહરણ તરીકે: “બ્રાન્ડ સાથે સુસંગત રહીને યોગ્ય inbound emails ને નિર્ધારિત ડેમોમાં ફેરવો.”

આ ટીમમાં ટેકનિકલ અને ક્ષેત્ર નિષ્ણાતી ધરાવતા લોકોનું મિશ્રણ હોવું જોઈએ (આ ઉદાહરણમાં, તમને ટીમમાં વેચાણ નિષ્ણાતો જોઈએ). તેઓ માપવાના સૌથી મહત્વપૂર્ણ પરિણામો જણાવી શકે, વર્કફ્લો શરૂઆતથી અંત સુધી રજૂ કરી શકે, અને તમારી AI સિસ્ટમ જે દરેક મહત્વપૂર્ણ નિર્ણય બિંદુનો સામનો કરશે તેને ઓળખી શકે. તે વર્કફ્લોના દરેક પગલામાં, ટીમે સફળતા કેવી દેખાય છે અને શું ટાળવું તે વ્યાખ્યાયિત કરવું જોઈએ. આ પ્રક્રિયા ડઝનો ઉદાહરણરૂપ ઇનપુટ્સ (જેમ કે inbound emails) ને સિસ્ટમ પાસેથી ઇચ્છિત આઉટપુટ્સ સાથે મેપિંગ બનાવશે. પરિણામે મળતો golden set ઉદાહરણોનો જીવંત, અધિકૃત સંદર્ભ હોવો જોઈએ, જે “ઉત્કૃષ્ટ” કેવી દેખાય છે તે અંગે તમારા સૌથી કુશળ નિષ્ણાતોના નિર્ણય અને રૂચિ દર્શાવે.

શરૂઆતમાં બધું જ એકસાથે ઉકેલવાનો પ્રયાસ કરીને ગભરાશો નહીં. આ પ્રક્રિયા પુનરાવર્તિત અને અવ્યવસ્થિત છે. શરૂઆતનું પ્રોટોટાઇપિંગ ઘણું મદદરૂપ થઈ શકે છે. સિસ્ટમના પ્રારંભિક વર્ઝનમાંથી 50 થી 100 આઉટપુટ્સની સમીક્ષા કરવાથી તમારી સિસ્ટમ કેવી રીતે અને ક્યારે નિષ્ફળ જાય છે તે બહાર આવશે. આ “error analysis” તમને સિસ્ટમ સુધરે તેમ ટ્રેક કરવા માટે વિવિધ પ્રકારની ભૂલોની (અને તેમની આવર્તનની) વર્ગીકરણ રચના આપશે.

આ પ્રક્રિયા માત્ર ટેકનિકલ નથી. તે ક્રોસ-ફંક્શનલ છે અને વ્યવસાયિક લક્ષ્યો તથા ઇચ્છિત પ્રક્રિયાઓની વ્યાખ્યા પર કેન્દ્રિત છે. ગ્રાહકો અથવા પ્રોડક્ટ, સેલ્સ, અથવા HR જેવી અન્ય ટીમોની જરૂરિયાતો માટે શું શ્રેષ્ઠ છે તે નક્કી કરવા ટેકનિકલ ટીમોને એકલામાં ન કહેવું જોઈએ. તેથી, ક્ષેત્ર નિષ્ણાતો, ટેકનિકલ લીડ્સ અને અન્ય મુખ્ય હિતધારકોને સંયુક્ત માલિકી વહેંચવી જોઈએ.

આગળનું પગલું માપવાનું છે. માપનનું લક્ષ્ય એ છે કે સિસ્ટમ કેવી રીતે અને ક્યારે નિષ્ફળ જાય છે તેના ચોક્કસ ઉદાહરણો વિશ્વસનીય રીતે સામે આવે. તે માટે, માત્ર ડેમો અથવા પ્રોમ્પ્ટ પ્લેગ્રાઉન્ડ નહીં પરંતુ વાસ્તવિક પરિસ્થિતિઓને નજીકથી પ્રતિબિંબિત કરતું સમર્પિત પરીક્ષણ પર્યાવરણ બનાવો. તમારા golden set અને error analysis સામે તે જ દબાણો અને edge cases હેઠળ પ્રદર્શનનું મૂલ્યાંકન કરો, જેનો તમારી સિસ્ટમને ખરેખર સામનો કરવો પડશે.

રૂબ્રિક્સ તમારી સિસ્ટમના આઉટપુટ્સનું મૂલ્યાંકન વધુ સ્પષ્ટ બનાવવામાં મદદ કરી શકે છે, પરંતુ સમગ્ર લક્ષ્યોના ખર્ચે ઉપરી વસ્તુઓ પર વધુ ભાર મૂકવાનો ખતરો રહે છે. વધુમાં, કેટલીક ગુણવત્તાઓને માપવી મુશ્કેલ અથવા અશક્ય હોય છે. કેટલીક સ્થિતિઓમાં પરંપરાગત વ્યવસાયિક મેટ્રિક્સ મહત્વપૂર્ણ રહેશે. અન્યમાં, તમને નવા મેટ્રિક્સ ગઢવા પડશે. તમારા વિષય નિષ્ણાતોને સતત પ્રક્રિયામાં જોડાયેલા રાખો અને પ્રક્રિયાને તમારા મૂળ લક્ષ્યો સાથે કડક રીતે સુસંગત રાખો.

સિસ્ટમનું વાસ્તવમાં પરીક્ષણ કરવા, શક્ય હોય ત્યાં વાસ્તવિક પરિસ્થિતિઓમાંથી લેવાયેલા ઉદાહરણોનો ઉપયોગ કરો, અને એવા edge cases નો સમાવેશ કરો અથવા બનાવો જે દુર્લભ હોય પરંતુ ખોટી રીતે સંભાળવામાં આવે તો ખર્ચાળ સાબિત થાય.

કેટલાક evals ને LLM grader ના ઉપયોગથી મોટા પાયે ચલાવી શકાય છે, એટલે એવો AI મોડલ જે નિષ્ણાત જેવી જ રીતે આઉટપુટ્સને ગુણ આપે. છતાં પણ, માનવીને પ્રક્રિયામાં જોડાયેલા રાખવું મહત્વપૂર્ણ છે. તમારી ક્ષેત્ર નિષ્ણાતે ચોકસાઈ માટે LLM graders નો નિયમિત ઓડિટ કરવો જોઈએ અને તમારી સિસ્ટમના વર્તનના logs ની સીધી સમીક્ષા પણ કરવી જોઈએ.

evals તમને નક્કી કરવામાં મદદ કરી શકે છે કે સિસ્ટમ લોન્ચ માટે તૈયાર છે કે નહીં, પરંતુ તે લોન્ચ પછી બંધ નથી થતા. તમને વાસ્તવિક ઇનપુટ્સમાંથી ઉત્પન્ન થયેલા તમારી સિસ્ટમના વાસ્તવિક આઉટપુટ્સની ગુણવત્તા સતત માપવી જોઈએ. કોઈપણ પ્રોડક્ટની જેમ, તમારા અંતિમ વપરાશકર્તાઓના સંકેતો (બાહ્ય હોય કે આંતરિક) ખાસ મહત્વ ધરાવે છે અને તેને તમારા evalમાં સમાવેશ કરવો જોઈએ.

છેલ્લું પગલું સતત સુધારાની પ્રક્રિયા સ્થાપિત કરવાનો છે. તમારા eval દ્વારા સામે આવેલી સમસ્યાઓનું નિવારણ ઘણા સ્વરૂપ લઈ શકે છે: પ્રોમ્પ્ટ્સને વધુ સચોટ બનાવવું, ડેટા ઍક્સેસમાં ફેરફાર કરવો, તમારા લક્ષ્યોને વધુ સારી રીતે પ્રતિબિંબિત કરવા માટે eval ને જ અપડેટ કરવો, વગેરે. જેમ જેમ તમને નવી પ્રકારની ભૂલો મળે, તેમ તેને તમારા error analysis માં ઉમેરો અને તેનો ઉકેલ લાવો. દરેક પુનરાવર્તન અગાઉના પર નિર્મિત થાય છે: નવા માપદંડો અને સિસ્ટમના વર્તન અંગે વધુ સ્પષ્ટ અપેક્ષાઓ નવા edge cases અને સૂક્ષ્મ, હઠીલા મુદ્દાઓ બહાર લાવવામાં મદદ કરે છે.

આ પુનરાવર્તનને સમર્થન આપવા માટે ડેટા flywheel બનાવો. ઇનપુટ્સ, આઉટપુટ્સ અને પરિણામોને log કરો; નક્કી કરેલી સમયસૂચિ મુજબ તે logs ના નમૂનાઓ લો અને અસ્પષ્ટ અથવા ખર્ચાળ કેસોને નિષ્ણાત સમીક્ષા તરફ આપોઆપ મોકલો. આ નિષ્ણાતી નિર્ણયોને તમારા eval અને error analysis માં ઉમેરો, પછી તેનો ઉપયોગ પ્રોમ્પ્ટ્સ, ટૂલ્સ અથવા મોડલ અપડેટ કરવા માટે કરો. આ ચક્ર દ્વારા તમે સિસ્ટમ માટેની તમારી અપેક્ષાઓ વધુ સ્પષ્ટ રીતે વ્યાખ્યાયિત કરશો, તેને તે અપેક્ષાઓ સાથે વધુ કડક રીતે સુસંગત બનાવશો, અને ટ્રેક કરવા માટે વધારાના સંબંધિત આઉટપુટ્સ તથા પરિણામો ઓળખશો. આ પ્રક્રિયાને મોટા પાયે અમલમાં મૂકવાથી મોટું, ભિન્ન અને સંદર્ભ-વિશિષ્ટ ડેટાસેટ મળે છે જેને નકલ કરવું મુશ્કેલ છે—એક મૂલ્યવાન સંપત્તિ જેનો ઉપયોગ તમારી સંસ્થા તમારા બજારમાં શ્રેષ્ઠ પ્રોડક્ટ અથવા પ્રક્રિયા બનાવતાં કરી શકે છે.

જ્યારે evals તમારી AI સિસ્ટમ સુધારવા માટે વ્યવસ્થિત માર્ગ બનાવે છે, ત્યારે નવી નિષ્ફળતા સ્થિતિઓ ઊભી થઈ શકે છે. વ્યવહારમાં, જેમ જેમ મોડલ, ડેટા અને વ્યવસાયિક લક્ષ્યો વિકસે છે, તેમ evals ને પણ સતત જાળવવા, વિસ્તૃત કરવા અને stress-test કરવા પડે છે.

બાહ્ય-મુખી અમલ માટે, evals વધુ પરંપરાગત A/B tests અને પ્રોડક્ટ પ્રયોગોને બદલે નથી. તે પરંપરાગત પ્રયોગોના પૂરક છે, જે એકબીજાને માર્ગદર્શન આપી શકે છે અને તમે કરેલા ફેરફારો વાસ્તવિક પ્રદર્શનને કેવી રીતે અસર કરે છે તે અંગે દૃશ્યતા આપે છે.

દરેક મોટો ટેક્નોલોજીકલ ફેરફાર ઓપરેશનલ શ્રેષ્ઠતા અને સ્પર્ધાત્મક લાભને નવી રીતે આકાર આપે છે. OKRs અને KPIs જેવા ફ્રેમવર્ક્સે big data analytics ના યુગમાં સંસ્થાઓને તેમના વ્યવસાય માટે “જે મહત્વનું છે તે માપવા”ની દિશામાં ગોઠવવામાં મદદ કરી છે. AI ના યુગ માટે evals માપનનો સ્વાભાવિક વિસ્તરણ છે.

સંભાવિત પ્રણાલીઓ સાથે કામ કરવા માટે નવા પ્રકારના માપન અને trade-offs અંગે વધુ ઊંડો વિચાર જરૂરી છે. નેતાઓએ નક્કી કરવું પડે છે કે ક્યારે ચોકસાઈ અનિવાર્ય છે, ક્યારે તેઓ વધુ લવચીક રહી શકે, અને ઝડપ તથા વિશ્વસનીયતામાં કેવી રીતે સંતુલન રાખવું.

evals અમલમાં મૂકવા મુશ્કેલ છે, એ જ કારણથી ઉત્તમ પ્રોડક્ટ્સ બનાવવી મુશ્કેલ છે; તેમાં કડકતા, દૃષ્ટિ અને રૂચિ જરૂરી છે. જો તે સારી રીતે કરવામાં આવે, તો evals અનન્ય ભિન્નતા સર્જે છે. એવા વિશ્વમાં જ્યાં માહિતી વિશ્વભરમાં મુક્તપણે ઉપલબ્ધ છે અને નિષ્ણાતી લોકશાહી बनी ગઈ છે, તમારો લાભ એ પર આધાર રાખે છે કે તમારી સિસ્ટમો તમારા સંદર્ભમાં કેટલી સારી રીતે કાર્ય કરે છે. મજબૂત evals તમારી સિસ્ટમો સુધરે તેમ સંચિત લાભો અને સંસ્થાગત જ્ઞાન પેદા કરે છે.

મૂળભૂત રીતે, evals વ્યવસાયિક સંદર્ભ અને લક્ષ્યોની ઊંડી સમજ વિશે છે. જો તમે તમારા use case માટે “ઉત્કૃષ્ટ” નો અર્થ વ્યાખ્યાયિત કરી શકતા નથી, તો તમે તેને હાંસલ કરી શકો તેવી શક્યતા ઓછી છે. આ અર્થમાં, evals AI યુગનો એક મુખ્ય પાઠ ઉજાગર કરે છે: મેનેજમેન્ટ કુશળતાઓ એ AI કુશળતાઓ છે. સ્પષ્ટ લક્ષ્યો, સીધી પ્રતિસાદ વ્યવસ્થા, સમજદારીપૂર્વકનો નિર્ણય, અને તમારા value proposition, વ્યૂહરચના તથા પ્રક્રિયાઓની સ્પષ્ટ સમજ હજી પણ મહત્વ ધરાવે છે, કદાચ પહેલાં કરતાં પણ વધુ.

જેમ જેમ વધુ શ્રેષ્ઠ પદ્ધતિઓ અને ફ્રેમવર્ક્સ ઉભા થશે, અમે તે શેર કરીશું. તે દરમિયાન, અમે તમને evals સાથે પ્રયોગ કરવા અને તમારી જરૂરિયાતો માટે કઈ પ્રક્રિયાઓ શ્રેષ્ઠ કાર્ય કરે છે તે શોધવા પ્રોત્સાહિત કરીએ છીએ. શરૂઆત કરવા માટે, ઉકેલવાનો પ્રશ્ન અને તમારા ક્ષેત્ર નિષ્ણાતની ઓળખ કરો, તમારી નાની ટીમ એકત્ર કરો, અને જો તમે અમારી API પર બનાવી રહ્યા હો, તો અમારા Platform Docs⁠(નવી વિન્ડોમાં ખૂલે છે) જુઓ.

“ઉત્કૃષ્ટ” માટે માત્ર આશા ન રાખો. તેને નિર્ધારિત કરો, માપો અને તેની દિશામાં સુધારો.