સતત શીખવાની શક્તિ

આર્ટિફિશિયલ જનરલ ઇન્ટેલિજન્સ (AGI) એ આર્થિક રીતે સૌથી વધુ મૂલ્યવાન મોટાભાગના કામોમાં મનુષ્યો કરતાં સારું પ્રદર્શન કરવું જોઈએ. હું AGI માનવ સમાજને નીચે મુજબ મદદ કરે તે જોવા આતુર છું:

1. પુનરાવર્તિત અને નવીનતા વિનાના કાર્યોમાં માનવીય પ્રયાસોને સંપૂર્ણપણે સ્વચાલિત કરવું અથવા નોંધપાત્ર રીતે ઘટાડવું. બીજા શબ્દોમાં કહીએ તો, AGI એ માનવીય ઉત્પાદનક્ષમતામાં ભારે વધારો કરવો જોઈએ.
2. નવા વૈજ્ઞાનિક બ્રેકથ્રૂની શોધને ઘણું ઝડપી બનાવવી, જેમાં વધારાના વિશ્લેષણ અને માહિતી આપી માનવીય નિર્ણય પ્રક્રિયાને સરળ બનાવવી પણ સામેલ છે, પરંતુ એ સુધી મર્યાદિત નથી.
3. ભૌતિક દુનિયાને અસરકારક, કાર્યક્ષમ અને સુરક્ષિત રીતે સમજવી અને તેની સાથે ક્રિયા કરવી.

OpenAIમાં મારા પ્રથમ 2.5 વર્ષ દરમિયાન, મેં Robotics ટીમમાં એક અત્યંત સાહસિક વિચાર પર કામ કર્યું: અમે એક જ માનવસમાન રોબોટિક હાથને Rubik’s cube ઉકેલતા શીખવવા માગતા હતા. તે અત્યંત રોમાંચક, પડકારજનક અને ભાવનાત્મક અનુભવ હતો. અમે ડીપ રીઇન્ફોર્સમેન્ટ લર્નિંગ (RL)⁠, અતિશય ડોમેન રેન્ડમાઇઝેશન અને વાસ્તવિક દુનિયાના કોઈ ટ્રેનિંગ ડેટા વગર આ પડકાર ઉકેલ્યો⁠. વધુ મહત્વની વાત એ છે કે, અમે આ પડકાર ટીમ તરીકે જીત્યો.

સિમ્યુલેશન અને RL ટ્રેનિંગથી લઈને વિઝન પરસેપ્શન અને હાર્ડવેર ફર્મવેર સુધી, અમે ખૂબ નજીકથી અને એકતાથી સહકાર કર્યો. તે અદભુત પ્રયોગ હતો અને તે સમય દરમિયાન મને ઘણી વાર Steve Jobs ના reality distortion field⁠(નવી વિન્ડોમાં ખૂલે છે) ની યાદ આવતી: જ્યારે તમે કોઈ બાબતમાં ખૂબ જ મજબૂત વિશ્વાસ રાખો અને સતત અડગતાથી પ્રયત્ન કરતા રહો, ત્યારે કોઈક રીતે અશક્યને શક્ય બનાવી શકો છો.

2021 ની શરૂઆતથી, મેં Applied AI Research ટીમનું નેતૃત્વ શરૂ કર્યું. ટીમનું સંચાલન અલગ પ્રકારના પડકારો રજૂ કરે છે અને કામ કરવાની રીતમાં ફેરફારો માંગે છે. Applied AIમાં ભાષા મોડલ સલામતી સંબંધિત અનેક પ્રોજેક્ટ્સ પર મને સૌથી વધુ ગર્વ છે:

1. અમે પૂર્વ-ટ્રેન્ડ ભાષા મોડલોની ઘૃણાસ્પદ, યૌન અથવા હિંસક સામગ્રી ઉત્પન્ન કરવાની વૃત્તિનું મૂલ્યાંકન કરવા માટે મૂલ્યાંકન ડેટા અને કાર્યોનો સમૂહ ડિઝાઇન અને તૈયાર કર્યો.
2. અમે વિગતવાર વર્ગીકરણ માળખું બનાવ્યું અને અનિચ્છનીય સામગ્રી શોધવા⁠ તેમજ સામગ્રી શા માટે અનુચિત છે તેનું કારણ ઓળખવા માટે મજબૂત વર્ગીકરણકર્તા બનાવ્યો.
3. અમે મોડલ અસુરક્ષિત આઉટપુટ ઉત્પન્ન કરે તેવી શક્યતા ઘટાડવા માટે વિવિધ તકનીકો પર કામ કરી રહ્યા છીએ.

Applied AI ટીમ, મોટા પૂર્વ-ટ્રેન્ડ ભાષા મોડલો જેવી અદ્યતન AI તકનીકોને ડિપ્લોય કરવાની શ્રેષ્ઠ રીતનો અભ્યાસ કરી રહી છે, તેથી અમે જોઈ રહ્યા છીએ કે તેઓ વાસ્તવિક દુનિયાના કાર્યો માટે કેટલા શક્તિશાળી અને ઉપયોગી છે. અમે આ તકનીકોને સુરક્ષિત રીતે ડિપ્લોય કરવાનું મહત્વ પણ સમજીએ છીએ, જેમ કે અમારા Charter⁠ માં ભાર મૂકવામાં આવ્યો છે.

હાલના ડીપ લર્નિંગ મોડલ સંપૂર્ણ નથી. તેમને માનવો દ્વારા બનાવાયેલા વિશાળ પ્રમાણના ડેટા પર ટ્રેન કરવામાં આવે છે (જેમ કે ઇન્ટરનેટ, ક્યુરેટેડ સંગ્રહો અને સાહિત્ય) અને તેઓ અનિવાર્ય રીતે આપણા સમાજમાં લાંબા સમયથી રહેલી ઘણી ખામીઓ અને પક્ષપાતોને શોષી લે છે. ઉદાહરણ તરીકે, જ્યારે DALL·E ને નર્સનું ચિત્રણ કરવા કહેવામાં આવતું, ત્યારે તે માત્ર મહિલા પાત્રો જ બનાવતું, અથવા પ્રોફેસર માટે તે માત્ર શ્વેત લોકો જ બનાવતું. મોડલ વાસ્તવિક દુનિયાના આંકડાઓમાં રહેલા પક્ષપાત અથવા આપણા ટ્રેનિંગ ડેટામાં રહેલા પક્ષપાતને પકડી લે છે.

મને આ પ્રકારના સામાજિક પક્ષપાતને ઘટાડવાની પદ્ધતિ ડિઝાઇન કરવા અને તે કેટલી અસરકારક છે તેનું મૂલ્યાંકન કરવા પ્રેરણા મળી. ટીમ સાથે મળીને, અમે આવા પક્ષપાતને ઘટાડવા માટે એક પાઇપલાઇન તેમજ માનવ-સહભાગી મૂલ્યાંકન ચલાવવા માટે એક વર્કફ્લો ડિઝાઇન કર્યો. સામાજિક પક્ષપાત ઘટાડવો સરળ પ્રશ્ન નથી, કારણ કે તે આપણા જીવનના અનેક પાસાઓમાં દેખાય છે અને ક્યારેક તેને ઓળખવો પણ મુશ્કેલ હોય છે. પરંતુ મને આનંદ છે કે DALL·E ટીમ આ પ્રશ્નને ગંભીરતાથી લે છે અને બહુ પ્રારંભિક તબક્કેથી પગલાં લે છે. હમણાં અમારી પાસે જે છે તે માત્ર શરૂઆત છે અને અમે આગળ પ્રગતિ કરતા રહીશું. મને આ ક્ષેત્રમાં કામ કરવાનો ગર્વ છે અને આનંદ છે કે, પગલું પગલું, અમે આધુનિક AI ને વધુ સુરક્ષિત અને વધુ સારો બનાવી રહ્યા છીએ.

મને શીખવાની શક્તિમાં વિશ્વાસ છે અને શીખવા માટે ક્યારેય મોડું થતું નથી. મારો વ્યક્તિગત બ્લોગ જાળવી રાખવો આ જિજ્ઞાસાને જળવાઈ રાખવાનો અને ડીપ લર્નિંગ સમુદાયમાં થતી નવી પ્રગતિ વિશે નિયમિત શીખવાનો સારો માર્ગ છે. હું મારી ટીમને પણ સતત શીખતા રહેવા માટે પ્રોત્સાહિત કરું છું, ભલે તે તેમના વર્તમાન પ્રોજેક્ટ્સ સાથે સંબંધિત હોય કે ન હોય. અલગ વિષયો અથવા ક્ષેત્રોની વિચારો ઘણી વાર નવા વિચારોને પ્રેરણા આપી શકે છે અને સંભવિત ઉકેલોના ક્ષેત્રને વિસ્તારી શકે છે.

મને ટીમવર્કમાં પણ મજબૂત વિશ્વાસ છે. જો દરેક વ્યક્તિ પોતાની શ્રેષ્ઠ શક્તિમાં તેજસ્વી બને, તો આપણે 1+1 > 2 મેળવી શકીએ. આ દરમિયાન, આપણે ઘણી વાર “ગંદું” કામ પણ મળતું હોય છે અને હું વ્યક્તિગત રીતે આવા કામો લેવા માટે ખૂબ તૈયાર હોઉં છું, કારણ કે જો એ સૌથી મોટો અવરોધ હોય અથવા એ કામ પ્રોજેક્ટમાં સૌથી વધુ મૂલ્ય ઉમેરતું હોય, તો કંઈને પણ “ગંદું” અથવા “તુચ્છ” ગણવું જોઈએ નહીં. હું મારી આસપાસના લોકોને પણ એ જ કરવા પ્રોત્સાહિત કરું છું, એટલે કે ટીમ પ્લેયર બનવું અને સાથે મળીને કામ કરીને ટીમની ઉત્પાદનક્ષમતા ઝડપથી વધારવી.

આ બધું વ્યક્તિગત અભ્યાસ નોંધોના સમૂહ તરીકે શરૂ થયું. મેં ડીપ લર્નિંગ ક્ષેત્રમાં બહુ વહેલા પ્રવેશ કર્યો નહોતો અને હું હજી પણ મને “નવો શીખનાર” માનતી હતી. શરૂઆતમાં જ્યારે મેં ઘણા પેપરોમાં ઊંડાણપૂર્વક વાંચવાનું શરૂ કર્યું, ત્યારે કોઈ સમસ્યા હલ કરવા માટે અલ્ગોરિધમ ડિઝાઇન કરવાની જગ્યાએ, સમસ્યા હલ કરવાનો અલ્ગોરિધમ શીખી શકે એવું મોડલ ટ્રેન કરવાની કલ્પનાથી હું આશ્ચર્યચકિત થઈ ગઈ. જેટલું વધુ વાંચું, એટલી વધુ જિજ્ઞાસુ બનતી ગઈ. વાસ્તવમાં મેં વાંચેલા બધા પેપરો અને શીખેલા નવા ખ્યાલોને ગોઠવવું ખૂબ જ મુશ્કેલ બન્યું. તેથી મેં મારી અભ્યાસ નોંધો દસ્તાવેજિત અને ગોઠવવા માટે બ્લોગ શરૂ કરવાનો નિર્ણય લીધો. મને એ પણ વિશ્વાસ છે કે કંઈક શીખવાનો શ્રેષ્ઠ માર્ગ એ છે કે તમે તે જ્ઞાન બીજાઓને સાચી રીતે અને સ્પષ્ટ રીતે શીખવી શકો તેની ખાતરી કરો. લખાણ મને ત્યાં સુધી પહોંચવામાં મદદ કરે છે.

મને આશા નહોતી કે તે ML સમુદાયમાં લોકપ્રિય બનશે, પરંતુ જ્યારે પણ મને આભારનો ઇમેઇલ મળ્યો અથવા કોઈએ સામસામે કહ્યું કે તેમણે મારો બ્લોગ વાંચીને ઘણું શીખ્યું છે, ત્યારે મને ઘણો સન્માન અને કૃતજ્ઞતા અનુભવાય છે. 2017 માં મેં બ્લોગ શરૂ કર્યો ત્યારથી હવે લગભગ 6 વર્ષ થઈ ગયા છે અને જેટલો સમય શક્ય હશે તેટલો હું તેને ચાલુ રાખીશ.

તાજેતરના વર્ષોમાં AI સમુદાયે ઘણો મોટો પ્રગતિ કરી છે. હાર્ડવેર, મોડલ આર્કિટેક્ચર અને ડેટામાં થયેલી પ્રગતિના કારણે વિશાળ મોડલોને ટ્રેન કરવું શક્ય બન્યું છે અને તેના પરિણામે આપણે સતત વધતી ક્ષમતાઓ જોઈ રહ્યા છીએ. મારો વિશ્વાસ છે કે અમે AGI તરફ યોગ્ય માર્ગ પર છીએ, પરંતુ માત્ર સ્કેલિંગ જ એકમાત્ર રીત નથી. મારા મત મુજબ અત્યારે સૌથી તાત્કાલિક પડકારો એલાઇનમેન્ટ અને સલામતી છે. કંઈક અંશે, તેઓ નિયંત્રિત કરી શકવાની અથવા દિશા આપી શકવાની એક જ સમસ્યા હોઈ શકે.

સૌપ્રથમ, ભલે આપણા હાથમાં પહેલેથી અત્યંત શક્તિશાળી AI સિસ્ટમ હોય, જો આપણે અમારા લક્ષ્યોને અસરકારક રીતે સંપ્રેષિત કરી શકતા ન હોઈએ અને મોડલ અમારી ઇચ્છા મુજબ એલાઇન છે તેની ખાતરી ન કરી શકીએ, તો આપણે જરૂરી એટલું મૂલ્ય સર્જી શકીશું નહીં. હાલનું સૌથી શક્તિશાળી મોડલ વિશાળ પ્રમાણના ડેટાથી શીખે છે અને તે ડેટાસેટ અનિવાર્ય રીતે વાસ્તવિક દુનિયાની અપૂર્ણ ખામીઓ અને પક્ષપાતોને પકડી લે છે. આ દ્રષ્ટિએ, મિસઅલાઇન્ડ મોડલ સલામતીની ચિંતાઓ ઊભી કરે છે, કારણ કે તેમને શું ટાળવું જોઈએ તેની ખબર નથી હોતી.

આ એવી કોઈ ખાસ સલાહ નથી જે કોઈએ મને આપી હોય, પરંતુ અત્યાર સુધી OpenAIમાં થયેલા મારા અનુભવ પર આધારિત છે. તે છે, મોટું વિચારો. અમે કંઈક નવું સર્જી રહ્યા છીએ અને આપણે મહત્ત્વાકાંક્ષી, બહાદુર હોવું જોઈએ અને પ્રયત્નો ચાલુ રાખવા પૂરતી અડગતા રાખવી જોઈએ.

પુસ્તકો. હું સામાન્ય રીતે ડીપ લર્નિંગ ક્ષેત્રની બહારના પુસ્તકો વાંચું છું અને વિવિધ ક્ષેત્રોમાંથી પ્રેરણા મેળવું છું; ઉદાહરણ તરીકે, લેખક માટે 50 વર્ષ સુધી સતત અડગ રહેવું કેટલું જરૂરી છે, સર્જન માટે વિગતો પ્રત્યે સંપૂર્ણ સાવચેતી કેટલું મહત્વની છે, અને ઉદ્યોગસાહસિક માટે “વિલક્ષણ વિચારો” હોવા કેટલા જરૂરી છે.

મારી આસપાસના લોકો. OpenAIમાં અત્યંત પ્રતિભાશાળી સહકર્મીઓના મોટા સમૂહ સાથે કામ કરવાનો મને સન્માન છે. દરેક વ્યક્તિમાં કંઈક તેજસ્વી, પ્રેરણાદાયક અથવા આદરપાત્ર છે અને હું તેમની પાસેથી શીખવાનું આનંદથી કરું છું.