New AI classifier for indicating AI-written text

20 જુલાઈ, 2023થી, ઓછી ચોકસાઈને કારણે AI વર્ગીકરણકાર હવે ઉપલબ્ધ નથી. અમે પ્રતિસાદને સામેલ કરવા પર કામ કરી રહ્યા છીએ અને હાલમાં લખાણ માટે વધુ અસરકારક provenance તકનીકો પર સંશોધન કરી રહ્યા છીએ, તેમજ અમે એવી વ્યવસ્થાઓ વિકસાવવા અને અમલમાં મૂકવાની પ્રતિબદ્ધતા વ્યક્ત કરી છે જે વપરાશકર્તાઓને સમજવા સક્ષમ બનાવે કે ઑડિયો અથવા દૃશ્ય સામગ્રી AI-જનરેટેડ છે કે નહીં.

અમે એક વર્ગીકરણકારને તાલીમ આપી છે જે માનવ દ્વારા લખાયેલા લખાણ અને વિવિધ પ્રદાતાઓની AIs દ્વારા લખાયેલા લખાણ વચ્ચે ભેદ કરી શકે. જોકે AI દ્વારા લખાયેલા તમામ લખાણને વિશ્વસનીય રીતે ઓળખવું અશક્ય છે, અમે માનીએ છીએ કે સારા વર્ગીકરણકારો એવા ખોટા દાવાઓને ઘટાડવા માટે મદદરૂપ થઈ શકે છે કે AI-જનરેટેડ લખાણ માનવે લખ્યું હતું. ઉદાહરણ તરીકે, સ્વચાલિત ગેરમાહિતી અભિયાનો⁠ ચલાવવું, શૈક્ષણિક અપ્રામાણિકતા માટે AI સાધનોનો ઉપયોગ કરવો, અને AI ચેટબોટને માનવ તરીકે રજૂ કરવો.

અમારો વર્ગીકરણકાર સંપૂર્ણપણે વિશ્વસનીય નથી. અમારા “ચેલેન્જ સેટ” તરીકે ઓળખાતા અંગ્રેજી લખાણોના મૂલ્યાંકનમાં, અમારો વર્ગીકરણકાર AI દ્વારા લખાયેલા લખાણમાંથી 26% (સાચા પોઝિટિવ) ને “શક્યતાપૂર્વક AI-લેખિત” તરીકે સાચી રીતે ઓળખે છે, જ્યારે માનવ-લેખિત લખાણને 9% વખત ભૂલથી AI-લેખિત તરીકે લેબલ કરે છે (ખોટા પોઝિટિવ). ઇનપુટ લખાણની લંબાઈ વધે તેમ અમારા વર્ગીકરણકારની વિશ્વસનીયતા સામાન્ય રીતે સુધરે છે. અમારા અગાઉ પ્રકાશિત વર્ગીકરણકાર⁠(નવી વિન્ડોમાં ખૂલે છે)ની સરખામણીએ, આ નવો વર્ગીકરણકાર વધુ તાજેતરના AI સિસ્ટમ્સના લખાણ પર નોંધપાત્ર રીતે વધુ વિશ્વસનીય છે.

અપૂર્ણ સાધનો જેમ કે આ ઉપયોગી છે કે નહીં તે અંગે પ્રતિસાદ મેળવવા માટે અમે આ વર્ગીકરણકારને જાહેર રીતે ઉપલબ્ધ કરી રહ્યા છીએ. AI-જનરેટેડ લખાણની ઓળખ અંગેનું અમારું કાર્ય ચાલુ રહેશે, અને અમે ભવિષ્યમાં સુધારેલી પદ્ધતિઓ શેર કરવાની આશા રાખીએ છીએ.

અમારો મફત, કામ ચાલુ હોય એવો વર્ગીકરણકાર તમે પોતે અજમાવો.

અમારા વર્ગીકરણકારમાં કેટલીક મહત્વપૂર્ણ મર્યાદાઓ છે. તેનો ઉપયોગ મુખ્ય નિર્ણય લેવાના સાધન તરીકે ન કરવો જોઈએ, પરંતુ લખાણના સ્ત્રોત નક્કી કરવાની અન્ય પદ્ધતિઓના પૂરક તરીકે કરવો જોઈએ.

1. ટૂંકા લખાણો માટે (1,000 અક્ષરથી નીચે) વર્ગીકરણકાર ખૂબ અવિશ્વસનીય છે. લાંબા લખાણોને પણ ક્યારેક વર્ગીકરણકાર ખોટી રીતે લેબલ કરે છે.
2. ક્યારેક માનવ દ્વારા લખાયેલ લખાણને અમારો વર્ગીકરણકાર ભૂલથી, પરંતુ સંપૂર્ણ વિશ્વાસ સાથે, AI-લેખિત તરીકે લેબલ કરી શકે છે.
3. અમે ભલામણ કરીએ છીએ કે વર્ગીકરણકારનો ઉપયોગ માત્ર અંગ્રેજી લખાણ માટે જ કરો. અન્ય ભાષાઓમાં તેનું પ્રદર્શન નોંધપાત્ર રીતે ખરાબ છે અને કોડ પર તે અવિશ્વસનીય છે.
4. ખૂબ અનુમાનપાત્ર લખાણને વિશ્વસનીય રીતે ઓળખી શકાતું નથી. ઉદાહરણ તરીકે, પ્રથમ 1,000 પ્રાઇમ સંખ્યાઓની યાદી AIએ લખી છે કે માનવે, તેની આગાહી કરવી અશક્ય છે, કારણ કે સાચો જવાબ હંમેશા એક જ હોય છે.
5. AI-લેખિત લખાણને વર્ગીકરણકારથી બચવા માટે સંપાદિત કરી શકાય છે. અમારા જેવા વર્ગીકરણકારોને સફળ હુમલાઓના આધારે અપડેટ અને ફરી તાલીમ આપી શકાય છે, પરંતુ લાંબા ગાળે ઓળખને લાભ રહેશે કે નહીં તે સ્પષ્ટ નથી.
6. ન્યુરલ નેટવર્ક આધારિત વર્ગીકરણકારો તેમના તાલીમ ડેટાની બહાર નબળા રીતે કૅલિબ્રેટ થયેલા હોય છે તે જાણીતી વાત છે. અમારા તાલીમ સેટના લખાણથી ખૂબ જ અલગ ઇનપુટ્સ માટે, વર્ગીકરણકાર ક્યારેક ખોટી આગાહીમાં અત્યંત વિશ્વાસ દર્શાવે છે.

અમારો વર્ગીકરણકાર એક ભાષા મોડલ છે જેને સમાન વિષય પરના માનવ-લેખિત અને AI-લેખિત લખાણની જોડી ધરાવતા ડેટાસેટ પર ફાઇન-ટ્યુન કરવામાં આવ્યો છે. અમે આ ડેટાસેટ વિવિધ સ્ત્રોતોમાંથી એકત્ર કર્યો હતો, જેને અમે માનવ દ્વારા લખાયેલ હોવાનું માનીએ છીએ, જેમ કે પ્રીટ્રેનિંગ ડેટા અને InstructGPT⁠ પર સબમિટ કરાયેલા પ્રોમ્પ્ટ્સ પર માનવીય ડેમોન્સ્ટ્રેશન્સ. અમે દરેક લખાણને પ્રોમ્પ્ટ અને પ્રતિભાવમાં વહેંચ્યું. આ પ્રોમ્પ્ટ્સ પર અમે અમારી અને અન્ય સંસ્થાઓ દ્વારા તાલીમ આપવામાં આવેલા વિવિધ ભાષા મોડલ્સમાંથી પ્રતિભાવો જનરેટ કર્યા. અમારી વેબ એપ માટે, અમે ખોટા પોઝિટિવ દરને નીચો રાખવા માટે confidence threshold સમાયોજિત કરીએ છીએ. બીજા શબ્દોમાં કહીએ તો, જો વર્ગીકરણકાર ખૂબ વિશ્વાસપૂર્વક કહે તો જ અમે લખાણને શક્યતાપૂર્વક AI-લેખિત તરીકે ચિહ્નિત કરીએ છીએ.

અમે સમજીએ છીએ કે AI-લેખિત લખાણની ઓળખ શિક્ષકો વચ્ચે ચર્ચાનો મહત્વપૂર્ણ વિષય રહ્યો છે, અને એટલું જ મહત્વનું એ પણ છે કે વર્ગખંડમાં AI-જનરેટેડ લખાણ વર્ગીકરણકારોની મર્યાદાઓ અને અસરને ઓળખવી. અમે શિક્ષકો માટે ChatGPTના ઉપયોગ અંગે એક પ્રાથમિક સ્રોત⁠(નવી વિન્ડોમાં ખૂલે છે) વિકસાવ્યો છે, જેમાં કેટલાક ઉપયોગો તથા સંબંધિત મર્યાદાઓ અને વિચારણાઓની રૂપરેખા આપવામાં આવી છે. જોકે આ સ્રોત શિક્ષકો પર કેન્દ્રિત છે, અમે અપેક્ષા રાખીએ છીએ કે અમારો વર્ગીકરણકાર અને સંબંધિત વર્ગીકરણકાર સાધનો પત્રકારો, ગેર/ભ્રામક માહિતી સંશોધકો અને અન્ય જૂથો પર પણ અસર કરશે.

વર્ગખંડોમાં તેઓ શું જોઈ રહ્યા છે તે જાણવા અને ChatGPTની ક્ષમતાઓ અને મર્યાદાઓ પર ચર્ચા કરવા માટે અમે યુનાઇટેડ સ્ટેટ્સમાં શિક્ષકો સાથે સંવાદ કરી રહ્યા છીએ, અને શીખતા જઈએ તેમ અમારા સંપર્ક પ્રયાસોને આગળ વધારતા રહીશું. મોટા ભાષા મોડલ્સને અસરગ્રસ્ત સમુદાયો સાથે સીધા સંપર્કમાં રહીને સુરક્ષિત રીતે અમલમાં મૂકવું અમારી મિશનનો ભાગ છે, તેથી આ મહત્વપૂર્ણ ચર્ચાઓ છે.

જો તમે આ મુદ્દાઓથી સીધા પ્રભાવિત થયા હો (શિક્ષકો, પ્રશાસકો, માતા-પિતા, વિદ્યાર્થીઓ અને શિક્ષણ સેવા પ્રદાતાઓ સહિત પરંતુ માત્ર એટલાં પૂરતાં મર્યાદિત નહીં), તો કૃપા કરીને આ ફોર્મ⁠(નવી વિન્ડોમાં ખૂલે છે)નો ઉપયોગ કરીને અમને પ્રતિસાદ આપો. પ્રાથમિક સ્રોત⁠(નવી વિન્ડોમાં ખૂલે છે) પર સીધો પ્રતિસાદ મદદરૂપ છે, અને શિક્ષકો વિકસાવી રહ્યા હોય અથવા મદદરૂપ ગણ્યા હોય એવા કોઈપણ સ્રોતોનું પણ અમે સ્વાગત કરીએ છીએ (જેમ કે, કોર્સ માર્ગદર્શિકા, honor code અને નીતિ અપડેટ્સ, ઇન્ટરેક્ટિવ સાધનો, AI સાક્ષરતા કાર્યક્રમો).