GPT‑6 માટે વધુ સારું પ્રોમ્પ્ટ કૅશિંગ
સતત કાર્યરત એજન્ટને વધુ ઝડપથી અને ઓછા ખર્ચે ચલાવવા માટે વધુ કૅશ હિટ દર અને નવાં સાધનો.
GPT‑6 સતત કાર્યરત એજન્ટને કોડબેઝનું પુનર્ગઠન કરવાથી માંડીને ઊંડા સંશોધનવાળા દસ્તાવેજો અને પ્રસ્તુતિઓ બનાવવા સુધીનાં જટિલ કાર્યો પર કલાકો સુધી કામ કરવા સક્ષમ બનાવે છે. આ એજન્ટને ચલાવતી ઍપ્લિકેશનો એકબીજા પર આધારિત શ્રેણીબદ્ધ API વિનંતીઓ કરે છે અને ઘણી વાર અગાઉના વારામાંથી સમાન સૂચનાઓ, સાધનોની વ્યાખ્યાઓ અને સંદર્ભ આગળ લઈ જાય છે. OpenAI વિનંતીઓમાં ગણતરીનો ફરી ઉપયોગ કરવા તે સહિયારા સંદર્ભને કૅશ કરે છે. આનાથી પ્રતિભાવનો સમય ઘટે છે અને વિકાસકર્તાઓને કૅશ કરેલા ઇનપુટ ટોકન પર 90% સુધીનું ડિસ્કાઉન્ટ મળે છે.
GPT‑6 પરિવાર સાથે અમે સુધારેલી પ્રોમ્પ્ટ કૅશિંગ પ્રણાલી રજૂ કરી છે, જે મૂળભૂત રીતે વધુ કૅશ હિટ દર આપે છે. હવે 30 મિનિટની સમયમર્યાદામાં ફરી વપરાતા પાત્ર સહિયારા ઉપસર્ગો માટે અમે કૅશ ડિસ્કાઉન્ટ આપીએ છીએ. વિકાસકર્તાઓને કૅશનું પ્રદર્શન જોવામાં, મિસનું નિદાન કરવામાં અને પ્રોમ્પ્ટનો કેટલો ભાગ કૅશ કરવો તે પસંદ કરવામાં મદદરૂપ નવાં સાધનો પણ અમે રજૂ કરી રહ્યા છીએ.
નવું પ્રોમ્પ્ટ કૅશિંગ ડૅશબોર્ડ(નવી વિન્ડોમાં ખૂલે છે) તમારી ઍપ્લિકેશનના ઇનપુટનો કેટલો ભાગ કૅશમાંથી પૂરો થાય છે તે બતાવે છે. સમય સાથે હિટ દર પર નજર રાખો અને કૅશ કરેલા તથા ન કરેલા ટોકનની સરખામણી કરવા ઇનપુટ રચનાના ચાર્ટનો ઉપયોગ કરો. આ દૃશ્યો કૅશ હિટમાં થતો ઘટાડો ઓળખવામાં અને તમારી ઍપ્લિકેશનના ફેરફારો કૅશિંગના પ્રદર્શનને કેવી રીતે અસર કરે છે તે મૂલવવામાં મદદ કરે છે.
અનપેક્ષિત કૅશ મિસ દેખાય ત્યારે શું બન્યું તે સમજવા પ્રોમ્પ્ટ કૅશિંગ નિદાન સાધન(નવી વિન્ડોમાં ખૂલે છે)નો ઉપયોગ કરો. મોડલ, સાધનો, સેટિંગ્સ અથવા ઇનપુટમાં ફરી ઉપયોગને અવરોધતા ફેરફારો ઓળખવા કોઈ વિનંતીની તાજેતરના પ્રતિભાવ સાથે સરખામણી કરો. અસરગ્રસ્ત ટોકનની અંદાજિત સંખ્યા તમને અસરનું પ્રમાણ મૂલવવામાં અને કૅશ હિટ દર મહત્તમ કરવા એકીકરણને કેવી રીતે સુધારવું તે નક્કી કરવામાં મદદ કરે છે.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
શું કૅશ કરવું તે પસંદ કરો. સ્પષ્ટ કૅશ બ્રેકપોઇન્ટથી તમે કયા પ્રોમ્પ્ટ ઉપસર્ગનો ફરી ઉપયોગ કરવો તે પસંદ કરી શકો છો. સુધારેલી પ્રોમ્પ્ટ કૅશિંગ માર્ગદર્શિકા(નવી વિન્ડોમાં ખૂલે છે) તેનો ઉપયોગ કેવી રીતે કરવો, કૅશ કરેલા ઉપસર્ગો કેટલો સમય પાત્ર રહે છે અને સાધનો તથા ઇનપુટના ફેરફારો ફરી ઉપયોગને કેવી રીતે અસર કરે છે તે સમજાવે છે.
કૅશ ખોરવ્યા વિના রিজনিং પ્રયાસ ગોઠવો. GPT‑6 મોડલમાં હવે તમે કૅશ ખોરવ્યા વિના પ્રતિભાવો વચ્ચે রিজনিং પ્રયાસ બદલી(નવી વિન્ડોમાં ખૂલે છે) શકો છો. વિનંતી-સ્તરનો রিজনিং પ્રયાસ બદલ્યા વિના configuration_update ઉમેરો. મુશ્કેલ કાર્ય માટે પ્રયાસ વધારો અથવા નિયમિત અનુવર્તી કાર્ય માટે ઘટાડો. આનાથી ફરી વાપરી શકાય તેવો સંદર્ભ જાળવીને કાર્યને કેટલા রিজনিংની જરૂર છે તે ગોઠવી શકાય છે.
સાધનો અને સૂચનાઓ બદલાય ત્યારે કૅશ જાળવો. તમારા એજન્ટની સાધન-ઉપયોગની જરૂરિયાતો બદલાય ત્યારે સાધનોની વ્યાખ્યાઓ, સ્કીમા અને ક્રમ સ્થિર રાખો, જેથી અગાઉનો સંદર્ભ ફરી વાપરી શકાય. વ્યાખ્યાઓ દૂર કરવાને બદલે માત્ર સંબંધિત સાધનોને કૉલ કરી શકાય તે માટે allowed_tools વાપરો અથવા કોઈ સાધનની જરૂર ન હોય ત્યારે tool_choiceને none પર સેટ કરો. જૂની સૂચનાઓને રદ કરવા સંદર્ભના અંત તરફ નવી સૂચનાઓ ઉમેરવા માટે નવા વિકાસકર્તા સંદેશાનો ઉપયોગ કરો. સાધનોના ફેરફારો સંચાલિત કરવા અંગેનું અમારું માર્ગદર્શન(નવી વિન્ડોમાં ખૂલે છે) જુઓ.
વિલંબ ઘટાડવા કૅશને અગાઉથી તૈયાર કરો. અગાઉથી તૈયારી(નવી વિન્ડોમાં ખૂલે છે) જાણીતા સંદર્ભને આગોતરો તૈયાર કરે છે, જેથી વિનંતી આવતાં મોડલ વહેલો પ્રતિભાવ આપવાનું શરૂ કરી શકે. ઉદાહરણ તરીકે, વપરાશકર્તા પહેલો પ્રશ્ન પૂછે તે પહેલાં ઍપ્લિકેશન શરૂ થતી વખતે સહિયારી સૂચનાઓ, સાધનોની વ્યાખ્યાઓ અથવા સંદર્ભ સામગ્રીને અગાઉથી તૈયાર કરી શકે છે. આનાથી પ્રક્રિયાનો સમય વપરાશકર્તાના પ્રતીક્ષા સમયની બહાર ખસે છે.
આ વૈકલ્પિક નિયંત્રણો એન્જિનના મૂળભૂત પ્રદર્શનને આગળ વધારે છે અને તમારા કાર્યભાર પ્રમાણે કૅશિંગ ગોઠવવામાં મદદ કરે છે.
પ્રોમ્પ્ટ કૅશિંગ ડૅશબોર્ડ(નવી વિન્ડોમાં ખૂલે છે)માં કૅશ હિટ દર પર નજર રાખો.
નિદાન સાધન(નવી વિન્ડોમાં ખૂલે છે) વડે અનપેક્ષિત મિસની તપાસ કરો.
તમારી ગોઠવણી સુધારવા પ્રોમ્પ્ટ કૅશિંગ માર્ગદર્શિકા(નવી વિન્ડોમાં ખૂલે છે) અનુસરો અથવા તમારા કોડની સમીક્ષા કરવા, સુધારા લાગુ કરવા અને પરિણામો માપવા Codexનો ઉપયોગ કરો(નવી વિન્ડોમાં ખૂલે છે).
