GPT‑6ಗಾಗಿ ಉತ್ತಮ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್
ನಿರಂತರ ಏಜೆಂಟ್ಗಳು ವೇಗವಾಗಿ ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಹೆಚ್ಚಿನ ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳು ಹಾಗೂ ಹೊಸ ಪರಿಕರಗಳು.
ಕೋಡ್ಬೇಸ್ಗಳನ್ನು ಮರುರಚಿಸುವುದರಿಂದ ಹಿಡಿದು ಸಮಗ್ರ ಸಂಶೋಧನೆಯ ದಾಖಲೆಗಳು ಮತ್ತು ಪ್ರಸ್ತುತಿಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುವವರೆಗೆ, ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳಲ್ಲಿ ನಿರಂತರ ಏಜೆಂಟ್ಗಳು ಹಲವು ಗಂಟೆಗಳ ಕಾಲ ಕೆಲಸ ಮಾಡಲು GPT‑6 ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಈ ಏಜೆಂಟ್ಗಳ ಹಿಂದಿರುವ ಅಪ್ಲಿಕೇಶನ್ಗಳು ಒಂದನ್ನೊಂದು ಆಧರಿಸಿದ API ವಿನಂತಿಗಳ ಸರಣಿಯನ್ನು ಮಾಡುತ್ತವೆ. ಅವು ಹಿಂದಿನ ಸಂವಾದಗಳಿಂದ ಅದೇ ಸೂಚನೆಗಳು, ಪರಿಕರ ವ್ಯಾಖ್ಯಾನಗಳು ಮತ್ತು ಸಂದರ್ಭವನ್ನು ಮುಂದಕ್ಕೆ ಕೊಂಡೊಯ್ಯುತ್ತವೆ. ವಿನಂತಿಗಳಾದ್ಯಂತ ಗಣನೆಯನ್ನು ಮರುಬಳಕೆ ಮಾಡಲು OpenAI ಆ ಹಂಚಿಕೊಂಡ ಸಂದರ್ಭವನ್ನು ಕ್ಯಾಶ್ ಮಾಡುತ್ತದೆ. ಇದರಿಂದ ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯ ಕಡಿಮೆಯಾಗುತ್ತದೆ ಮತ್ತು ಕ್ಯಾಶ್ ಮಾಡಿದ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳ ಮೇಲೆ ಡೆವಲಪರ್ಗಳಿಗೆ 90%ವರೆಗೆ ರಿಯಾಯಿತಿ ಸಿಗುತ್ತದೆ.
GPT‑6 ಕುಟುಂಬದೊಂದಿಗೆ, ಪೂರ್ವನಿಯೋಜಿತವಾಗಿಯೇ ಹೆಚ್ಚಿನ ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳನ್ನು ನೀಡುವ ಸುಧಾರಿತ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ವ್ಯವಸ್ಥೆಯನ್ನು ಪರಿಚಯಿಸಿದ್ದೇವೆ. 30 ನಿಮಿಷಗಳ ಅವಧಿಯೊಳಗೆ ಮರುಬಳಕೆಯಾಗುವ ಅರ್ಹ ಹಂಚಿಕೆಯ ಪೂರ್ವಪ್ರತ್ಯಯಗಳಿಗೆ ಈಗ ನಾವು ಕ್ಯಾಶ್ ರಿಯಾಯಿತಿ ನೀಡುತ್ತೇವೆ. ಕ್ಯಾಶ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು, ಮಿಸ್ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ನ ಎಷ್ಟು ಭಾಗವನ್ನು ಕ್ಯಾಶ್ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆ ಮಾಡಲು ಡೆವಲಪರ್ಗಳಿಗೆ ನೆರವಾಗುವ ಹೊಸ ಪರಿಕರಗಳನ್ನೂ ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ.
ಹೊಸ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ನ ಇನ್ಪುಟ್ನಲ್ಲಿ ಎಷ್ಟು ಭಾಗವನ್ನು ಕ್ಯಾಶ್ನಿಂದ ಒದಗಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಕಾಲಾನುಕ್ರಮದಲ್ಲಿ ಹಿಟ್ ದರಗಳನ್ನು ಗಮನಿಸಿ ಮತ್ತು ಕ್ಯಾಶ್ ಮಾಡಿದ ಹಾಗೂ ಮಾಡದ ಟೋಕನ್ಗಳನ್ನು ಹೋಲಿಸಲು ಇನ್ಪುಟ್ ಸಂಯೋಜನೆಯ ಚಾರ್ಟ್ ಬಳಸಿ. ಕ್ಯಾಶ್ ಹಿಟ್ಗಳ ಕುಸಿತವನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ನ ಬದಲಾವಣೆಗಳು ಕ್ಯಾಶಿಂಗ್ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಬೀರುವ ಪರಿಣಾಮವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಈ ನೋಟಗಳು ನೆರವಾಗುತ್ತವೆ.
ಅನಿರೀಕ್ಷಿತ ಕ್ಯಾಶ್ ಮಿಸ್ ಕಂಡಾಗ, ಏನಾಯಿತು ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ರೋಗನಿರ್ಣಯ ಪರಿಕರವನ್ನು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಬಳಸಿ. ಮರುಬಳಕೆಯನ್ನು ತಡೆದ ಮಾಡೆಲ್, ಪರಿಕರಗಳು, ಸೆಟ್ಟಿಂಗ್ಗಳು ಅಥವಾ ಇನ್ಪುಟ್ನಲ್ಲಿನ ಬದಲಾವಣೆಗಳನ್ನು ಗುರುತಿಸಲು ವಿನಂತಿಯೊಂದನ್ನು ಇತ್ತೀಚಿನ ಪ್ರತಿಕ್ರಿಯೆಯೊಂದಿಗೆ ಹೋಲಿಸಿ. ಪರಿಣಾಮಕ್ಕೊಳಗಾದ ಟೋಕನ್ಗಳ ಅಂದಾಜು ಸಂಖ್ಯೆಯು ಪರಿಣಾಮದ ಪ್ರಮಾಣವನ್ನು ನಿರ್ಣಯಿಸಲು ಮತ್ತು ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಂತೆ ನಿಮ್ಮ ಸಂಯೋಜನೆಯನ್ನು ಹೇಗೆ ಉತ್ತಮಪಡಿಸಬಹುದು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ನೆರವಾಗುತ್ತದೆ.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
ಏನನ್ನು ಕ್ಯಾಶ್ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆಮಾಡಿ. ಯಾವ ಪ್ರಾಂಪ್ಟ್ ಪೂರ್ವಪ್ರತ್ಯಯಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆ ಮಾಡಲು ಸ್ಪಷ್ಟ ಕ್ಯಾಶ್ ಬ್ರೇಕ್ಪಾಯಿಂಟ್ಗಳು ಅವಕಾಶ ನೀಡುತ್ತವೆ. ನವೀಕರಿಸಿದ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಮಾರ್ಗದರ್ಶಿಯು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅವುಗಳನ್ನು ಬಳಸುವ ವಿಧಾನ, ಕ್ಯಾಶ್ ಮಾಡಿದ ಪೂರ್ವಪ್ರತ್ಯಯಗಳು ಎಷ್ಟು ಕಾಲ ಅರ್ಹವಾಗಿರುತ್ತವೆ ಮತ್ತು ಪರಿಕರ ಹಾಗೂ ಇನ್ಪುಟ್ ಬದಲಾವಣೆಗಳು ಮರುಬಳಕೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಕ್ಯಾಶ್ಗೆ ಅಡ್ಡಿಯಾಗದಂತೆ ರೀಜನಿಂಗ್ ಶ್ರಮವನ್ನು ಹೊಂದಿಸಿ. GPT‑6 ಮಾಡೆಲ್ಗಳಲ್ಲಿ ಈಗ ಕ್ಯಾಶ್ಗೆ ಅಡ್ಡಿಯಾಗದಂತೆ ಪ್ರತಿಕ್ರಿಯೆಗಳ ನಡುವೆ ರೀಜನಿಂಗ್ ಶ್ರಮವನ್ನು ಬದಲಾಯಿಸಬಹುದು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ). ವಿನಂತಿ ಮಟ್ಟದ ರೀಜನಿಂಗ್ ಶ್ರಮವನ್ನು ಬದಲಾಯಿಸದೆ configuration_update ಅನ್ನು ಕೊನೆಯಲ್ಲಿ ಸೇರಿಸುವ ಮೂಲಕ ಕಠಿಣ ಕಾರ್ಯಕ್ಕೆ ಶ್ರಮವನ್ನು ಹೆಚ್ಚಿಸಿ ಅಥವಾ ಸಾಮಾನ್ಯ ಮುಂದುವರಿದ ಪ್ರಶ್ನೆಗೆ ಅದನ್ನು ತಗ್ಗಿಸಿ. ಇದು ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಸಂದರ್ಭವನ್ನು ಉಳಿಸಿಕೊಂಡೇ ಕಾರ್ಯಕ್ಕೆ ಬೇಕಾದ ರೀಜನಿಂಗ್ ಪ್ರಮಾಣವನ್ನು ಹೊಂದಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ಪರಿಕರಗಳು ಮತ್ತು ಸೂಚನೆಗಳು ಬದಲಾದಾಗಲೂ ಕ್ಯಾಶ್ ಉಳಿಸಿಕೊಳ್ಳಿ. ನಿಮ್ಮ ಏಜೆಂಟ್ನ ಪರಿಕರ ಬಳಕೆಯ ಅಗತ್ಯಗಳು ಬದಲಾದಂತೆ, ಹಿಂದಿನ ಸಂದರ್ಭವನ್ನು ಮರುಬಳಕೆ ಮಾಡಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಪರಿಕರ ವ್ಯಾಖ್ಯಾನಗಳು, ಸ್ಕೀಮಾಗಳು ಮತ್ತು ಕ್ರಮವನ್ನು ಸ್ಥಿರವಾಗಿ ಇರಿಸಿ. ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ತೆಗೆದುಹಾಕುವ ಬದಲು, ಸಂಬಂಧಿತ ಪರಿಕರಗಳನ್ನು ಮಾತ್ರ ಕರೆಸಲು allowed_tools ಬಳಸಿ ಅಥವಾ ಯಾವುದೇ ಪರಿಕರ ಅಗತ್ಯವಿಲ್ಲದಾಗ tool_choice ಅನ್ನು none ಎಂದು ಹೊಂದಿಸಿ. ಹಳೆಯ ಸೂಚನೆಗಳನ್ನು ಅತಿಕ್ರಮಿಸಲು ಸಂದರ್ಭದ ಕೊನೆಯಲ್ಲಿ ಹೊಸ ಸೂಚನೆಗಳನ್ನು ಸೇರಿಸುವಂತೆ ಹೊಸ ಡೆವಲಪರ್ ಸಂದೇಶಗಳನ್ನು ಬಳಸಿ. ನಮ್ಮ ಪರಿಕರ ಬದಲಾವಣೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಮಾರ್ಗದರ್ಶನವನ್ನು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನೋಡಿ.
ವಿಳಂಬ ತಗ್ಗಿಸಲು ಕ್ಯಾಶ್ ಅನ್ನು ಮುಂಚಿತವಾಗಿ ಸಜ್ಜುಗೊಳಿಸಿ. ವಿನಂತಿ ಬಂದಾಗ ಮಾಡೆಲ್ ಬೇಗ ಪ್ರತಿಕ್ರಿಯಿಸಲು ಆರಂಭಿಸುವಂತೆ ಮುಂಚಿತ ಸಜ್ಜುಗೊಳಿಸುವಿಕೆ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಪರಿಚಿತ ಸಂದರ್ಭವನ್ನು ಮೊದಲೇ ಸಿದ್ಧಪಡಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಬಳಕೆದಾರರು ಮೊದಲ ಪ್ರಶ್ನೆ ಕೇಳುವ ಮೊದಲು ಅಪ್ಲಿಕೇಶನ್ ಪ್ರಾರಂಭವಾಗುವಾಗಲೇ ಹಂಚಿಕೆಯ ಸೂಚನೆಗಳು, ಪರಿಕರ ವ್ಯಾಖ್ಯಾನಗಳು ಅಥವಾ ಉಲ್ಲೇಖ ಸಾಮಗ್ರಿಯನ್ನು ಮುಂಚಿತವಾಗಿ ಸಜ್ಜುಗೊಳಿಸಬಹುದು. ಇದು ಸಂಸ್ಕರಣೆಯನ್ನು ಬಳಕೆದಾರರ ಕಾಯುವ ಸಮಯದಿಂದ ಹೊರಗೆ ನಡೆಸುತ್ತದೆ.
ಈ ಐಚ್ಛಿಕ ನಿಯಂತ್ರಣಗಳು ಎಂಜಿನ್ನ ಪೂರ್ವನಿಯೋಜಿತ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆಧರಿಸಿ, ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆಗೆ ತಕ್ಕಂತೆ ಕ್ಯಾಶಿಂಗ್ ಹೊಂದಿಸಲು ನೆರವಾಗುತ್ತವೆ.
ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
ರೋಗನಿರ್ಣಯ ಪರಿಕರದಿಂದ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅನಿರೀಕ್ಷಿತ ಮಿಸ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
ನಿಮ್ಮ ಸಂಯೋಜನೆಯನ್ನು ಸುಧಾರಿಸಲು ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಮಾರ್ಗದರ್ಶಿಯನ್ನು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅನುಸರಿಸಿ ಅಥವಾ ನಿಮ್ಮ ಕೋಡ್ ಪರಿಶೀಲಿಸಲು, ಸುಧಾರಣೆಗಳನ್ನು ಅನ್ವಯಿಸಲು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯಲು Codex ಬಳಸಿ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ).
