GPT‑6 ಗಾಗಿ ಉತ್ತಮ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್
ಹೈಯರ್ ಕ್ಯಾಶ್‌ಹಿಟ್‌ ದರಗಳು ಮತ್ತು ನಿರಂತರ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಏಜೆಂಟ್‌ಗಳು ವೇಗವಾಗಿ ಹಾಗೂ ಕಡಿಮೆ ವೆಚ್ಛದಲ್ಲಿ ಕೆಲಸ ಮಾಡಲು ಸಹಾಯ ಮಾಡುವ ಹೊಸ ಟೂಲ್‌ಗಳು.
ಕೋಡ್‌ಬೇಸ್‌ಗಳನ್ನು ಮರುರಚಿಸುವುದರಿಂದ ಹಿಡಿದು ಸಮಗ್ರ ಸಂಶೋಧನೆಯೊಂದಿಗೆ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳು ಮತ್ತು ಪ್ರೆಸೆಂಟೇಷನ್‌ಗಳನ್ನು ಸಿದ್ಧಪಡಿಸುವವರೆಗೆ, ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳಲ್ಲಿ ನಿರಂತರವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಏಜೆಂಟ್‌ಗಳು ಹಲವು ಗಂಟೆಗಳ ಕಾಲ ಕೆಲಸ ಮಾಡಲು GPT‑6 ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಈ ಏಜೆಂಟ್‌ಗಳ ಹಿಂದಿರುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಒಂದನ್ನೊಂದು ಆಧರಿಸಿದ API ರಿಕ್ವೆಸ್ಟ್‌ಗಳ ಸರಣಿಯನ್ನು ಕಳುಹಿಸುತ್ತವೆ. ಇವುಗಳಲ್ಲಿ ಹಿಂದಿನ ಹಂತಗಳಲ್ಲಿದ್ದ ಅದೇ ಸೂಚನೆಗಳು,ಟೂಲ್‌ಗಳ ವ್ಯಾಖ್ಯಾನಗಳು ಮತ್ತು ಸಂದರ್ಭವನ್ನು ಮುಂದುವರಿಸುವುದು ಸಾಮಾನ್ಯ. OpenAI ಆ ಹಂಚಿಕೆಯ ಸಂದರ್ಭವನ್ನು ಕ್ಯಾಶ್ ಮಾಡುತ್ತದೆ. ಇದರಿಂದ ರಿಕ್ವೆಸ್ಟ್‌ಗಳಾದ್ಯಂತ ಈಗಾಗಲೇ ಮಾಡಿರುವ ಗಣನೆಯನ್ನು ಮರುಬಳಕೆ ಮಾಡಬಹುದು. ಇದರಿಂದ ರೆಸ್ಪಾನ್ಸ್‌ ನೀಡುವ ಸಮಯ ಕಡಿಮೆಯಾಗುತ್ತದೆ ಮತ್ತು ಕ್ಯಾಶ್ ಮಾಡಲಾದ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳ ಮೇಲೆ ಡೆವಲಪರ್‌ಗಳಿಗೆ 90%ವರೆಗೆ ರಿಯಾಯಿತಿ ಸಿಗುತ್ತದೆ.
GPT‑6 ಕುಟುಂಬದೊಂದಿಗೆ, ಡೀಫಾಲ್ಟ್‌ ಆಗಿಯೇ ಹೈ ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳನ್ನು ಒದಗಿಸುವ ಸುಧಾರಿತ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಸಿಸ್ಟಮ್‌ ಪರಿಚಯಿಸಿದ್ದೇವೆ. 30 ನಿಮಿಷಗಳ ಅವಧಿಯೊಳಗೆ ಮರುಬಳಕೆಯಾಗುವ ಅರ್ಹ ಹಂಚಿಕೆಯ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳಿಗೆ ಈಗ ನಾವು ಕ್ಯಾಶ್ ರಿಯಾಯಿತಿ ನೀಡುತ್ತೇವೆ. ಕ್ಯಾಶ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಗಮನಿಸಲು, ಮಿಸ್‌ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ನ ಎಷ್ಟು ಭಾಗವನ್ನು ಕ್ಯಾಶ್ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆ ಮಾಡಲು ಡೆವಲಪರ್‌ಗಳಿಗೆ ನೆರವಾಗುವ ಹೊಸ ಪರಿಕರಗಳನ್ನೂ ಪರಿಚಯಿಸುತ್ತಿದ್ದೇವೆ.
ಹೊಸ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್‌ನ ಇನ್‌ಪುಟ್‌ನಲ್ಲಿ ಎಷ್ಟು ಭಾಗವನ್ನು ಕ್ಯಾಶ್‌ನಿಂದ ಒದಗಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಕಾಲಕ್ರಮೇಣ ಹಿಟ್ ದರಗಳನ್ನು ಗಮನಿಸಿ ಮತ್ತು ಕ್ಯಾಶ್ ಮಾಡಿದ ಹಾಗೂ ಮಾಡದ ಟೋಕನ್‌ಗಳನ್ನು ಹೋಲಿಸಲು ಇನ್‌ಪುಟ್ ಸಂಯೋಜನೆಯ ಚಾರ್ಟ್ ಬಳಸಿ. ಈ ಅವಲೋಕನಗಳು ಕ್ಯಾಶ್ ಹಿಟ್‌ಗಳಲ್ಲಿ ಇಳಿಕೆಯಾಗುತ್ತಿರುವುದನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್‌ನ ಬದಲಾವಣೆಗಳು ಕ್ಯಾಶಿಂಗ್ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಬೀರುವ ಪರಿಣಾಮವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ನೆರವಾಗುತ್ತವೆ.
ಅನಿರೀಕ್ಷಿತ ಕ್ಯಾಶ್ ಮಿಸ್ ಕಂಡಾಗ, ಏನಾಯಿತು ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಡಯಾಗ್ನೋಸ್ಟಿಕ್ಸ್‌ ಟೂಲ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಬಳಸಿ. ಮರುಬಳಕೆಯನ್ನು ತಡೆದ ಮಾಡೆಲ್, ಟೂಲ್‌ಗಳು, ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಅಥವಾ ಇನ್‌ಪುಟ್‌ನಲ್ಲಿನ ಬದಲಾವಣೆಗಳನ್ನು ಗುರುತಿಸಲು ಟಿಕ್ವೆಸ್ಟ್‌ ಅನ್ನು ಇತ್ತೀಚಿನ ರೆಸ್ಪಾನ್ಸ್‌ ಜೊತೆ ಹೋಲಿಸಿ. ಪರಿಣಾಮಕ್ಕೊಳಗಾದ ಟೋಕನ್‌ಗಳ ಅಂದಾಜು ಸಂಖ್ಯೆಯು ಪರಿಣಾಮದ ಪ್ರಮಾಣವನ್ನು ನಿರ್ಣಯಿಸಲು ಮತ್ತು ಕ್ಯಾಶ್ ಹಿಟ್ ದರಗಳನ್ನು ಗರಿಷ್ಠಗೊಳಿಸುವಂತೆ ನಿಮ್ಮ ಇಂಟಿಗ್ರೇಶನ್‌ ಅನ್ನು ಹೇಗೆ ಉತ್ತಮಪಡಿಸಬಹುದು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ನೆರವಾಗುತ್ತದೆ.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
ಏನನ್ನು ಕ್ಯಾಶ್ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆಮಾಡಿ. ಸ್ಪಷ್ಟವಾದ ಕ್ಯಾಶ್ ಬ್ರೇಕ್‌ಪಾಯಿಂಟ್‌ಗಳ ಮೂಲಕ ಯಾವ ಪ್ರಾಂಪ್ಟ್ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳನ್ನು ಮರುಬಳಕೆ ಮಾಡಬೇಕೆಂದು ಆಯ್ಕೆ ಮಾಡಲು ನಿಮಗೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ. ರಿಫ್ರೆಶ್‌ ಮಾಡಲಾದ ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಗೈಡ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅವುಗಳನ್ನು ಬಳಸುವ ವಿಧಾನ, ಕ್ಯಾಶ್ ಮಾಡಿದ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳು ಎಷ್ಟು ಸಮಯದವರೆಗೆ ಮರುಬಳಕೆಗೆ ಅರ್ಹವಾಗಿರುತ್ತವೆ ಮತ್ತು ಟೂಲ್‌ಗಳು ಮತ್ತು ಇನ್‌ಪುಟ್ಗಳಲ್ಲಿ ಆಗುವ ಬದಲಾವಣೆಗಳು ಮರುಬಳಕೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಕ್ಯಾಶ್‌ಗೆ ಅಡ್ಡಿಯಾಗದಂತೆ ರೀಜನಿಂಗ್ ಎಫರ್ಟ್ ಹೊಂದಿಸಿ. GPT‑6 ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ಈಗ ಕ್ಯಾಶ್‌ಗೆ ಅಡ್ಡಿಯಾಗದಂತೆ ರೆಸ್ಪಾನ್ಸ್‌ಗಳ ನಡುವೆ ರೀಜನಿಂಗ್ ಎಫರ್ಟ್ ಬದಲಾಯಿಸಬಹುದು(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ). ಕಷ್ಟವಾದ ಕೆಲಸಕ್ಕೆ ಎಫರ್ಟ್ ಹೆಚ್ಚಿಸಬಹುದು ಅಥವಾ ಸಾಮಾನ್ಯ ಫಾಲೋ-ಅಪ್‌ಗೆ ಕಡಿಮೆ ಮಾಡಬಹುದು. ಇದಕ್ಕಾಗಿ ರಿಕ್ವೆಸ್ಟ್‌ ಲೆವೆಲ್‌ ರೀಜನಿಂಗ್ ಎಫರ್ಟ್‌ಬದಲಾಯಿಸದೆ configuration_update ಅನ್ನು ಸೇರಿಸಿ. ಇದು ಮರುಬಳಕೆ ಮಾಡಬಹುದಾದ ಸಂದರ್ಭವನ್ನು ಉಳಿಸಿಕೊಂಡೇ ಕಾರ್ಯಕ್ಕೆ ಬೇಕಾದ ರೀಜನಿಂಗ್ ಪ್ರಮಾಣವನ್ನು ಹೊಂದಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
ಟೂಲ್‌ಗಳು ಮತ್ತು ಸೂಚನೆಗಳು ಬದಲಾದಾಗಲೂ ಕ್ಯಾಶ್ ಉಳಿಸಿಕೊಳ್ಳಿ. ನಿಮ್ಮ ಏಜೆಂಟ್‌ನ ಟೂಲ್ ಬಳಕೆಯ ಅಗತ್ಯಗಳು ಬದಲಾದಂತೆ, ಹಿಂದಿನ ಸಂದರ್ಭವನ್ನು ಮರುಬಳಕೆ ಮಾಡಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು, ಸ್ಕೀಮಾಗಳು ಮತ್ತು ಅವುಗಳ ಕ್ರಮವನ್ನು ಸ್ಥಿರವಾಗಿ ಇರಿಸಿ. ಅಗತ್ಯವಿರುವ ಟೂಲ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸಲು allowed_tools ಬಳಸಿ ಅಥವಾ ಯಾವುದೇ ಟೂಲ್ ಅಗತ್ಯವಿಲ್ಲದಾಗ tool_choice ಅನ್ನು none ಎಂದು ಹೊಂದಿಸಿ. ಹಳೆಯ ಸೂಚನೆಗಳನ್ನು ಬದಲಾಯಿಸಲು ಹೊಸ ಹೊಸ ಡೆವಲಪರ್ ಮೆಸೇಜ್‌ಗಳನ್ನು ಬಳಸಿ, ಅವುಗಳನ್ನು ಸಂದರ್ಭದ ಕೊನೆಯಲ್ಲಿ ಸೇರಿಸಿ. ನಮ್ಮ ಮ್ಯಾನೇಜಿಂಗ್‌ ಟೂಲ್ ಚೆಂಜಸ್‌ ಮಾರ್ಗದರ್ಶಿ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನೋಡಿ.
ಲೇಟೆನ್ಸಿ ಕಡಿಮೆ ಮಾಡಲು ಕ್ಯಾಶ್ ಅನ್ನು ಮುಂಚಿತವಾಗಿ ಸಜ್ಜುಗೊಳಿಸಿ. ರಿಕ್ವೆಸ್ಟ್‌ ಬಂದಾಗ ಮಾಡೆಲ್ ಬೇಗ ಪ್ರತಿಕ್ರಿಯಿಸಲು ಆರಂಭಿಸುವಂತೆ ಮುಂಚಿತ ಸಜ್ಜುಗೊಳಿಸುವಿಕೆ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಪರಿಚಿತ ಸಂದರ್ಭವನ್ನು ಮೊದಲೇ ಸಿದ್ಧಪಡಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಬಳಕೆದಾರರು ಮೊದಲ ಪ್ರಶ್ನೆ ಕೇಳುವ ಮೊದಲು, ಅಪ್ಲಿಕೇಶನ್ ಪ್ರಾರಂಭವಾಗುವಾಗಲೇ ಹಂಚಿಕೆಯ ಸೂಚನೆಗಳು, ಟೂಲ್ ವ್ಯಾಖ್ಯಾನಗಳು ಅಥವಾ ಉಲ್ಲೇಖ ಮಾಹಿತಿಯನ್ನು ಮುಂಚಿತವಾಗಿ ಸಜ್ಜುಗೊಳಿಸಬಹುದು. ಇದರಿಂದ ಅಗತ್ಯವಿರುವ ಪ್ರೊಸೆಸಿಂಗ್‌ ಅನ್ನುು ಬಳಕೆದಾರರ ಕಾಯುವ ಸಮಯದಿಂದ ಮುಂಚಿನ ಹಂತಕ್ಕೆ ವರ್ಗಾಯಿಸಬಹುದು.
ಈ ಐಚ್ಛಿಕ ನಿಯಂತ್ರಣಗಳು ಎಂಜಿನ್‌ನ ಡೀಫಾಲ್ಟ್‌ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆಧರಿಸಿ, ನಿಮ್ಮ ಕೆಲಸದ ಹೊರೆಗೆ ತಕ್ಕಂತೆ ಕ್ಯಾಶಿಂಗ್ ಹೊಂದಿಸಲು ನೆರವಾಗುತ್ತವೆ.
ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನಲ್ಲಿ ಕ್ಯಾಶ್ ಹಿಟ್ ದರವನ್ನು ಗಮನಿಸಿ.
ಡಯಾಗ್ನೋಸ್ಟಿಕ್‌ ಟೂಲ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)ನಿಂದ ಅನಿರೀಕ್ಷಿತ ಮಿಸ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
ನಿಮ್ಮ ಸೆಟಪ್‌ ಸುಧಾರಿಸಲು ಪ್ರಾಮ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಗೈಡ್(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಅನುಸರಿಸಿ ಅಥವಾ ನಿಮ್ಮ ಕೋಡ್ ಪರಿಶೀಲಿಸಲು, ಸುಧಾರಣೆಗಳನ್ನು ಅನ್ವಯಿಸಲು ಮತ್ತು ಫಲಿತಾಂಶಗಳನ್ನು ಅಳೆಯಲು Codex ಬಳಸಿ(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ).
