ನಿಯೋಜನೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಿ ಬಿಡುಗಡೆಗೂ ಮೊದಲು ಮಾಡೆಲ್ ವರ್ತನೆಯನ್ನು ಊಹಿಸುವುದು

ಹೊಸ ಮಾಡೆಲ್ ಅನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ಮೊದಲು, ಲ್ಯಾಬ್‌ಗಳು ಅದು ಏನು ಮಾಡಬಲ್ಲದು ಎನ್ನುವುದಷ್ಟೇ ಅಲ್ಲದೆ, ನೈಜ ಜಗತ್ತಿನ ಬಳಕೆಯಲ್ಲಿ ಅದು ಹೇಗೆ ವರ್ತಿಸುವ ಸಾಧ್ಯತೆ ಇದೆ, ಹೊಸ ಅಪಾಯಗಳನ್ನು ಎಲ್ಲಿ ಪರಿಚಯಿಸಬಹುದು ಎಂಬುದನ್ನೂ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು. ಸಾಮರ್ಥ್ಯಗಳು ಹೆಚ್ಚಾದಂತೆ ಇದು ಇನ್ನೂ ಹೆಚ್ಚು ಮುಖ್ಯವಾಗುತ್ತದೆ. ನಮ್ಮ ನಿಯೋಜನೆಪೂರ್ವ ಸುರಕ್ಷತಾ ಪರಿಶೀಲನೆಯ ಭಾಗವಾಗಿ, ಮಾಡೆಲ್ ವರ್ತನೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನಾವು ಗುರಿಪಡಿಸಿದ ಮೌಲ್ಯಮಾಪನಗಳು, ರೆಡ್-ಟೀಮಿಂಗ್ ಮತ್ತು ಇತರ ಪರಿಶೀಲನೆಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಮಾಡೆಲ್ ನಿಯೋಜನೆಗಳು ನಡೆಯುವ ಮೊದಲು ಅವನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವ ವಿಧಾನವನ್ನು ನಾವು ಈಗ ಬಳಸಲು ಆರಂಭಿಸಿದ್ದೇವೆ; ಇದು ಪೂರಕ ಸಂಕೇತವನ್ನು ಸೇರಿಸುತ್ತದೆ: ಅಭ್ಯರ್ಥಿ ಮಾಡೆಲ್ ಬಳಕೆದಾರರನ್ನು ತಲುಪುವ ಮೊದಲು ಅದು ಹೇಗೆ ವರ್ತಿಸಬಹುದು ಎಂಬುದರ ನಿಯೋಜನೆ-ಸದೃಶ ಪೂರ್ವವೀಕ್ಷಣೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಎಂಬುದು ಭವಿಷ್ಯದ ನಿಯೋಜನೆಯನ್ನು ಅದು ನಡೆಯುವ ಮೊದಲು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವ ವಿಧಾನವಾಗಿದೆ. ಹೊಸ ಅಭ್ಯರ್ಥಿ ಮಾಡೆಲ್‌ನೊಂದಿಗೆ ಹಿಂದಿನ ಸಂಭಾಷಣೆಗಳನ್ನು ಗೌಪ್ಯತೆ ಕಾಪಾಡುವ ರೀತಿಯಲ್ಲಿ ಮರುಚಾಲನೆ ಮಾಡುವ ಮೂಲಕ ನಾವು ಇದನ್ನು ಮಾಡುತ್ತೇವೆ. ಇದರಿಂದ ಬಿಡುಗಡೆಗೂ ಮೊದಲು ಹೊಸ ಮಾಡೆಲ್ ನೈಜಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ, ಹೊಸ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆಯೇ ಮತ್ತು ಅವು ಎಷ್ಟು ಬಾರಿ ಕಾಣಿಸಬಹುದು ಎಂಬುದನ್ನು ಅಧ್ಯಯನ ಮಾಡಲು ನಮಗೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ಹಲವಾರು GPT‑5‑ಸರಣಿಯ Thinking ನಿಯೋಜನೆಗಳಾದ್ಯಂತ, ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಯ ದರಗಳ ಕುರಿತು ನಮ್ಮ ಅಂದಾಜುಗಳನ್ನು ಸುಧಾರಿಸಿತು, ಬಿಡುಗಡೆಗೂ ಮೊದಲು ಹೊಸ ರೀತಿಯ ತಪ್ಪುಹೊಂದಾಣಿಕೆಗಳನ್ನು ಹೊರತರುವಲ್ಲಿ ಸಹಾಯ ಮಾಡಿತು ಮತ್ತು ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮನ್ನು ಪರೀಕ್ಷಿಸಲಾಗುತ್ತಿದೆ ಎಂದು ತಿಳಿದುಕೊಳ್ಳುವ ಅಪಾಯವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ನೆರವಾಯಿತು. ನಾವು ಈ ವಿಧಾನವನ್ನು ಸವಾಲಿನ ಏಜೆಂಟಿಕ್ ರೋಲ್‌ಔಟ್‌ಗಳಿಗೂ ಅನ್ವಯಿಸಿದ್ದೇವೆ; ಇದು ಸಾಮಾನ್ಯ ಚಾಟ್‌ಗಿಂತ ಹೊರಗೂ, ಟೂಲ್ ಬಳಕೆಯನ್ನು ಒಳಗೊಂಡ ಹೆಚ್ಚು ಸಂಕೀರ್ಣ ಏಜೆಂಟ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳವರೆಗೆ ವಿಸ್ತರಿಸಬಹುದು ಮತ್ತು ಆಂತರಿಕ ಮಾಡೆಲ್ ನಿಯೋಜನೆಗಳ ಮೊದಲು ಅಪಾಯ ಮೌಲ್ಯಮಾಪನಕ್ಕೂ ಬಳಸಬಹುದು ಎಂಬುದನ್ನು ತೋರಿಸಿದೆ.

ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿನ ಅಂಧ ಬಿಂದುಗಳನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ಶಮನ ಕ್ರಮಗಳು ಹಾಗೂ ನಿಯೋಜನೆ ನಿರ್ಧಾರಗಳಿಗೆ ಮಾಹಿತಿ ನೀಡಲು, ಮಾಡೆಲ್ ಅಭಿವೃದ್ಧಿಯ ಸಮಯದಲ್ಲೇ ನಾವು ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್‌ನಿಂದ ಪಡೆದ ಒಳನೋಟಗಳನ್ನು ಈಗಾಗಲೇ ಬಳಸಿದ್ದೇವೆ. ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡಲು ಸುಲಭಗೊಳಿಸುತ್ತಿರುವಂತೆ, ಭವಿಷ್ಯದ ಮಾಡೆಲ್ ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಇದು ಇನ್ನಷ್ಟು ದೊಡ್ಡ ಪಾತ್ರ ವಹಿಸುತ್ತದೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ.

ಉದ್ಯಮದಾದ್ಯಂತ ಬಳಸುವ ನಿಯೋಜನೆಪೂರ್ವ ಮೌಲ್ಯಮಾಪನಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಕಷ್ಟಕರ, ಗಂಭೀರ ಅಥವಾ ವಿರೋಧಾತ್ಮಕವಾಗಿರಲು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಆಯ್ಕೆ ಮಾಡಿದ ಸಂಶ್ಲೇಷಿತ, ಕೈಯಾರೆ ಬರೆಯಲ್ಪಟ್ಟ ಅಥವಾ ಉತ್ಪಾದನಾ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ಮಿಶ್ರಣವನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ. ಈ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಎರಡು ಪರಸ್ಪರ ಸಂಬಂಧಿತ ಗುರಿಗಳಿವೆ: ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ಸಂಭವಿಸುವ ಸಾಧ್ಯತೆ ಬಹಳ ಕಡಿಮೆ ಇರುವ ಪರಿಸ್ಥಿತಿಗಳಲ್ಲಿ ಒತ್ತಡ-ಪರೀಕ್ಷೆ ಮಾಡಿದಾಗ ಮಾಡೆಲ್ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅಳೆಯುವುದು, ಮತ್ತು ಹೊಸ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಹಾಗೂ ಅವುಗಳ ನಿಯೋಜನೆ-ಸಮಯದ ಆವೃತ್ತಿಗಳನ್ನು ಊಹಿಸುವುದನ್ನು ಒಳಗೊಂಡಂತೆ ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಗಳ ಸಾಮಾನ್ಯ ಅರಿವು ಪಡೆಯುವುದು.

ಮೊದಲ ಗುರಿಗೆ ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳು ಅತ್ಯಂತ ಮುಖ್ಯವಾಗಿಯೇ ಉಳಿದಿದ್ದರೂ, ಎರಡನೇ ಗುರಿಗೆ, ಟೇಲ್ ಅಲ್ಲದ ಅಪಾಯಗಳ ವಿಷಯದಲ್ಲಿ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮಹತ್ವದ ಮುಂದಡಿಗೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ (ನಮ್ಮ ಪ್ರಯೋಗಗಳಲ್ಲಿ, 200,000 ಸಂದೇಶಗಳಲ್ಲಿ 1 ಕ್ಕಿಂತ ಕಡಿಮೆ ಆವೃತ್ತಿಯಲ್ಲಿ ಸಂಭವಿಸುವ ವರ್ತನೆಗಳನ್ನು ನಮ್ಮ ವಿಧಾನ ಅಳೆಯುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸಲಾಗುವುದಿಲ್ಲ). ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್‌ನ ಬಲವು ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳಲ್ಲಿರುವ ಕೆಲವು ಮೂಲಭೂತ ಸವಾಲುಗಳನ್ನು ತಪ್ಪಿಸಿಕೊಂಡು ಹೋಗುವುದರಿಂದ ಬರುತ್ತದೆ:

• ವ್ಯಾಪ್ತಿ: ಮೌಲ್ಯಮಾಪನ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಯ ಎಲ್ಲ ಸಾಧ್ಯ ಪ್ರಕಾರಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ ಎಂಬ ವಿಶ್ವಾಸ ಹೊಂದುವುದು ಕಷ್ಟ. ಹೊಸ ರೀತಿಯ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯನ್ನು ಅಳೆಯಲು ಹೊಸ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಯಾವ ಹಾನಿಗಳನ್ನು ಅಳೆಯಬೇಕು ಎಂಬುದನ್ನು ತಿಳಿದುಕೊಳ್ಳುವುದು ಅಗತ್ಯ. ಇದಕ್ಕೆ ಸಮಯವೂ ಶ್ರಮವೂ ಬಹಳ ಬೇಕಾಗಬಹುದು, ಮತ್ತು ಮೌಲ್ಯಮಾಪನಗಳು ಕಾಲಕ್ರಮೇಣ ಸ್ಯಾಚುರೇಟ್ ಆಗಬಹುದು.
• ಆಯ್ಕೆ ಪಕ್ಷಪಾತಗಳು: ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ನಿರ್ದಿಷ್ಟ ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಗಳನ್ನು ಮನದಲ್ಲಿಟ್ಟುಕೊಂಡು ನಿರ್ಮಿಸಲಾಗುತ್ತದೆ, ಮತ್ತು ಹಿಂದೆ ಸಂಭವಿಸಿದ ಸನ್ನಿವೇಶಗಳತ್ತ ಪಕ್ಷಪಾತ ಉಂಟುಮಾಡುವ ರೀತಿಯಲ್ಲಿ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ. ಇದರಿಂದ ಪೂರ್ಣ ನಿಯೋಜನೆ ವಿತರಣೆಯ ವ್ಯಾಪ್ತಿಯಲ್ಲಿನ ಇಂತಹ ವರ್ತನೆಗಳ ಸಂಭವನೀಯತೆಯ ಕುರಿತು ಅವುಗಳ ಅಂದಾಜುಗಳು ಕಡಿಮೆ ಮಾಹಿತಿಪೂರ್ಣವಾಗಬಹುದು.
• ಮಾಡೆಲ್‌ಗಳಿಗೆ ಪರೀಕ್ಷೆಗಳಾಗಿ ಗುರುತಿಸಬಹುದಾಗಿರುವುದು: ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮನ್ನು ಪರೀಕ್ಷಿಸಲಾಗುತ್ತಿದೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಲು ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯ ಹೊಂದಿವೆ; ಇದು ಅವುಗಳ ವರ್ತನೆ ಮತ್ತು ಅವುಗಳ ಸುರಕ್ಷತೆಯ ಬಗ್ಗೆ ನಮ್ಮ ನಂತರದ ಮಾಪನಗಳನ್ನು ವಕ್ರಗೊಳಿಸಬಹುದು. OpenAI ನಲ್ಲಿ ನಾವು ಬಳಸುವ ಅನೇಕ ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳೂ ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್‌ನಿಂದಲೇ ತೆಗೆದುಕೊಳ್ಳಲ್ಪಟ್ಟಿದ್ದು ಈ ಸಮಸ್ಯೆಯನ್ನು ಹೊಂದಿಲ್ಲವಾದರೂ, ಉದ್ಯಮದಾದ್ಯಂತ ಬಳಸುವ ಅನೇಕ ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಇದು ಸಾಮಾನ್ಯ ಕಳವಳವಾಗಿದೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್‌ನ ಹಿಂದಿನ ಮುಖ್ಯ ತಂತ್ರ ಸರಳವಾಗಿದೆ: ನಾವು ನಿಯೋಜನೆಯಿಂದ ಇತ್ತೀಚಿನ ಸಂಭಾಷಣೆಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತೇವೆ, ಹಳೆಯ ಮಾಡೆಲ್‌ನ ಮೂಲ ಅಸಿಸ್ಟೆಂಟ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ತೆಗೆದುಹಾಕುತ್ತೇವೆ ಮತ್ತು ಬಿಡುಗಡೆಗೊಳ್ಳಲಿರುವ ಅಭ್ಯರ್ಥಿ ಮಾಡೆಲ್‌ನಿಂದ ಅದನ್ನು ಮರುಸೃಷ್ಟಿಸುತ್ತೇವೆ. ಹೊಸ ವೈಫಲ್ಯ ವಿಧಾನಗಳನ್ನು ಹುಡುಕುವ ಮೂಲಕ ನಾವು ಪೂರ್ಣಗೊಳಿಕೆಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ, ಮತ್ತು ಈ ನಿಯೋಜನೆ-ಸದೃಶ ವಿತರಣೆಯಲ್ಲಿನ ಆವೃತ್ತಿಯ ಆಧಾರದ ಮೇಲೆ ನಿಯೋಜನೆ-ಸಮಯದ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯ ಆವೃತ್ತಿಯನ್ನು ಅಂದಾಜಿಸುತ್ತೇವೆ. ಬಿಡುಗಡೆಯ ನಂತರ ನೈಜ ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ನಾವು ಅದೇ ಮಾಪನಗಳನ್ನು ನಡೆಸಬಹುದು; ಇದರಿಂದ ನಮ್ಮ ನಿಯೋಜನೆಪೂರ್ವ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಮಾನ್ಯಗೊಳಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮೇಲಿನ ಮೂರು ಮಿತಿಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಶಮನಗೊಳಿಸುತ್ತದೆ: ಇತ್ತೀಚಿನ ಬಳಕೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಮೌಲ್ಯಮಾಪನ ಪ್ರಾಂಪ್ಟ್‌ಗಳ ವಿತರಣೆಯನ್ನು ಬಳಸುವುದರಿಂದ ಮಾದರಿ ಆಯ್ಕೆ ಪಕ್ಷಪಾತವನ್ನು ಎದುರಿಸಲಾಗುತ್ತದೆ. ಪ್ರತಿನಿಧಿ ಪ್ರಾಂಪ್ಟ್‌ಗಳೊಂದಿಗೆ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ವ್ಯಾಪ್ತಿಯ ಕುರಿತ ಕಳವಳಗಳನ್ನೂ ಶಮನಗೊಳಿಸಬಹುದು: ಹೆಚ್ಚು ಟ್ರಾಫಿಕ್ ಅನ್ನು ಸರಳವಾಗಿ ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವ ಮೂಲಕ ನಾವು ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಗಳ ಹೆಚ್ಚಿನ ವ್ಯಾಪ್ತಿಯನ್ನು ಪಡೆಯುತ್ತೇವೆ. ಕಂಪ್ಯೂಟ್ ಮತ್ತು ವ್ಯಾಪ್ತಿಯ ನಡುವಿನ ಈ ವಿನಿಮಯ ಮುಖ್ಯವಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಅಪಾಯ ಮೌಲ್ಯಮಾಪನದ ಈ ಅಕ್ಷದ ಗುಣಮಟ್ಟವನ್ನು, ಇನ್ನಷ್ಟು ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ನಿರ್ಮಿಸಲು ಬೇಕಾದ ಕೈಯಾರೆ ಶ್ರಮಕ್ಕಿಂತ ಕಂಪ್ಯೂಟ್ ಜೊತೆ ಸ್ಕೇಲ್ ಆಗುವಂತೆ ಮಾಡುತ್ತದೆ. ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮೂಲಕ ಪಡೆದ ಸಂಭಾಷಣೆಗಳು ಮತ್ತು ನೈಜ ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್ ನಡುವೆ ಮಾಡೆಲ್‌ಗಳು ವ್ಯತ್ಯಾಸ ಗುರುತಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತಿರುವಂತೆ ಕಾಣುವುದಿಲ್ಲ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು, GPT‑5.4 Thinking ಗಾಗಿ 20 ವಿಧದ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯ ನಿಯೋಜನೆ-ಸಮಯದ ಆವೃತ್ತಿಗೆ ನಾವು ಮುನ್ಸೂಚನೆಗಳನ್ನು ಪೂರ್ವ-ನೋಂದಾಯಿಸಿದ್ದೇವೆ. GPT‑5‑ಸರಣಿಯ Thinking ಮಾಡೆಲ್‌ಗಳ ಇತರ ನಿಯೋಜನೆಗಳಾದ್ಯಂತ ನಾವು ಹಿಂದಿನ ಅಧ್ಯಯನಗಳನ್ನೂ ನಡೆಸಿದ್ದೇವೆ. ನಾವು ವಿಶ್ಲೇಷಿಸುವ ಮಾಡೆಲ್ ವರ್ತನೆಗಳು, ಸಿಸ್ಟಮ್ ಕಾರ್ಡ್‌ಗಳಲ್ಲಿ ನಾವು ವರದಿ ಮಾಡುತ್ತ ಬಂದಿರುವ ತಪ್ಪುಹೊಂದಾಣಿಕೆ ಮತ್ತು ಅನುಮತಿಸದ ವಿಷಯ ವರ್ಗಗಳೆರಡನ್ನೂ ಒಳಗೊಂಡಿವೆ (ಉದಾ., ಮಾಡೆಲ್ ಟೂಲ್‌ಗಳ ಬಗ್ಗೆ ಸುಳ್ಳು ಹೇಳುವುದು, ಅಥವಾ ಅನುಮತಿಸದ ಲೈಂಗಿಕ ವಿಷಯವನ್ನು ಔಟ್‌ಪುಟ್ ಮಾಡುವುದು). ಈ ಫಲಿತಾಂಶಗಳಿಗೆ ನಾವು ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಯ ಕೇವಲ 20 ವರ್ಗಗಳನ್ನು ಮಾತ್ರ ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತೇವೆ, ಮತ್ತು ಹೊಸ ತಪ್ಪುಹೊಂದಾಣಿಕೆಯ ವರ್ತನೆಗಳನ್ನಷ್ಟೇ ಹುಡುಕುತ್ತೇವೆ; ಆದರೂ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಒಂದು ಸಾಮಾನ್ಯ ತಂತ್ರವಾಗಿದ್ದು, ಯಾವುದೇ ನಿಯೋಜನೆ-ಸಮಯದ ಮಾಡೆಲ್ ಗುಣಲಕ್ಷಣವನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಲು ಅನ್ವಯಿಸಬಹುದು.

ನಾವು ಬಳಸಿದ ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್ ಕೂಡ GPT‑5‑ಸರಣಿಯ Thinking ಮಾಡೆಲ್‌ಗಳಿಂದಲೇ ಆಗಿತ್ತು. ನಮ್ಮ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ನಡೆಸುವ ಮೊದಲು, ಖಾತೆಗೆ ಸಂಪರ್ಕಿತ ಗುರುತಿಸುವಿಕೆಗಳು ಮತ್ತು ಗುರುತಿಸಬಹುದಾದ ಮಾಹಿತಿಯನ್ನು ನಾವು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ತೆಗೆದುಹಾಕಿದ್ದೇವೆ. ನಮ್ಮ ಪ್ರೈವಸಿ ಪಾಲಿಸಿ ಅನುಸಾರ, ತಮ್ಮ ಡೇಟಾವನ್ನು ಮಾಡೆಲ್ ಸುಧಾರಣೆಗಳಿಗೆ ಬಳಸಲು ಅನುಮತಿಸುವ ಬಳಕೆದಾರರ ChatGPT ಟ್ರಾಫಿಕ್ ಅನ್ನು ಮಾತ್ರ ನಾವು ವಿಶ್ಲೇಷಿಸಿದ್ದೇವೆ. ಈ ಮೌಲ್ಯಮಾಪನಗಳಿಂದ ಪಡೆದ ಒಟ್ಟು ಕಂಡುಹಿಡಿಕೆಗಳನ್ನಷ್ಟೇ ನಾವು ವರದಿ ಮಾಡುತ್ತೇವೆ. ಒಟ್ಟಿನಲ್ಲಿ, ಆಗಸ್ಟ್ 2025 ರಿಂದ ಮಾರ್ಚ್ 2026 ರವರೆಗೆ, GPT‑5 Thinking ರಿಂದ GPT‑5.4 ನಿಯೋಜನೆಗಳವರೆಗೆ, ಗುರುತು ತೆಗೆದುಹಾಕಲಾದ ಸುಮಾರು 1.3 ಮಿಲಿಯನ್ ಸಂಭಾಷಣೆಗಳನ್ನು ನಾವು ವಿಶ್ಲೇಷಿಸಿದ್ದೇವೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಉತ್ಪಾದಿಸಿದ ನಿಯೋಜನೆಪೂರ್ವ ಅಪಾಯ-ಮೌಲ್ಯಮಾಪನದ ಗುಣಮಟ್ಟವನ್ನು ನಾವು ಮೂರು ಮುಖ್ಯ ರೀತಿಗಳಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ:

• ಟ್ಯಾಕ್ಸಾನಮಿ ವ್ಯಾಪ್ತಿ: ಬಿಡುಗಡೆಯ ನಂತರದ ಆಡಿಟಿಂಗ್ ನಮ್ಮ ಆರಂಭಿಕ ಕೆಟ್ಟ ವರ್ತನೆ ಟ್ಯಾಕ್ಸಾನಮಿಯಲ್ಲಿ ಕಾಣದ ಯಾವುದಾದರೂ ಪ್ರಮುಖ ತಪ್ಪುಹೊಂದಾಣಿಕೆಯ ವರ್ತನೆಗಳನ್ನು ಹೊರತಂದಿತೇ?
• ದಿಕ್ಕಿನ ನಿಖರತೆ: ತಿಳಿದಿರುವ ವರ್ತನೆಗಳಿಗೆ ನಿಯೋಜನೆ ಪ್ರಚುರತೆ ಹೆಚ್ಚುತ್ತದೆಯೇ ಅಥವಾ ಕಡಿಮೆಯಾಗುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಸಿಮ್ಯುಲೇಶನ್ ಸರಿಯಾಗಿ ಊಹಿಸಿತೇ?
• ದರ ಕ್ಯಾಲಿಬ್ರೇಶನ್: ನಮ್ಮ ನಿಯೋಜನೆಪೂರ್ವ ಅಂದಾಜುಗಳು ನಂತರ ನಿಯೋಜನೆಯಲ್ಲಿ ನಾವು ಗಮನಿಸಿದ ದರಗಳಿಗೆ ಸಮೀಪವಾಗಿದ್ದವೆಯೇ? ಉತ್ತಮ ದರ ಕ್ಯಾಲಿಬ್ರೇಶನ್ ಸಾಧಿಸಲು ದಿಕ್ಕಿನ ನಿಖರತೆಯಷ್ಟಕ್ಕಿಂತ ಹೆಚ್ಚು ಬೇಕಾಗುತ್ತದೆ; ಇದರಿಂದ ಇದು ಸಾಧ್ಯವಿರುವ ಅತ್ಯುನ್ನತ ಗುಣಮಟ್ಟದ ಮಾನದಂಡವಾಗುತ್ತದೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಸಮಯದಲ್ಲಿ ಮಾಡೆಲ್‌ಗಳು ತಾವು ಮೌಲ್ಯಮಾಪನದಲ್ಲಿದ್ದೇವೆ ಎಂದು ಎಷ್ಟು ಮಟ್ಟಿಗೆ ತಿಳಿದುಕೊಳ್ಳಬಲ್ಲವು ಎಂಬುದನ್ನೂ ನಾವು ಅಳೆಯುತ್ತೇವೆ, ಮತ್ತು ವಿಭಿನ್ನ ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್ ರೂಪಗಳು ಹಾಗೂ ಸವಾಲಿನ ಟೂಲ್ ಬಳಕೆ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿಗೆ ಈ ವಿಧಾನ ಎಷ್ಟು ದೃಢವಾಗಿದೆ ಎಂಬುದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ.

GPT‑5‑ಸರಣಿಯ Thinking ನಿಯೋಜನೆಗಳಾದ್ಯಂತ, ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ನಿಜವಾದ ಅಪಾಯ ದರವನ್ನು ನಿರ್ಧರಿಸುವಲ್ಲಿ ಸವಾಲಿನ-ಪ್ರಾಂಪ್ಟ್ ಬೇಸ್‌ಲೈನ್‌ಗಳನ್ನು ಮೀರಿಸಿತು, ಬಿಡುಗಡೆಗೂ ಮೊದಲು ಕ್ಯಾಲ್ಕ್ಯುಲೇಟರ್ ಹ್ಯಾಕಿಂಗ್ ಅನ್ನು ಹೊರತರುವಲ್ಲಿ ಯಶಸ್ವಿಯಾಯಿತು ಮತ್ತು ಮಾಡೆಲ್‌ಗೆ ನಿಯೋಜನೆಯಿಂದ ಭೇದಿಸಲಾಗದಂತೆಯೂ ಕಂಡಿತು.

ನಮ್ಮ ಮುನ್ಸೂಚನೆಗಳ ಅವಲೋಕನ. GPT‑5‑ಸರಣಿಯ Thinking ಮಾಡೆಲ್ ನಿಯೋಜನೆಗಳ ಎಲ್ಲ ಮುನ್ಸೂಚನೆಗಳ ದೃಶ್ಯೀಕರಣಕ್ಕಾಗಿ, ಚಿತ್ರ 2 ನೋಡಿ. GPT‑5.4 Thinking ಗಾಗಿ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಪೂರ್ವ-ನೋಂದಾಯಿಸಲಾಗಿತ್ತು, ಉಳಿದವು ಹಿಂದಿನ ಘಟನೆಗಳ ಆಧಾರದ ಮುನ್ಸೂಚನೆಗಳಾಗಿದ್ದವು. ಒಟ್ಟಾಗಿ, ನಮ್ಮ ಮುನ್ಸೂಚನೆಗಳಿಗೆ 1.5x ಮಧ್ಯಕ ಗುಣಾಕಾರ ದೋಷವಿತ್ತು (ಉದಾ., ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯ ದರವು 100k ನಲ್ಲಿ 10 ಆಗಿದ್ದರೆ, ಇದು 100k ನಲ್ಲಿ 15 ಅಥವಾ 6.67 ದರವನ್ನು ಅಂದಾಜಿಸುವುದಕ್ಕೆ ಸಮಾನವಾಗುತ್ತದೆ). ನಮ್ಮ ವಿಧಾನದ ಟೇಲ್ ದೋಷಗಳು ಸುಮಾರು 10x ದೊಡ್ಡದಾಗಿರಬಹುದಾದರೂ, ಕೆಳಗೆ ಚರ್ಚಿಸಿದಂತೆ ನಮ್ಮ ಸಿಮ್ಯುಲೇಶನ್ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಮುಂದಿನ ಸುಧಾರಣೆಗಳನ್ನು ಮಾಡುವುದರಿಂದ ಅವನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡಬಹುದು ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಬೇಸ್‌ಲೈನ್‌ಗಳೊಂದಿಗೆ ಹೋಲಿಸುವುದು. ನಿಯೋಜನೆಪೂರ್ವ ಅಪಾಯ-ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಸರಿಯಾಗಿ ಅಂದಾಜಿಸಬೇಕಾದ ಅತ್ಯಂತ ಪ್ರಮುಖ ವರ್ಗಗಳು, ಮಾಡೆಲ್ ನಿಯೋಜನೆಯ ನಂತರ ಸಂಭವನೆಯಲ್ಲಿ ದೊಡ್ಡ ಬದಲಾವಣೆಗಳನ್ನು ಹೊಂದಿರುವವುಗಳಾಗಿವೆ (ಉದಾ. >= 1.5x). ಈ ಉಪಸಮೂಹದಲ್ಲಿ, ನಿರ್ದಿಷ್ಟ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆ ಮಾಡೆಲ್ ನಿಯೋಜನೆಯೊಂದಿಗೆ ಪ್ರಚುರತೆಯಲ್ಲಿ ಹೆಚ್ಚುತ್ತದೆಯೇ ಅಥವಾ ಕಡಿಮೆಯಾಗುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ಊಹಿಸುವುದಲ್ಲಿಯೂ (ಚಿತ್ರ 3, ಎಡ), ಅದರ ನಿಖರ ನಿಯೋಜನೆ-ಸಮಯದ ಸಂಭವನೆಯನ್ನು ಅಂದಾಜಿಸುವುದಲ್ಲಿಯೂ (ಚಿತ್ರ 3, ಬಲ) ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಬೇಸ್‌ಲೈನ್‌ಗಳಿಗಿಂತ ಬಹಳ ಉತ್ತಮವಾಗಿದೆ. ನಾವು ಎರಡು ಮುಖ್ಯ ಬೇಸ್‌ಲೈನ್‌ಗಳನ್ನು ಬಳಸುತ್ತೇವೆ: ಸಿಸ್ಟಮ್ ಕಾರ್ಡ್‌ಗಳು ಮತ್ತು ಬಿಡುಗಡೆ ನಿರ್ಧಾರಗಳಿಗೆ ನಾವು ಪ್ರಸ್ತುತ ಬಳಸುವ Challenging Prompts ಬೇಸ್‌ಲೈನ್, ಮತ್ತು ಹೊಸ ಮಾಡೆಲ್‌ಗಾಗಿ ಹಿಂದಿನ ನಿಯೋಜನೆಯ ದರಗಳನ್ನು ಅಂದಾಜುಗಳಾಗಿ ಬಳಸುವ ಸರಳ ಬೇಸ್‌ಲೈನ್.

ನಮ್ಮ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಸಿಮ್ಯುಲೇಶನ್ ದೋಷದ ಮೂಲಗಳು. ನಮ್ಮ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಪ್ರಸ್ತುತ ಇರುವ ದೋಷ ಮೂಲಗಳನ್ನೂ ನಾವು ಅಧ್ಯಯನ ಮಾಡಿದ್ದೇವೆ. ವಿಶೇಷವಾಗಿ, ದೊಡ್ಡ ಟೇಲ್ ದೋಷಗಳು ನಿಯೋಜನೆ ನಿರ್ಧಾರಗಳಿಗೆ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಕಡಿಮೆ ನಂಬಿಕಸ್ತವಾಗಿಸುತ್ತವೆ: ಉದಾಹರಣೆಗೆ, ನಿರ್ದಿಷ್ಟ ಪ್ರಕಾರದ ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯಲ್ಲಿ ದೊಡ್ಡ ಮುನ್ಸೂಚಿತ ಏರಿಕೆಯನ್ನು ನೋಡಿದಾಗ, ಪೈಪ್‌ಲೈನ್‌ಗೆ ಕೆಲವೊಮ್ಮೆ ದೊಡ್ಡ ದೋಷಗಳೂ ಇವೆ ಎಂದು ತಿಳಿದಿದ್ದರೆ, ಇದು ವಿಶ್ವಾಸಾರ್ಹ ಅಂದಾಜೇ ಅಥವಾ ಪೈಪ್‌ಲೈನ್‌ನ ಆರ್ಟಿಫ್ಯಾಕ್ಟ್‌ವೇ ಎಂಬ ಬಗ್ಗೆ ಸಂಶಯ ಮೂಡಿಸುತ್ತದೆ. ಸಾಧ್ಯ ದೋಷದ ಎರಡು ಮುಖ್ಯ ಮೂಲಗಳಿವೆ:

• ಮರುಮಾದರಿ ಪರಿಸರ ನಿಷ್ಠೆ ದೋಷ: ಉತ್ಪಾದನಾ ದರಗಳನ್ನು ನಿಖರವಾಗಿ ಅಂದಾಜಿಸಲು, ನಮ್ಮ ಸಿಮ್ಯುಲೇಶನ್ ಪೈಪ್‌ಲೈನ್ ಸಾಧ್ಯವಾದಷ್ಟು ನೈಜವಾಗಿರಬೇಕು. ಇದು ಭಾಗಶಃ ಎಂಜಿನಿಯರಿಂಗ್ ಸಮಸ್ಯೆಯಾಗಿದೆ (ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್‌ಗೆ ಬಳಸುವ ಅದೇ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಬಳಸಿ ಮಾಡೆಲ್‌ನಿಂದ ಮಾದರಿ ತೆಗೆದುಕೊಳ್ಳುವುದು), ಮತ್ತು ಭಾಗಶಃ ನಿರಂತರವಾಗಿ ಬದಲಾಗುತ್ತಿರುವ ಬಾಹ್ಯ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಓದು/ಬರೆ ಪ್ರವೇಶ ಬೇಕಾದ ಟೂಲ್‌ಗಳಿಗೆ ಆಸಕ್ತಿದಾಯಕ ಸವಾಲಾಗಿದೆ (ಉದಾ., ವೆಬ್ ಹುಡುಕಾಟಗಳು ಅಥವಾ ಸ್ಥಳೀಯ ಫೈಲ್‌ಗಳೊಂದಿಗೆ ಸಂವಹನ). ನಿಜವಾದ ನಿಯೋಜನೆ ಮತ್ತು ಅದರ ಸಿಮ್ಯುಲೇಶನ್‌ನಿಂದ ಬಂದ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಹೋಲಿಸುವ ಮೂಲಕ ನಾವು ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆ ದೋಷವನ್ನು ಪ್ರತ್ಯೇಕಿಸಬಹುದು (ಅಂದರೆ, ಈಗಾಗಲೇ ನಿಯೋಜಿಸಲಾದ ಮಾಡೆಲ್‌ನ ನಿಯೋಜನೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವುದು).
• ಪ್ರಾಂಪ್ಟ್ ವಿತರಣೆ ಶಿಫ್ಟ್ ದೋಷ: ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಬಗ್ಗೆ ಪ್ರಮುಖ ಕಳವಳವೆಂದರೆ, ಯಾವುದೇ ಮಾಡೆಲ್‌ನ ನಿಯೋಜನೆಯು ಇನ್‌ಪುಟ್‌ಗಳಲ್ಲಿ ವಿತರಣಾತ್ಮಕ ಬದಲಾವಣೆಯನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ, ವಿಶೇಷವಾಗಿ ಬಳಕೆದಾರರು ಹೊಸ ಮಾಡೆಲ್ ಸೌಲಭ್ಯಗಳಿಗೆ ಹೊಂದಿಕೊಂಡರೆ. ಇತ್ತೀಚಿನ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಬಳಸಿ ನಿಯೋಜನೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಿದಾಗಿನ ಅಂದಾಜುಗಳನ್ನು, ನಿಜವಾಗಿ ನಡೆದ ನಿಯೋಜನೆಯ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಬಳಸಿ ಪಡೆದ ಅಂದಾಜುಗಳೊಂದಿಗೆ ಹೋಲಿಸುವ ಮೂಲಕ ನಾವು ಪ್ರಾಂಪ್ಟ್ ವಿತರಣೆ ದೋಷವನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತೇವೆ.

ಚಿತ್ರ 4 ರಲ್ಲಿ ಕಂಡಂತೆ, ನಮ್ಮ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿನ ದೋಷದ ದೊಡ್ಡ ಭಾಗವು, ವಿಶೇಷವಾಗಿ ಟೇಲ್ ದೋಷಗಳಿಗೆ, ಪ್ರಸ್ತುತ ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆಯ ಕಾರಣದಿಂದಾಗಿದೆ ಎಂದು ನಾವು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ. ಇದು ಒಳ್ಳೆಯ ಸುದ್ದಿ, ಏಕೆಂದರೆ ಪ್ರಾಂಪ್ಟ್ ವಿತರಣೆ ಶಿಫ್ಟ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡುವುದಕ್ಕಿಂತ ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆಯನ್ನು ಸುಧಾರಿಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಸುಲಭವಾಗಿರುತ್ತದೆ ಎಂದು ನಾವು ನಿರೀಕ್ಷಿಸುತ್ತೇವೆ. ಹಿಂದಿನ ನಿಯೋಜನೆಯ ಅತ್ಯಂತ ಇತ್ತೀಚಿನ ಡೇಟಾವನ್ನು ಬಳಸುವುದರಿಂದ ಪ್ರಾಂಪ್ಟ್ ವಿತರಣೆ ಶಿಫ್ಟ್ ದೋಷವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು ಎಂದೂ ನಾವು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ. ಹೆಚ್ಚಿನ ವಿವರಗಳನ್ನು ಸಂಶೋಧನಾ ಪತ್ರಿಕೆಯಲ್ಲಿ ಕಾಣಬಹುದು.

ಸ್ವಯಂಚಾಲಿತ ಆಡಿಟಿಂಗ್ ಈ ನಿಯೋಜನೆಗಳಲ್ಲಿ ಪರಿಚಯಿಸಲಾದ ಏಕೈಕ ಹೊಸ ತಪ್ಪುಹೊಂದಾಣಿಕೆಯನ್ನು ಕಂಡುಹಿಡಿದಿದೆ. ನಾವು ಅಧ್ಯಯನ ಮಾಡಿದ ನಿಯೋಜನೆ ಅವಧಿಯಲ್ಲಿ, ಸಿಮ್ಯುಲೇಟೆಡ್ ನಿಯೋಜನೆಗಳ ಆಧಾರದ ಮೇಲೆ ನಮ್ಮ ಸ್ವಯಂಚಾಲಿತ ಆಡಿಟಿಂಗ್ ಪೈಪ್‌ಲೈನ್ ಬಿಡುಗಡೆಗೂ ಮೊದಲು “ಕ್ಯಾಲ್ಕ್ಯುಲೇಟರ್ ಹ್ಯಾಕಿಂಗ್” ಅನ್ನು ಹೊರತಂದಿರುತ್ತಿತ್ತು; ವಿಶ್ಲೇಷಿಸಿದ ChatGPT ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ನಾವು ಗುರುತಿಸಿದ ಏಕೈಕ ಹೊಸ ತಪ್ಪುಹೊಂದಾಣಿಕೆ ಅದಾಗಿತ್ತು. ಕ್ಯಾಲ್ಕ್ಯುಲೇಟರ್ ಹ್ಯಾಕಿಂಗ್ ಎಂಬುದು ರಿವಾರ್ಡ್ ಹ್ಯಾಕಿಂಗ್‌ನ ಒಂದು ರೂಪವಾಗಿದ್ದು, ಮಾಡೆಲ್ ಬ್ರೌಸರ್ ಟೂಲ್ ಅನ್ನು ಕ್ಯಾಲ್ಕ್ಯುಲೇಟರ್ ಆಗಿ ಬಳಸುತ್ತಾ ಆ ಕ್ರಿಯೆಯನ್ನು ಹುಡುಕಾಟವೆಂದು ಪ್ರದರ್ಶಿಸುವುದನ್ನು ಒಳಗೊಂಡಿದೆ. ಇದರಿಂದ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಆಡಿಟಿಂಗ್ ಪ್ರತಿ ಹೊಸ ವೈಫಲ್ಯವನ್ನೂ ಹಿಡಿಯುತ್ತದೆ ಎಂದರ್ಥವಲ್ಲ, ಆದರೆ ನೈಜಸನ್ನಿವೇಶಗಳು ಏಕೆ ಮುಖ್ಯವೆಂಬುದನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ: ಸಿಮ್ಯುಲೇಶನ್‌ಗೆ ಬೀಜವಾಗಿ ಬಳಸಿದ ಮೂಲ ಟ್ರಾಫಿಕ್‌ನಲ್ಲಿ ಅವು ಇರದಿದ್ದರೂ ಸಹ, ಕಿರಿದಾದ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್‌ಗಳು ನೇರವಾಗಿ ಹೊರತರುವುದಿಲ್ಲದ ವರ್ತನೆಗಳನ್ನು ಅವು ಪ್ರೇರೇಪಿಸಬಹುದು.

ನಿಯೋಜನೆ-ಸದೃಶ ಸನ್ನಿವೇಶಗಳನ್ನು ಬಳಸುವ ಮತ್ತೊಂದು ಪ್ರಯೋಜನವೆಂದರೆ, ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮನ್ನು ಪರೀಕ್ಷಿಸಲಾಗುತ್ತಿದೆ ಎಂದು ಗುರುತಿಸಿದಾಗ ಉಂಟಾಗುವ ವಕ್ರತೆಗಳನ್ನು ಅವು ಕಡಿಮೆ ಮಾಡಬಹುದು. ಹಿಂದಿನ ಸಂಶೋಧನೆಯಲ್ಲಿ, ನಾವು ಹಾಗೆಯೇ ಇತರರು⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ಕೂಡ ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮನ್ನು ಯಾವಾಗ ಪರೀಕ್ಷಿಸಲಾಗುತ್ತಿದೆ ಎಂಬುದನ್ನು ಬಹುಸಾರಿ ತಿಳಿದಿರುತ್ತವೆ ಎಂದು ಕಂಡಿದ್ದೇವೆ. ಉದಾಹರಣೆಗೆ, ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮ ಚೈನ್-ಆಫ್-ಥಾಟ್‌ನಲ್ಲಿ ತಮ್ಮನ್ನು ಯಾವುದರ ಮೇಲೆ ಪರೀಕ್ಷಿಸಲಾಗುತ್ತಿದೆ, ಮೌಲ್ಯಮಾಪಕರಿಗೆ ಏನು ಇಷ್ಟವಾಗಬಹುದು, ಮತ್ತು ಅವು ತಪ್ಪಾಗಿ ವರ್ತಿಸುತ್ತಿದ್ದರೆ ತಾವು ಸಿಕ್ಕಿಬೀಳುತ್ತವೆಯೇ ಎಂಬುದರ ಬಗ್ಗೆ ರೀಜನಿಂಗ್ ಮಾಡಬಹುದು. ಇದು ಹೊಂದಾಣಿಕೆ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಸಮಸ್ಯೆ ತರುತ್ತದೆ: ಒಂದು ಮಾಡೆಲ್ ತಾನು ಪರೀಕ್ಷೆಗೆ ಒಳಗಾಗಿದೆ ಎಂದು ಭಾವಿಸುವುದರಿಂದ ಮಾತ್ರ ಚೆನ್ನಾಗಿ ವರ್ತಿಸುತ್ತಿದ್ದರೆ, ಅದು ನಿಯೋಜಿಸಲಾಗಿದೆ ಎಂದು ತಿಳಿದ ನಂತರ ಸುರಕ್ಷಿತವಾಗಿ ವರ್ತಿಸುತ್ತದೆ ಎಂಬ ವಿಶ್ವಾಸವನ್ನು ನಾವು ಹೇಗೆ ನಿರ್ಮಿಸಬೇಕು?

ನೈಜ ನಿಯೋಜನೆ ಡೇಟಾ ಆಧಾರಿತವಲ್ಲದ ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳಿಗೆ ಹೋಲಿಸಿದರೆ, ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮಾಡೆಲ್‌ಗಳು ತೋರಿಸುವ ಮೌಲ್ಯಮಾಪನ ಜಾಗೃತಿಯ ಮಟ್ಟಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಎಂದು ನಾವು ತೋರಿಸುತ್ತೇವೆ. ನಾವು ಮೌಲ್ಯಮಾಪನ ಜಾಗೃತಿಯನ್ನು ಮೂರು ರೀತಿಯಲ್ಲಿ ಅಳೆಯುತ್ತೇವೆ: ಒಂದು ಟ್ರಾಜೆಕ್ಟರಿ ಉತ್ಪಾದನೆಯಿಂದ ಬಂದಿತೇ ಅಥವಾ ಮೌಲ್ಯಮಾಪನದಿಂದ ಬಂದಿತೇ ಎಂದು ವರ್ಗೀಕರಿಸಲು ಮಾಡೆಲ್‌ಗೆ ಕೇಳುವುದು, ಹೊಂದಾಣಿಕೆಗಾಗಿ ಮೌಲ್ಯಮಾಪನಗೊಳ್ಳುತ್ತಿರುವ ಬಗ್ಗೆ ಸ್ಪಷ್ಟ ಹೇಳಿಕೆಗಳಿಗೆ ಚೈನ್-ಆಫ್-ಥಾಟ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು, ಹಾಗೆಯೇ ಮೆಟಾಗೇಮಿಂಗ್⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ)‌ಗಾಗಿ: ಮೇಲ್ವಿಚಾರಣೆ ಬಗ್ಗೆ ಯಾವುದೇ ರೀಜನಿಂಗ್. ಸಿಮ್ಯುಲೇಟೆಡ್ ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್ ಮೂರು ಮಾಪಕಗಳಲ್ಲಿಯೂ ನೈಜ ನಿಯೋಜನೆ ಟ್ರಾಫಿಕ್‌ಗೆ ಬಹಳ ಸಮೀಪವಾಗಿ ಹೊಂದಿತು. ಉದಾಹರಣೆಗೆ, GPT‑5.2 ನೈಜ ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್ ಅನ್ನು 5.4% ಸಮಯದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ-ಸದೃಶ ಎಂದು ಮತ್ತು ಸಿಮ್ಯುಲೇಟೆಡ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು 5.1% ಸಮಯದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ-ಸದೃಶ ಎಂದು ಲೇಬಲ್ ಮಾಡಿತು; ಆದರೆ ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳು (SWE-Bench ಅಥವಾ MonorepoBench ಮುಂತಾದವು, ಇವು ಮುಖ್ಯವಾಗಿ ಸಂಶ್ಲೇಷಿತ ಉದಾಹರಣೆಗಳಿಂದ ಕೂಡಿವೆ) ಸುಮಾರು 100% ಸಮಯದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನಗಳೆಂದು ವರ್ಗೀಕರಿಸಲ್ಪಟ್ಟವು.

ಈ ವಿಧಾನವು ಸಾಮಾನ್ಯ ಚಾಟ್ ಮೋಡ್‌ಗಳಿಗಿಂತ ಹೊರಗೂ ವಿಸ್ತರಿಸಬಹುದೇ ಎಂದು ಪರೀಕ್ಷಿಸಲು, ಸವಾಲಿನ ಏಜೆಂಟಿಕ್ ಕೋಡಿಂಗ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿಗಾಗಿ ನಿಯೋಜನೆಗಳನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವುದನ್ನೂ ನಾವು ಅಧ್ಯಯನ ಮಾಡಿದ್ದೇವೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ, GPT‑5.5 ಆಧಾರಿತ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್‌ಗಳ ಆಂತರಿಕ ನಿಯೋಜನೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಲು GPT‑5.4 ನಿಂದ 120,000 ಆಂತರಿಕ ಉದ್ಯೋಗಿ ಏಜೆಂಟಿಕ್ ಟ್ರಾಜೆಕ್ಟರಿಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಎರಡು ಉದ್ದೇಶಗಳಿಗೆ ಸೇವೆ ಸಲ್ಲಿಸುತ್ತದೆ: ಆಂತರಿಕ ನಿಯೋಜನೆಗಳ ಅಪಾಯ-ಮೌಲ್ಯಮಾಪನಕ್ಕೂ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಬಳಸಬಹುದು ಎಂಬುದನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ, ಮತ್ತು ಎಚ್ಚರಿಕೆಯಿಂದ ಟೂಲ್ ಸಿಮ್ಯುಲೇಶನ್ ಮಾಡುವ ಮೂಲಕ ಏಜೆಂಟಿಕ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿಯೂ ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆಯನ್ನು ಹೆಚ್ಚಿನದಾಗಿಸಬಹುದು ಎಂಬುದನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.

ನಮ್ಮ ಪ್ರಸ್ತುತ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆ ದೋಷದ ಮುಖ್ಯ ಮೂಲಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ ಎಂದು ಮೇಲಿನಂತೆ ನಾವು ಚರ್ಚಿಸಿದ್ದೇವೆ. ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳನ್ನು ನೈಜಗೊಳಿಸುವ ಸವಾಲುಗಳಲ್ಲಿ ಒಂದೇನೆಂದರೆ, ನಿರಂತರವಾಗಿ ಬದಲಾಗುತ್ತಿರುವ ಬಾಹ್ಯ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಓದು/ಬರೆ ಪ್ರವೇಶ ಬೇಕಾದಾಗಲೂ ಟೂಲ್‌ಗಳು ನೈಜ ರೀತಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬೇಕಾಗುತ್ತದೆ (ಉದಾ., ವೆಬ್ ಹುಡುಕಾಟಗಳು ಅಥವಾ ಸ್ಥಳೀಯ ಫೈಲ್‌ಗಳೊಂದಿಗೆ ಸಂವಹನ).

ಏಜೆಂಟಿಕ್ ನಿಯೋಜನೆಗಳಂತಹ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿಗೆ ಇದು ವಿಶೇಷವಾಗಿ ಸವಾಲಿನದ್ದಾಗಿದೆ: ಒಂದೇ ಏಜೆಂಟ್ ಟ್ರಾಜೆಕ್ಟರಿ ನೂರಾರು ಟೂಲ್ ಕರೆಗಳು, ರಿಪೊಸಿಟರಿ ಸ್ಥಿತಿ, ನೆಟ್‌ವರ್ಕ್ ಪ್ರತಿಕ್ರಿಯೆಗಳು ಅಥವಾ ತಾತ್ಕಾಲಿಕ ವೈಫಲ್ಯಗಳ ಮೇಲೆ ಅವಲಂಬಿಸಿರಬಹುದು. ಇದು ನೈಜ ಟೂಲ್ ಪ್ರವೇಶದೊಂದಿಗೆ ಮರುಮಾದರಿಯನ್ನು ಸವಾಲಿನದಾಗಿಯೂ, ಸಾಧ್ಯವಾದಷ್ಟು ಅಪಾಯಕಾರಿಯೂ ಮಾಡುತ್ತದೆ. ಇದನ್ನು ಗಮನದಲ್ಲಿಟ್ಟುಕೊಂಡು, ಲೈವ್ ಸಿಸ್ಟಮ್‌ಗಳಿಗೆ ಟೂಲ್ ಕರೆಗಳನ್ನು ಅನ್ವಯಿಸುವ ಬದಲು, ನಾವು ಅವನ್ನು ಮತ್ತೊಂದು LLM ಬಳಸಿ ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುತ್ತೇವೆ. ಈ LLM ಗೆ ಹೆಚ್ಚುವರಿ ಸೌಲಭ್ಯಗಳನ್ನು ನೀಡುವುದು ನೈಜತೆಯಿಗೂ, ಆದ್ದರಿಂದ ಅಂದಾಜಿನ ಗುಣಮಟ್ಟಕ್ಕೂ ಅತ್ಯಗತ್ಯವೆಂದು ನಾವು ತೋರಿಸುತ್ತೇವೆ.

ನಾವು ಟೂಲ್-ಸಿಮ್ಯುಲೇಟರ್ ಮಾಡೆಲ್‌ಗೆ ಮೂಲ ಅಂತಿಮ-ಟರ್ನ್ ರೋಲ್‌ಔಟ್, ಸಂಭಾಷಣೆಯ ಸಮಯದ ರಿಪೊಸಿಟರಿ, ಟೂಲ್-ಕರೆ/ಪ್ರತಿಕ್ರಿಯೆ ಜೋಡಿಗಳ ಡೇಟಾಬೇಸ್ ಮತ್ತು ಓದಲು-ಮಾತ್ರ ಕನೆಕ್ಟರ್‌ಗಳನ್ನು ನೀಡುತ್ತೇವೆ. ಒಂದು ಡಿಸ್ಕ್ರಿಮಿನೇಟರ್ ಸಿಮ್ಯುಲೇಟೆಡ್ ರೋಲ್‌ಔಟ್‌ಗಳನ್ನು ನೈಜ ರೋಲ್‌ಔಟ್‌ಗಳಿಂದ ಬೇರ್ಪಡಿಸಲು ಪ್ರಯತ್ನಿಸಿದ ಪರೀಕ್ಷೆಯಲ್ಲಿ, ನೈಜತೆ 11.6% ಗೆಲುವಿನ ದರದಿಂದ 49.5% ಗೆ ಸುಧಾರಿಸಿತು, 50% ಯಾದೃಚ್ಛಿಕ ಮಟ್ಟದ ಸಮೀಪ.

ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆಯ ಹೆಚ್ಚುವರಿ ಸಾಕ್ಷ್ಯವಾಗಿ, GPT‑5.4 Codex thinking ಟ್ರಾಫಿಕ್ ಅನ್ನು GPT‑5.4 ಬಳಸಿ ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಿದಾಗ, ತಪ್ಪುಹೊಂದಾಣಿಕೆ ದರಗಳು ಬಹುಮಟ್ಟಿಗೆ ದೋಷ ಪಟ್ಟಿಗಳ ಒಳಗೇ ಇವೆ. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ನಮ್ಮ ನಿಯೋಜನೆಪೂರ್ವ ಪರೀಕ್ಷೆಯಲ್ಲಿ GPT‑5.5 ಹೆಚ್ಚಿನ ವರ್ಗಗಳಲ್ಲಿ ಹೆಚ್ಚು ತಪ್ಪುಹೊಂದಿಕೊಂಡಿತ್ತು.

ಸುತ್ತಲಿನ ಟೂಲ್ ಪರಿಸರವನ್ನು ಸಾಕಷ್ಟು ನಿಷ್ಠೆಯಿಂದ ಸಿಮ್ಯುಲೇಟ್ ಮಾಡಿದಾಗ, ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಸಂಕೀರ್ಣ ಏಜೆಂಟ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳಿಗೂ ವಿಸ್ತರಿಸಬಹುದು ಎಂದು ಈ ಫಲಿತಾಂಶಗಳು ಸೂಚಿಸುತ್ತವೆ.

ಖಾಸಗಿ ಉತ್ಪಾದನಾ ಟ್ರಾಫಿಕ್‌ಗೆ ಪ್ರವೇಶವಿಲ್ಲದೆ ಬಾಹ್ಯ ಆಡಿಟರ್‌ಗಳು ಇದೇ ಪ್ರಯೋಜನಗಳಲ್ಲಿ ಕೆಲವು ಪಡೆಯಬಹುದೇ ಎಂಬುದು ಸ್ವಾಭಾವಿಕ ಪ್ರಶ್ನೆಯಾಗಿದೆ. ಪ್ರಿಫಿಕ್ಸ್‌ಗಳಾಗಿ ಬಳಸಿದ 100,000 WildChat ಸಂಭಾಷಣೆಗಳೊಂದಿಗೆ ನಾವು ಇದನ್ನು ಪರೀಕ್ಷಿಸಿದ್ದೇವೆ. WildChat ಇತ್ತೀಚಿನ OpenAI ಉತ್ಪಾದನಾ ಡೇಟಾವಿಗಿಂತ ಕಡಿಮೆ ನಿಖರವಾಗಿತ್ತು, ಆದರೆ ಇನ್ನೂ ಮಾಹಿತಿಪೂರ್ಣವಾಗಿತ್ತು: ಇತ್ತೀಚಿನ ಉತ್ಪಾದನಾ ಡೇಟಾಕ್ಕೆ WildChat ಗಿಂತ ಕಡಿಮೆ ಸರಾಸರಿ ಗುಣಾಕಾರ ದೋಷವಿತ್ತು (1.75× ವಿರುದ್ಧ 2.44×), ಆದರೆ WildChat ಬಹುಸಾರಿ ಉತ್ಪಾದನಾ ದರಗಳ ಸುಮಾರು 3× ವ್ಯಾಪ್ತಿಯಲ್ಲೇ ಉಳಿದು, ಯಾದೃಚ್ಛಿಕಕ್ಕಿಂತ ಮೇಲ್ಪಟ್ಟ ದರಗಳಲ್ಲಿ ಉತ್ತಮ ಮಾಡೆಲ್ ಅನ್ನು ಗುರುತಿಸಿತು. ಡೆವಲಪರ್ ನಡೆಸುವ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್‌ಗೆ WildChat-ಶೈಲಿಯ ಮೌಲ್ಯಮಾಪನಗಳನ್ನು ಆಶಾದಾಯಕ ಪೂರಕವೆಂದು ನಾವು ನೋಡುತ್ತೇವೆ. ಈ ವಿಷಯದ ಕುರಿತು ಹೆಚ್ಚಿನ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ ಈ ಜೊತೆಯ Alignment ಬ್ಲಾಗ್‌ಪೋಸ್ಟ್⁠(ಹೊಸ ಕಿಟಕಿಯಲ್ಲಿ ತೆರೆಯುತ್ತದೆ) ನೋಡಿ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ವಿರೋಧಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನಗಳು, ರೆಡ್-ಟೀಮಿಂಗ್ ಮತ್ತು ಗುರಿಪಡಿಸಿದ ಟೇಲ್-ಅಪಾಯ ವಿಶ್ಲೇಷಣೆಗೆ ಪೂರಕವಾಗಿದೆ, ಬದಲಾವಣೆ ಅಲ್ಲ. ಕೆಲವು ಅನಪೇಕ್ಷಿತ ಮಾಡೆಲ್ ವರ್ತನೆಗಳ ಪತ್ತೆ ಚೈನ್-ಆಫ್-ಥಾಟ್ ಮೇಲ್ವಿಚಾರಣಾ ಸಾಧ್ಯತೆಯ ಮೇಲೆ ಅವಲಂಬಿಸಿದೆ: ಭವಿಷ್ಯದ ಮಾಡೆಲ್‌ಗಳು ಕಡಿಮೆ ಸ್ಪಷ್ಟವಾಗಿ ರೀಜನಿಂಗ್ ಮಾಡಿದರೆ, ಪ್ರಮುಖ ಹಂತಗಳನ್ನು ಬಿಟ್ಟರೆ, ಅಥವಾ ಉದ್ದೇಶವನ್ನು ಮರೆಮಾಡಲು ಕಲಿತರೆ, ಅನಪೇಕ್ಷಿತ ವರ್ತನೆಯ ಈ ರೂಪಗಳನ್ನು ನಮಗೆ ಪತ್ತೆಮಾಡಲು ಸಾಧ್ಯವಾಗದೇ ಇರಬಹುದು. ಇದಲ್ಲದೆ, ಉತ್ಪಾದನಾ ಡೇಟಾ ಖಾಸಗಿಯಾಗಿರುವುದರಿಂದ, ಬಾಹ್ಯ ಆಡಿಟರ್‌ಗಳಿಗಿಂತ ಡೆವಲಪರ್‌ಗಳಿಗೆ ಪ್ರಸ್ತುತ ಪ್ರತಿನಿಧಿ ಸನ್ನಿವೇಶಗಳಿಗೆ ಹೆಚ್ಚು ಬಲವಾದ ಪ್ರವೇಶವಿದೆ. ಉತ್ತಮ ಸಾರ್ವಜನಿಕ ಡೇಟಾಸೆಟ್‌ಗಳು ಆ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.

ಮಾದರಿಯಾಗಿ ತೆಗೆದುಕೊಂಡ ಪ್ರಿಫಿಕ್ಸ್‌ಗಳಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವಷ್ಟು ಸಾಕಷ್ಟು ಬಾರಿ ಸಂಭವಿಸುವ ವರ್ತನೆಗಳಿಗೆ ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಅತ್ಯಂತ ಉಪಯುಕ್ತವಾಗಿದೆ. ಹತ್ತು ಮಿಲಿಯನ್ ಸಂಭಾಷಣೆಗಳಲ್ಲಿ ಒಮ್ಮೆ ಸಂಭವಿಸುವ ವೈಫಲ್ಯವು ಮಿಲಿಯನ್-ಮಾದರಿ ರನ್‌ನಲ್ಲಿ ಪತ್ತೆಯಾಗುವ ಸಾಧ್ಯತೆ ಕಡಿಮೆ; ಆದ್ದರಿಂದ ವಿರೋಧಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನಗಳು, ರೆಡ್-ಟೀಮಿಂಗ್ ಮತ್ತು ಗುರಿಪಡಿಸಿದ ಟೇಲ್-ಅಪಾಯ ವಿಶ್ಲೇಷಣೆ ಅಗತ್ಯವಾಗಿಯೇ ಉಳಿಯುತ್ತವೆ. ನಾವು ಪ್ರಸ್ತುತ ಒಂದೇ ಅಸಿಸ್ಟೆಂಟ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದ್ದೇವೆ, ಏಕೆಂದರೆ ಪ್ರಾಥಮಿಕ ಪ್ರಯೋಗಗಳಲ್ಲಿ ಹಲವಾರು ಟರ್ನ್‌ಗಳನ್ನು ಸಿಮ್ಯುಲೇಟ್ ಮಾಡುವುದರಿಂದ ನಮ್ಮ ಅಂದಾಜುಗಳಲ್ಲಿ ಅರ್ಥಪೂರ್ಣ ಸುಧಾರಣೆ ಕಂಡುಬರಲಿಲ್ಲ. ಭವಿಷ್ಯದಲ್ಲಿ ಸಿಮ್ಯುಲೇಶನ್ ನಿಷ್ಠೆಯನ್ನು ಸುಧಾರಿಸಲು ಇದು ಪ್ರಮುಖ ಕ್ಷೇತ್ರವಾಗಿರಬಹುದು.

ಈ ವಿಧಾನವು ಪ್ರಿಫಿಕ್ಸ್ ವಿತರಣೆಯ ಮೇಲೂ ಅವಲಂಬಿಸಿದೆ, ಅಂದರೆ ಮರುಮಾದರಿ ಮಾಡಲಾಗುತ್ತಿರುವ ಸಂಭಾಷಣೆಗಳ ಮಿಶ್ರಣದ ಮೇಲೆ. ಪ್ರಮುಖ ಉತ್ಪನ್ನ ಬದಲಾವಣೆ, ಹೊಸ ಟೂಲ್ ಬಿಡುಗಡೆ, ಜಾಗತಿಕ ಘಟನೆ ಅಥವಾ ಋತುಮಾನ ಬದಲಾವಣೆಯ ನಂತರ ಬಳಕೆದಾರರು ಹೆಚ್ಚು ಸಾಮರ್ಥ್ಯವಿರುವ ಮಾಡೆಲ್ ಜೊತೆಗೆ ಸಂವಹನ ಮಾಡುವ ರೀತಿಗೆ ಐತಿಹಾಸಿಕ ಟ್ರಾಫಿಕ್ ಹೊಂದಿಕೆಯಾಗದೇ ಇರಬಹುದು. ಲಭ್ಯವಿರುವ ಅತ್ಯಂತ ಇತ್ತೀಚಿನ ಡೇಟಾವನ್ನು ಬಳಸುವುದರಿಂದ ಈ ಸಮಸ್ಯೆಯನ್ನು ಶಮನಗೊಳಿಸಬಹುದು ಎಂದು ಪೂರ್ಣ ಪತ್ರಿಕೆಯಲ್ಲಿನ ವಿಶ್ಲೇಷಣೆ ಸೂಚಿಸುತ್ತದೆ.

ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಎಂಬುದು ನಿಯೋಜನೆಪೂರ್ವ ಅಪಾಯ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಹೊಸ ವಿಧಾನವಾಗಿದ್ದು, ಭಾಷಾ ಮಾಡೆಲ್‌ಗಳು ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಹೇಗೆ ವರ್ತಿಸಬಹುದು ಎಂಬುದನ್ನು ಊಹಿಸಲು ಮತ್ತು ನಿಯೋಜನೆಗೂ ಮೊದಲು ಅವುಂಟುಮಾಡುವ ಅಪಾಯಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಫ್ರಂಟಿಯರ್ ಲ್ಯಾಬ್‌ಗಳು ಮತ್ತು ಮೌಲ್ಯಮಾಪಕರಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇದು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸುರಕ್ಷತಾ ಮೌಲ್ಯಮಾಪನಗಳು, ರೆಡ್-ಟೀಮಿಂಗ್ ಮತ್ತು ಗುರಿಪಡಿಸಿದ ವಿಶ್ಲೇಷಣೆಗೆ ಪೂರಕವಾಗಿ ಹೆಚ್ಚು ಉತ್ಪಾದನಾ-ಸದೃಶ ಮುನ್ಸೂಚನಾ ಪದರವನ್ನು ಸೇರಿಸುತ್ತದೆ; ಇದು ನಿಯೋಜನೆ ವರ್ತನೆಯ ಅಂದಾಜುಗಳನ್ನು ಸುಧಾರಿಸಬಹುದು, ಮೌಲ್ಯಮಾಪನ-ಜಾಗೃತಿ ಪರಿಣಾಮಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು ಮತ್ತು ಬಿಡುಗಡೆ ನಂತರ ನಿಯೋಜನೆಪೂರ್ವ ಮುನ್ಸೂಚನೆಗಳನ್ನು ಪರಿಶೀಲಿಸಬಹುದಾಗಿಸಬಹುದು. ಪಾರಂಪರಿಕ ಮೌಲ್ಯಮಾಪನಗಳ ಜೊತೆಗೆ ಬಳಸಿದಾಗ, ನಿಯೋಜನೆ ಸಿಮ್ಯುಲೇಶನ್ ಮಾಡೆಲ್ ಅಪಾಯ ಮೌಲ್ಯಮಾಪನವನ್ನು ಹೆಚ್ಚು ನೈಜ, ಹೆಚ್ಚು ಪ್ರಮಾಣಾತ್ಮಕ ಮತ್ತು ನಿಯೋಜನೆ ನಿರ್ಧಾರಗಳಿಗೆ ಹೆಚ್ಚು ಉಪಯುಕ್ತವಾಗಿಸಲು ಸಹಾಯ ಮಾಡಬಹುದು.