การแคชพรอมต์ที่ดียิ่งขึ้นสำหรับ GPT‑6
เพิ่มอัตราการนำข้อมูลจากแคชกลับมาใช้ พร้อมเครื่องมือใหม่ที่ช่วยให้เอเจนต์ที่ทำงานต่อเนื่องทำงานได้เร็วขึ้นและมีต้นทุนต่ำลง
GPT‑6 ช่วยให้เอเจนต์ที่ทำงานต่อเนื่องสามารถจัดการงานซับซ้อนได้นานหลายชั่วโมง ไม่ว่าจะเป็นการปรับโครงสร้างโค้ดทั้งโปรเจกต์ หรือการจัดทำเอกสารและงานนำเสนอที่ผ่านการค้นคว้ามาอย่างละเอียด แอปพลิเคชันที่ขับเคลื่อนเอเจนต์เหล่านี้จะส่งคำขอ API ต่อเนื่องกัน โดยแต่ละคำขออาศัยข้อมูลจากคำขอก่อนหน้า และมักใช้คำสั่ง ข้อกำหนดของเครื่องมือ และบริบทเดิมจากการโต้ตอบก่อนหน้านี้ OpenAI จึงเก็บบริบทที่ใช้ร่วมกันเหล่านี้ไว้ในแคช เพื่อนำผลการประมวลผลกลับมาใช้กับคำขอถัดไป ช่วยลดเวลาในการตอบสนอง และทำให้นักพัฒนาได้รับส่วนลดสูงสุด 90% สำหรับโทเค็นอินพุตที่ดึงจากแคช
เราปรับปรุงระบบการแคชพรอมต์พร้อมกับการเปิดตัวโมเดลตระกูล GPT‑6 ตอนนี้ นักพัฒนาจะได้รับส่วนลดจากการใช้แคชเมื่อมีการนำส่วนต้นของพรอมต์ที่ใช้ร่วมกันและเข้าเกณฑ์กลับมาใช้ภายใน 30 นาที นอกจากนี้ เรายังเปิดตัวเครื่องมือใหม่ที่ช่วยให้นักพัฒนาติดตามประสิทธิภาพของแคช วิเคราะห์สาเหตุเมื่อระบบไม่พบข้อมูลในแคช และกำหนดได้ว่าต้องการแคชพรอมต์มากน้อยเพียงใด
แดชบอร์ดการแคชพรอมต์(เปิดในหน้าต่างใหม่) ใหม่จะแสดงให้เห็นว่าอินพุตจากแอปพลิเคชันของคุณถูกดึงจากแคชมากน้อยเพียงใด คุณสามารถติดตามอัตราการนำข้อมูลจากแคชกลับมาใช้ในช่วงเวลาต่างๆ และดูแผนภูมิองค์ประกอบอินพุตเพื่อเปรียบเทียบโทเค็นที่ใช้ข้อมูลจากแคชกับโทเค็นที่ต้องประมวลผลใหม่ ข้อมูลเหล่านี้ช่วยให้คุณสังเกตได้เมื่ออัตราการใช้ข้อมูลจากแคชลดลง และประเมินได้ว่าการเปลี่ยนแปลงในแอปพลิเคชันส่งผลต่อประสิทธิภาพการแคชอย่างไร
หากพบว่าระบบไม่สามารถใช้ข้อมูลจากแคชได้โดยไม่คาดคิด ให้ใช้เครื่องมือวิเคราะห์การแคชพรอมต์(เปิดในหน้าต่างใหม่)เพื่อตรวจสอบว่าเกิดอะไรขึ้น โดยเปรียบเทียบคำขอกับการตอบกลับล่าสุด เพื่อดูว่ามีการเปลี่ยนแปลงใดในโมเดล เครื่องมือ การตั้งค่า หรืออินพุตที่ทำให้ไม่สามารถนำข้อมูลเดิมกลับมาใช้ได้ จำนวนโทเค็นที่คาดว่าได้รับผลกระทบจะช่วยให้คุณประเมินขนาดของผลกระทบ และหาวิธีปรับการเชื่อมต่อระบบให้ใช้ข้อมูลจากแคชได้มากที่สุด
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
เลือกสิ่งที่ต้องการแคช การกำหนดจุดแบ่งแคชอย่างชัดเจนช่วยให้คุณเลือกได้ว่าจะนำส่วนต้นของพรอมต์ส่วนใดกลับมาใช้ คู่มือการแคชพรอมต์(เปิดในหน้าต่างใหม่)ฉบับปรับปรุงอธิบายวิธีใช้จุดแบ่งแคช ระยะเวลาที่ส่วนต้นของพรอมต์ซึ่งเก็บไว้ในแคชยังสามารถนำกลับมาใช้ได้ รวมถึงผลของการเปลี่ยนแปลงเครื่องมือและอินพุตต่อการนำข้อมูลจากแคชกลับมาใช้
ปรับระดับการให้เหตุผลโดยยังใช้แคชต่อได้ โมเดล GPT‑6 รองรับการเปลี่ยนระดับการให้เหตุผล(เปิดในหน้าต่างใหม่)ระหว่างการตอบแต่ละครั้งโดยไม่กระทบข้อมูลในแคช คุณจึงเพิ่มระดับสำหรับงานที่ซับซ้อนขึ้น หรือลดระดับสำหรับงานติดตามผลทั่วไปได้ โดยเพิ่ม configuration_update ต่อท้ายและคงค่าระดับการให้เหตุผลของคำขอไว้ตามเดิม วิธีนี้ทำให้ปรับการให้เหตุผลตามความต้องการของงานได้โดยยังนำบริบทเดิมกลับมาใช้ต่อ
รักษาแคชไว้เมื่อเครื่องมือและคำสั่งเปลี่ยนแปลง เมื่อเอเจนต์ต้องใช้เครื่องมือแตกต่างไปจากเดิม ควรคงข้อกำหนด สคีมา และลำดับของเครื่องมือไว้เหมือนเดิม เพื่อให้บริบทก่อนหน้ายังนำกลับมาใช้ได้ หากต้องการจำกัดให้เรียกใช้เฉพาะเครื่องมือที่เกี่ยวข้อง ให้ใช้ allowed_tools หรือกำหนด tool_choice เป็น none เมื่อไม่ต้องใช้เครื่องมือ แทนการลบข้อกำหนดของเครื่องมือออก หากต้องการเปลี่ยนคำสั่ง ให้เพิ่มข้อความสำหรับนักพัฒนาใหม่ไว้ช่วงท้ายของบริบทเพื่อให้มีผลแทนคำสั่งเดิม ดูคำแนะนำเกี่ยวกับการจัดการเมื่อมีการเปลี่ยนแปลงเครื่องมือ(เปิดในหน้าต่างใหม่)
เตรียมแคชล่วงหน้าเพื่อลดเวลาในการตอบสนอง การเตรียมแคชล่วงหน้า(เปิดในหน้าต่างใหม่)ช่วยประมวลผลบริบทที่ทราบอยู่แล้วไว้ก่อน เพื่อให้โมเดลเริ่มตอบได้เร็วขึ้นเมื่อมีคำขอเข้ามา ตัวอย่างเช่น แอปพลิเคชันสามารถเตรียมคำสั่งที่ใช้ร่วมกัน ข้อกำหนดของเครื่องมือ หรือเอกสารอ้างอิงไว้ในแคชตั้งแต่ตอนเริ่มทำงาน ก่อนที่ผู้ใช้จะถามคำถามแรก วิธีนี้ช่วยให้ไม่ต้องเสียเวลาประมวลผลข้อมูลเหล่านี้ในช่วงที่ผู้ใช้กำลังรอคำตอบ
ตัวควบคุมเสริมเหล่านี้ต่อยอดจากประสิทธิภาพเริ่มต้นของระบบ ช่วยให้คุณปรับการแคชให้เหมาะกับปริมาณงาน
ติดตามอัตราการนำข้อมูลจากแคชกลับมาใช้ได้ในแดชบอร์ดการแคชพรอมต์(เปิดในหน้าต่างใหม่)
ตรวจสอบสาเหตุเมื่อระบบไม่สามารถใช้ข้อมูลจากแคชได้ตามที่คาดด้วยเครื่องมือวิเคราะห์(เปิดในหน้าต่างใหม่)
ทำตามคู่มือการแคชพรอมต์(เปิดในหน้าต่างใหม่)เพื่อปรับการตั้งค่าให้มีประสิทธิภาพยิ่งขึ้น หรือใช้ Codex(เปิดในหน้าต่างใหม่) เพื่อตรวจสอบโค้ด ปรับปรุงส่วนที่จำเป็น และวัดผลลัพธ์
