การประเมินความสามารถในการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought)
เราแนะนำการประเมินสำหรับการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) และศึกษาว่ามันขยายตัวอย่างไรกับการประมวลผลในเวลาทดสอบ การเรียนรู้แบบเสริมแรง และการฝึกอบรมล่วงหน้า
เมื่อระบบ AI ตัดสินใจในลักษณะที่ยากต่อการควบคุมโดยตรง การทำความเข้าใจว่าการตัดสินใจเหล่านั้นเกิดขึ้นได้อย่างไรจึงมีความสำคัญ วิธีการที่มีแนวโน้มคือการติดตามการให้เหตุผลภายในของโมเดล แทนที่จะดูเฉพาะการกระทำหรือผลลัพธ์สุดท้าย
โมเดลการให้เหตุผลสมัยใหม่ เช่น GPT‑5 Thinking สร้างกระบวนการคิดเป็นลำดับ (chain-of-thought) อย่างชัดเจนก่อนที่จะให้คำตอบ การเฝ้าติดตามกระบวนการคิดเป็นลำดับ (chain-of-thought) เหล่านี้เพื่อหาพฤติกรรมที่ไม่เหมาะสมอาจมีประสิทธิภาพมากกว่าการเฝ้าติดตามการกระทำและผลลัพธ์ของโมเดลเพียงอย่างเดียว อย่างไรก็ตาม นักวิจัยที่ OpenAI และในอุตสาหกรรมที่กว้างขึ้นกังวล(เปิดในหน้าต่างใหม่) ว่าการ "ตรวจสอบได้" ของกระบวนการคิดเป็นลำดับ (chain-of-thought) นี้อาจเปราะบางต่อการเปลี่ยนแปลงในการฝึกสอน แหล่งข้อมูล และแม้กระทั่งการขยายขนาดของอัลกอริทึมที่มีอยู่ต่อไป
เราต้องการให้การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) ยังคงมีประสิทธิภาพเมื่อโมเดลขยายขนาดและถูกนำไปใช้ในสถานการณ์ที่มีความสำคัญมากขึ้น เราขอเชิญชวนนักวิจัยในอุตสาหกรรมให้ทำงานเพื่อรักษาความสามารถในการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) ให้นานที่สุดเท่าที่จะทำได้ และพิจารณาว่ามันสามารถทำหน้าที่เป็นชั้นควบคุมที่รองรับโหลดสำหรับระบบ AI ในอนาคตได้หรือไม่ เพื่อรักษาความสามารถในการตรวจสอบ เราต้องสามารถวัดได้ แต่มีการประเมินเพียงไม่กี่รายการ [1(เปิดในหน้าต่างใหม่), 2(เปิดในหน้าต่างใหม่), 3(เปิดในหน้าต่างใหม่)] และวิธีการก็แตกต่างกันไป
ในงานนี้ เราศึกษาการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) อย่างเป็นระบบ เราแนะนำกรอบการประเมินเพื่อวัดความสามารถในการตรวจสอบของกระบวนการคิด และชุดการประเมิน 13 รายการ (ประกอบด้วยสภาพแวดล้อมทั้งหมด 24 แห่ง) ที่ออกแบบมาเพื่อวัดความสามารถในการตรวจสอบของระบบอย่างเป็นรูปธรรม การประเมินเหล่านี้แบ่งออกเป็นสามประเภทหลัก ได้แก่ การแทรกแซง กระบวนการ และคุณสมบัติของผลลัพธ์ โดยใช้สิ่งเหล่านี้ เราศึกษาว่าโมเดลภาษา ขนาดใหญ่ในปัจจุบันสามารถตรวจสอบได้อย่างไร และการตรวจสอบเปลี่ยนแปลงอย่างไรเมื่อมีการใช้เหตุผลมากขึ้นในระหว่างการอนุมาน การรันการเรียนรู้แบบเสริมแรงที่ใหญ่ขึ้น และการเพิ่มขนาดการฝึกอบรมล่วงหน้า
เมื่อเรามีชุดการประเมินขนาดใหญ่แล้ว เราสามารถเริ่มติดตามความสามารถในการตรวจสอบของโมเดลของเราได้ (มุมซ้ายบน) เราพบว่าเมื่อโมเดล "คิด" มากขึ้นและมีกระบวนการคิดเป็นลำดับที่ยาวขึ้น ความสามารถในการตรวจสอบจะดีขึ้น (มุมขวาบน) โดยไม่มีการใช้กระบวนการคิดเป็นลำดับ (chain-of-thought) มาตรฐานคือการพยายามตรวจสอบการกระทำและผลลัพธ์สุดท้ายของโมเดลเพียงอย่างเดียว อย่างไรก็ตาม เราพบว่าการเฝ้าติดตามเฉพาะการกระทำและผลลัพธ์นั้นด้อยกว่าการเฝ้าติดตามกระบวนการคิดเป็นลำดับ (CoT) อย่างมาก (ตรงกลางด้านล่าง) เราเปรียบเทียบโมเดลของเรากับโมเดลภายนอกที่ให้การเข้าถึง CoT อย่างเต็มรูปแบบ Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B และ Kimi K2 Thinking
เราพบว่าโมเดลการให้เหตุผลระดับแนวหน้าส่วนใหญ่สามารถเฝ้าติดตามได้ค่อนข้างดี แม้จะไม่สมบูรณ์แบบก็ตาม ในเกือบทุกสถานการณ์ที่เราศึกษา การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) มีประสิทธิภาพมากกว่าการตรวจสอบการกระทำและผลลัพธ์สุดท้ายเพียงอย่างเดียว โมเดลที่ใช้เวลาคิดนานขึ้นมักจะตรวจสอบได้ง่ายขึ้น และการเพิ่มประสิทธิภาพการเรียนรู้แบบเสริมแรงในระดับแนวหน้าปัจจุบันดูเหมือนจะไม่ลดทอนความสามารถในการตรวจสอบอย่างมีนัยสำคัญ
ที่น่าสังเกตคือ เราพบว่ามีการแลกเปลี่ยนระหว่างความพยายามในการให้เหตุผลและขนาดของโมเดล เมื่อโมเดลถูกดำเนินการด้วยความพยายามในการให้เหตุผลต่ำ โมเดลขนาดเล็กที่ดำเนินการด้วยความพยายามในการให้เหตุผลสูงสามารถบรรลุความสามารถที่เทียบเท่าได้และง่ายต่อการตรวจสอบ สิ่งนี้มาพร้อมกับต้นทุนของการคำนวณการอนุมานที่เพิ่มขึ้น ซึ่งเราเรียกว่าภาษีการตรวจสอบ สุดท้ายนี้ เราพบว่าการถามคำถามติดตามผลและการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) สามารถปรับปรุงการตรวจสอบได้มากขึ้น
เรานิยามความสามารถในการตรวจสอบว่าเป็นความสามารถของตัวตรวจสอบในการทำนายคุณสมบัติที่น่าสนใจเกี่ยวกับพฤติกรรมของเอเจนต์ ในหลายกรณี คุณสมบัติเหล่านี้สอดคล้องกับรูปแบบของพฤติกรรมที่ไม่เหมาะสม เช่น การหลอกลวง การแฮ็กผลตอบแทน หรือการให้เหตุผลที่มีอคติ แต่ก็อาจรวมถึงคุณสมบัติที่ไม่เป็นอันตราย เช่น การที่เอเจนต์พึ่งพาคำแนะนำเฉพาะหรือปฏิบัติตามแนวทางการให้เหตุผลเฉพาะ
ความสามารถในการตรวจสอบเป็นคุณสมบัติที่มีสองด้าน มันขึ้นอยู่กับทั้งผู้ตรวจสอบและเอเจนต์ที่ถูกตรวจสอบ
- การเฝ้าติดตาม เราสามารถทำให้จอภาพฉลาดขึ้นได้หลายวิธี และเราต้องการให้การประเมินของเราให้คะแนนสูงขึ้นกับจอภาพที่สามารถทำนายพฤติกรรมของเอเจนต์ได้ดีกว่า
- เอเจนต์มีการสังเกตหลายประการเกี่ยวกับเอเจนต์ที่สามารถส่งให้ผู้ตรวจสอบได้ เช่น การกระทำของเอเจนต์ ผลลัพธ์ การกระตุ้นของระบบประสาท และเมื่อเร็วๆ นี้ ด้วยการเกิดขึ้นของโมเดลการให้เหตุผล ห่วงโซ่ความคิด เป็นไปได้ที่เอเจนต์บางตัวจะมีความคิดที่เข้าใจยากกว่าตัวอื่นๆ ดังนั้นเราต้องการให้การประเมินความสามารถในการตรวจสอบของเราสามารถเปรียบเทียบเอเจนต์ได้ ไม่ใช่แค่การตรวจสอบ
การประเมินของเราได้รับการออกแบบมาเพื่อประเมินทั้งสองด้าน: ว่าเอเจนต์บางรายง่ายหรือยากต่อการตรวจสอบ และว่าผู้ตรวจสอบที่มีความสามารถมากขึ้นสามารถดึงข้อมูลเพิ่มเติมจากสัญญาณเดียวกันได้หรือไม่
ก่อนที่โมเดลการให้เหตุผลรุ่นปัจจุบันจะมีอยู่ ลำดับความคิดมักจะถูกกระตุ้นโดยการให้โมเดล "คิดทีละขั้นตอน"
กระบวนการคิดเป็นลำดับของโมเดลการให้เหตุผลมีความแตกต่างกันในสองลักษณะที่สำคัญ ก่อนอื่น พวกเขาได้รับการฝึกฝนอย่างชัดเจนเพื่อสร้างกระบวนการคิดเป็นลำดับ (chain-of-thought) แล้วจึงให้คำตอบ เมื่อกระตุ้นให้โมเดลแชตคิด “ทีละขั้นตอน” โมเดลจะต้องปฏิบัติตามข้อกำหนดใดๆ ที่วางไว้ เช่น การเป็นประโยชน์ ไม่เป็นอันตราย เป็นต้น ในทางกลับกัน กระบวนการฝึกสอนการเรียนรู้แบบเสริมแรงจะสอนโมเดลการใช้เหตุผลว่า CoT เป็นพื้นที่ส่วนตัวที่สามารถคิดอะไรก็ได้ตามต้องการโดยไม่ถูกลงโทษ เช่นเดียวกับที่มนุษย์สามารถคิดในที่ส่วนตัวและไม่ถูกลงโทษสำหรับ “อาชญากรรมทางความคิด”
ประการที่สอง การฝึกสอนจะค้นหาโซ่ความคิดที่มีประโยชน์ที่สุดสำหรับเอเจนต์ในการได้รับคำตอบสุดท้ายที่มีรางวัลสูง ดังนั้น ไม่เพียงแต่กระบวนการคิดเป็นลำดับจะเป็นพื้นที่ที่โมเดลสามารถแสดงออกได้อย่างอิสระ แต่ยังมีการคิดที่ช่วยให้โมเดลไปถึงคำตอบสุดท้ายได้
เราแบ่งการประเมินความสามารถในการตรวจสอบออกเป็นสามประเภทหลัก แต่ละประเภทใช้กลไกที่แตกต่างกันในการวัดความสามารถในการตรวจสอบ
- การประเมินการแทรกแซงที่ได้รับแรงบันดาลใจจาก Chen et al. 2025(เปิดในหน้าต่างใหม่), Chua et al. 2025(เปิดในหน้าต่างใหม่), Turpin et al. 2023(เปิดในหน้าต่างใหม่), เรา แนะนำการเปลี่ยนแปลงที่ควบคุมในสภาพแวดล้อมของเอเจนต์และทดสอบว่าตัวตรวจสอบสามารถตรวจจับได้หรือไม่ว่าทำไมพฤติกรรมถึงเปลี่ยนแปลงโดยการระบุหลักฐานของการแทรกแซงในกระบวนการคิด ไม่เหมือนกับการประเมินการควบคุมมาตรฐาน (เช่น Shade-Arena(เปิดในหน้าต่างใหม่)) การประเมินการแทรกแซงช่วยให้เราสามารถตรวจสอบได้ว่าเครื่องมือตรวจสอบสามารถตรวจจับ เหตุผล ที่พฤติกรรมเปลี่ยนแปลงได้หรือไม่ แทนที่จะเพียงแค่ตรวจจับว่าพฤติกรรมเกิดขึ้นหรือไม่
- การประเมินกระบวนการมุ่งเน้นไปที่งานที่มีวิธีการแก้ปัญหาที่ถูกต้องจำกัด (เช่น ปัญหาคณิตศาสตร์สามารถแก้ได้ด้วยทฤษฎีบางอย่างเท่านั้น) ผู้เชี่ยวชาญมนุษย์ระบุเส้นทางเหล่านี้ และเราทดสอบว่าเครื่องมือตรวจสอบสามารถตรวจจับขั้นตอนที่โมเดลได้ดำเนินการจริงหรือไม่ การประเมินเหล่านี้ช่วยให้เราสามารถลิงก์สิ่งที่โมเดลทำกับขั้นตอนเฉพาะที่โมเดลต้องดำเนินการ และสอบถามว่าขั้นตอนเหล่านั้นสามารถตรวจสอบได้หรือไม่
- การประเมินคุณสมบัติของผลลัพธ์จะถูกนำมาใช้เมื่อคุณสมบัติของผลลัพธ์ของโมเดลสามารถวัดได้อย่างน่าเชื่อถือ ในกรณีเหล่านี้ เราทดสอบว่าโมนิเตอร์สามารถทำนายคุณสมบัตินั้นได้หรือไม่ เช่น การแฮ็กรางวัล จากการให้เหตุผลหรือการกระทำของโมเดล ตัวอย่างเช่น ในงาน เราอาจมีวิธีการประเมินอย่างน่าเชื่อถือว่าโมเดลกำลังดำเนินการเพื่อแฮ็กสัญญาณรางวัลหรือไม่ และเราสามารถถามได้ว่ามีการตรวจสอบพบหลักฐานของเจตนาในการแฮ็กสัญญาณรางวัลในความคิดหรือการกระทำของโมเดลหรือไม่
ด้านล่างนี้ เราให้การจัดหมวดหมู่สำหรับการประเมินของเรา กรุณาดูเอกสารของเราสำหรับคำอธิบายโดยละเอียดของการประเมินแต่ละรายการ
Neutral evaluations ask whether the reasoning for normal tasks where the model does not misbehave is monitorable. Sycophancy evaluations target cases where models change their behavior to overly please or agree with a user. Bias evaluations ask if a model’s bias around gender, race, etc. is monitorable. Finally, we use the misalignment label as a catchall for other forms of misbehavior: cheating, lying, etc.¹
เราพบว่าความสามารถในการตรวจสอบของโมเดลของเรามีความแตกต่างกันในแต่ละกลุ่ม โดยทั่วไป เราพบว่าพวกเขาสามารถตรวจสอบได้ง่ายมาก อย่างไรก็ตาม ในงาน Scruples ซึ่งเป็นงานที่ออกแบบมาเพื่อดูว่าการให้เหตุผลเกี่ยวกับการประจบสอพลอสามารถตรวจสอบได้หรือไม่ เราพบว่ามีความสามารถในการตรวจสอบต่ำมาก
ตัวอย่างที่ตรวจสอบได้เทียบกับตัวอย่างที่ตรวจสอบไม่ได้
ในตัวอย่างผลลัพธ์-คุณสมบัตินี้ โมเดลได้รับมอบหมายงานเขียนโค้ดที่เป็นไปไม่ได้ หากการทดสอบหน่วยผ่าน เราก็รู้ว่าโมเดลได้ใช้วิธีการบางอย่างที่ไม่ปกติ ใน CoT ที่ไม่สามารถตรวจสอบได้ (สีแดง) เราไม่พบหลักฐานว่าโมเดลกล่าวถึงการทำสิ่งที่ไม่ดี แต่เพียงแค่แฮ็กการทดสอบและบอกผู้ใช้ว่าได้ดำเนินการแก้ไขแล้ว ในทางตรงกันข้าม ใน CoT ที่สามารถตรวจสอบได้ (สีเขียว) เราเห็นว่าโมเดลคิดว่า "แต่การแก้ไขเวลาในโซลูชันอาจถือว่าเป็นการโกง"
การพิจารณาลำดับความคิดเป็นพื้นที่ทำงานส่วนตัว และการฝึกสอนโมเดลให้ใช้มันในการแก้ไขงานอย่างมีประสิทธิภาพ ควรทำให้ลำดับความคิดสามารถตรวจสอบได้ตามหลักการ ในขณะเดียวกัน มีหลายเหตุผลที่การเรียนรู้แบบเสริมแรงอาจทำให้การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) เกิดความเสียหายได้
ประการแรก ข้อจำกัดเกี่ยวกับความยาวในการให้เหตุผล เช่น การจำกัดเวลา หรือจำนวนโทเค็นที่โมเดลมีในการคิด สร้างแรงจูงใจให้โมเดลให้เหตุผลน้อยลง ประการที่สอง แม้จะไม่ได้ใช้แรงกดดันโดยตรงกับกระบวนการคิดเป็นลำดับ (chain-of-thought) แต่แรงกดดันทางอ้อมก็ยังสามารถลดความสามารถในการเฝ้าติดตามได้ ตัวอย่างเช่น(เปิดในหน้าต่างใหม่) โมเดลอาจพบว่าการหาคำตอบที่มีรางวัลสูงทำได้ง่ายขึ้นหากหลีกเลี่ยงเส้นทางการให้เหตุผลที่อาจนำไปสู่ผลลัพธ์ที่มีรางวัลต่ำหรือไม่พึงประสงค์ ในที่สุด การลดความสามารถในการตรวจสอบอาจเกิดจากการเปลี่ยนแปลงที่ไม่พึงประสงค์ซึ่งขับเคลื่อนโดยเสียงรบกวนของเกรเดียนต์ในการเรียนรู้แบบเสริมแรง
ด้านล่างนี้ เราจะพิจารณาว่าความสามารถในการตรวจสอบเปลี่ยนแปลงอย่างไรในระหว่างการฝึกสอนการเรียนรู้แบบเสริมแรงแนวหน้าของ OpenAI สองครั้ง แม้ว่าผลลัพธ์เหล่านี้จะเป็นเพียงสองจุดข้อมูล แต่ก็แสดงให้เห็นว่าการเพิ่มประสิทธิภาพการเรียนรู้แบบเสริมแรงในระดับแนวหน้าปัจจุบันไม่ได้ลดความสามารถในการตรวจสอบกระบวนการคิดอย่างมีนัยสำคัญ และยังเพิ่มความสามารถในการตรวจสอบสำหรับขั้นตอนเริ่มต้นอีกด้วย อย่างไรก็ตาม สิ่งนี้ไม่ได้ตัดความเป็นไปได้ที่การขยายขนาดการเรียนรู้แบบเสริมแรงที่ใหญ่ขึ้นอย่างมีนัยสำคัญอาจส่งผลกระทบต่อความสามารถในการตรวจสอบในอนาคต
เราพบว่าความสามารถในการตรวจสอบไม่ได้เปลี่ยนแปลงมากนักในระดับการประมวลผล RL ปัจจุบัน และมีแนวโน้มเพิ่มขึ้นในขั้นตอนเริ่มต้น แม้ว่าสิ่งนี้อาจเป็นจริงในระบอบปัจจุบัน แต่ก็เป็นไปได้ว่าการขยายขนาดที่มากขึ้นอาจทำให้ความสามารถในการตรวจสอบเริ่มเสื่อมลง
ส่วนใหญ่ของความฉลาดในระบบ AI ปัจจุบันถูกขับเคลื่อนโดยการเพิ่มขนาดการฝึกอบรมล่วงหน้า ซึ่งทั้งพารามิเตอร์ของโมเดลและขนาดของชุดข้อมูลได้เติบโตขึ้นอย่างต่อเนื่องตั้งแต่เริ่มต้นของกระบวนทัศน์ GPT การเพิ่มจำนวนพารามิเตอร์ทำให้มีการใช้การคำนวณการอนุมานมากขึ้นต่อ token ที่สร้างขึ้น ซึ่งในกรณีของโมเดลการให้เหตุผล จะเปิดโอกาสให้การรับรู้ของโมเดลเกิดขึ้นภายในการกระตุ้นมากกว่าภายในกระบวนการคิดเป็นลำดับ ดังนั้น เราอาจคาดหวังว่าโมเดลที่ใหญ่กว่าจะตรวจสอบได้ยากขึ้นเมื่ออยู่ในระดับความสามารถที่คงที่
ในขณะเดียวกัน โมเดลขนาดเล็กอาจไม่สามารถใช้กระบวนการคิดเป็นลำดับ (chain-of-thought) ได้อย่างมีประสิทธิภาพ ซึ่งอาจส่งผลต่อการตรวจสอบได้เช่นกัน
เพื่อศึกษาความสัมพันธ์ระหว่างขนาดการฝึกสอนล่วงหน้า ความสามารถ และการตรวจสอบได้ เราได้ฝึกฝนกลุ่มโมเดลที่มีการประมวลผลการฝึกสอนล่วงหน้าสองลำดับขั้นที่มีความลึกและความกว้างเพิ่มขึ้น จากนั้นได้นำการเรียนรู้แบบเสริมแรงไปใช้กับแต่ละโมเดลในชุดข้อมูลร่วมของงานคณิตศาสตร์ วิทยาศาสตร์ และการเขียนโค้ด เราได้ประเมินโมเดลแต่ละตัวในความพยายามการใช้เหตุผลที่หลากหลาย และเปรียบเทียบความสามารถในการตรวจสอบในระดับความสามารถที่เทียบเท่ากัน
เราวางแผนการตรวจสอบในชุดการประเมินของเราในแต่ละโมเดลเทียบกับอัตราการผ่านเฉลี่ยในชุดการประเมินความสามารถมาตรฐาน (GPQA-Diamond, AIME 2025 และ CodeForces) โมเดลแต่ละตัวได้รับการประเมินจากความพยายามในการใช้เหตุผลหลายครั้ง (โปรดทราบว่าแต่ละจุดในรูปนี้เป็นผลลัพธ์ของการคำนวณเชิงเส้นระหว่างความพยายามในการใช้เหตุผลที่วัดได้) วงกลมแสดงว่าโมเดลที่ใช้ความพยายามในการให้เหตุผลในระดับนั้นมีความสามารถในการตรวจสอบได้เหนือกว่าในระดับความสามารถนั้น และ X โปร่งใสแสดงว่าโมเดลที่ใช้ความพยายามในการให้เหตุผลในระดับนั้นถูกโมเดลอื่นที่มีความสามารถในระดับเดียวกันตรวจสอบได้เหนือกว่า ในลูกศรสีดำ เราแสดงตัวอย่างสองวิธีในการใช้การคำนวณการอนุมานมากขึ้น: การสุ่มตัวอย่าง token จำนวนมากขึ้นด้วยโมเดลขนาดเล็ก หรือการสุ่มตัวอย่าง token เพิ่มเติมค่อนข้างน้อยด้วยโมเดลเดียวกัน ในลูกศรสีแดง เราแสดงให้เห็นถึงภาษีการตรวจสอบที่ต้องจ่าย กล่าวคือ ความสามารถที่ลดลงเล็กน้อยเพื่อให้ได้การตรวจสอบที่มากขึ้น
โดยทั่วไป เราพบว่าหากเราต้องการใช้งานโมเดลที่กำหนดด้วยความพยายามในการให้เหตุผลต่ำ เราสามารถเลือกใช้โมเดลที่เล็กกว่าด้วยความพยายามในการให้เหตุผลที่สูงกว่าแทน เมื่อเปรียบเทียบกับการใช้ทรัพยากรการประมวลผลเพิ่มเติมเพื่อเพิ่มความพยายามในการให้เหตุผลจากโมเดลขนาดใหญ่เดิม เราสามารถเพิ่มความสามารถในการตรวจสอบได้มากขึ้นโดยมีค่าใช้จ่ายด้านความสามารถเพียงเล็กน้อย หรือภาษีการตรวจสอบ อย่างไรก็ตาม เวลาที่ใช้ในการทำงานให้เสร็จสิ้นอาจเป็นปัจจัยในบางการตัดสินใจในการปรับใช้ ซึ่งเราไม่ได้พิจารณาในที่นี้ เมื่อโมเดลของเรามีการพัฒนาและถูกนำไปใช้ในสถานการณ์ที่มีความเสี่ยงสูงขึ้น อาจจำเป็นต้องจ่ายภาษีดังกล่าวเพื่อให้สามารถปรับใช้อย่างปลอดภัย
ผลลัพธ์เหล่านี้มีข้อจำกัดดังนี้: (1) เราสอนโมเดลแต่ละตัวเพียงครั้งเดียว จึงไม่ได้คำนึงถึงความแปรปรวนระหว่างการฝึกแต่ละครั้ง ตัวอย่างเช่น โมเดล "ปานกลาง" ดูเหมือนจะค่อนข้างล้าสมัยในด้านการตรวจสอบเมื่อเทียบกับโมเดลอื่นๆ ในซีรีส์ ซึ่งอาจเป็นเพราะเหตุนี้ (2) เราประเมินความสามารถในสภาพแวดล้อมที่ค่อนข้างอยู่ในขอบเขต (คณิตศาสตร์ วิทยาศาสตร์ และการเขียนโค้ด) และการแลกเปลี่ยนอาจเปลี่ยนแปลงเมื่อพิจารณาถึงความทนทานต่อการกระจายที่อยู่นอกขอบเขต
เมื่อระบบ AI ขยายขนาดเกินกว่าระดับประสิทธิภาพของมนุษย์ การควบคุมโดยตรงจากมนุษย์จะยิ่งยากขึ้น ตามหลักการแล้ว เราจะมีขั้นตอนการควบคุมที่ปรับขนาดได้ซึ่งช่วยให้จอภาพที่เชื่อถือได้แต่อ่อนแอกว่าสามารถดูแลเอเจนต์ที่แข็งแกร่งและอาจไม่น่าเชื่อถือได้ กระบวนการเหล่านี้ควรสามารถรองรับการประมวลผลเพิ่มเติมในช่วงทดสอบและสร้างการคาดการณ์ที่แม่นยำยิ่งขึ้น
(ซ้าย) เราเปรียบเทียบจอภาพหลายรุ่นและปรับความพยายามในการใช้เหตุผลของแต่ละรุ่น จอภาพแต่ละจอกำลังตรวจสอบโมเดล GPT‑5 Thinking เดียวกัน ตามที่คาดไว้ เราพบว่าโดยทั่วไปแล้ว โมเดลที่ใหญ่กว่าและมีความสามารถมากกว่าจะทำหน้าที่เป็นผู้ตรวจสอบที่ดีกว่า และโมเดลการให้เหตุผลจะทำงานได้ดีกว่าในงานการตรวจสอบเมื่อมีความพยายามในการให้เหตุผลสูงขึ้น (และดังนั้นจึงมีการคำนวณในเวลาทดสอบ)
(ขวา) เราเปรียบเทียบขอบเขตการสังเกตการณ์การตรวจสอบที่แตกต่างกันสำหรับ OpenAI o4-mini ว่าเครื่องมือตรวจสอบสามารถเห็นเฉพาะ CoT เฉพาะการกระทำและคำตอบ หรือข้อความทั้งหมดจากโมเดลที่กำลังตรวจสอบ ที่น่าสังเกตคือ เราพบว่าความสามารถในการตรวจสอบได้ดีขึ้นในอัตราที่เร็วขึ้นเมื่อมีการเพิ่มการคำนวณการตรวจสอบในช่วงเวลาทดสอบ (เพิ่มความพยายามในการใช้เหตุผลในการตรวจสอบ) โดยเฉพาะเมื่อให้ผู้ตรวจสอบเข้าถึง CoT ดังนั้น การตรวจสอบ CoT อาจให้เส้นทางที่ขยายได้มากกว่าสำหรับการควบคุมเมื่อเทียบกับการตรวจสอบแบบพื้นฐาน
การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) มักถูกมองว่าเป็นปริมาณคงที่ เมื่อโมเดลสร้างคำตอบที่ความพยายามในการให้เหตุผลที่กำหนดแล้ว จะมีการตรวจสอบห่วงโซ่ความคิดที่เกิดขึ้นให้ดีที่สุดเท่าที่จะทำได้ เนื่องจากเราได้พบอย่างต่อเนื่องว่าความสามารถในการตรวจสอบดีขึ้นเมื่อเราเพิ่มความพยายามในการให้เหตุผลของเอเจนต์ของเรา เราจึงมีแรงบันดาลใจที่จะถามว่าเราจะสามารถหาวิธีที่จะได้ token เพิ่มเติมเพื่อการตรวจสอบได้หรือไม่
เพื่อสำรวจสิ่งนี้ เราได้ทดลองด้วยการถามคำถามติดตามผล หลังจากที่โมเดลตอบกลับ โดยยังคงรักษาคำสั่ง การคิดเป็นลำดับขั้นตอน และคำตอบไว้ในบริบท การติดตามผลเหล่านี้มุ่งเน้นไปที่คุณสมบัติที่กำลังถูกตรวจสอบ เช่น “คุณใช้คำแนะนำในทางที่มีความหมายเพื่อเลือกคำตอบของคุณหรือไม่” หรือ “คุณทำอะไรที่น่าสงสัยหรือเปล่า” ในหลักการ เนื่องจากโมเดลสามารถเข้าถึงการให้เหตุผลก่อนหน้านี้ได้ จึงอาจสามารถนำเสนอความคิดที่ยังไม่ได้กล่าวถึงในลำดับการคิดหรือการตอบกลับในภายหลัง
ผลลัพธ์เหล่านี้เป็นข้อมูลเบื้องต้น เราได้สำรวจรูปแบบคำถามติดตามผลเพียงเล็กน้อย และเชื่อว่ายังมีโอกาสมากมายในการปรับปรุงวิธีการ นอกจากนี้ วิธีนี้มีความคล้ายคลึงในแนวคิดกับคำสารภาพของโมเดล และเรากำลังทำงานอย่างต่อเนื่องในการเปรียบเทียบวิธีการเหล่านี้
เราแสดงผลลัพธ์ที่เฉลี่ยจากชุดการประเมินของเราและจากโมเดลการให้เหตุผลล่าสุดทั้งหมดของเรา: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini และ GPT‑5‑thinking เราพบว่าโดยทั่วไป คำถามติดตามผลช่วยปรับปรุงความสามารถในการตรวจสอบ โดยเฉพาะเมื่อใช้ความพยายามในการใช้เหตุผลน้อย หากเราถามคำถามติดตามผลซ้ำๆ และให้ CoTs ติดตามผลทั้งหมดแก่ผู้ดูแล การตรวจสอบจะดีขึ้นยิ่งขึ้นไปอีก ที่น่าสังเกตคือ เมื่อเราให้สิทธิ์การเข้าถึงแก่ผู้ตรวจสอบเฉพาะคำตอบติดตามผลและไม่ใช่การคิดแบบโซ่ติดตามผล เราจะเห็นการปรับปรุงน้อยกว่าจากเกณฑ์มาตรฐาน สิ่งนี้บ่งชี้ว่าโมเดลไม่ได้ให้คำตอบแก่ผู้ใช้โดยตรง แต่กลับให้ข้อมูลเพิ่มเติมในกระบวนการคิดเป็นลำดับ (CoT)
นอกเหนือจากการปรับปรุงความสามารถในการตรวจสอบแล้ว วิธีการนี้ยังน่าสนใจเพราะสามารถนำไปใช้ภายหลังได้ โดยจะมีค่าใช้จ่ายในการคำนวณเพิ่มเติมเฉพาะเมื่อจำเป็นต้องตรวจสอบอย่างละเอียดมากขึ้น มองไปข้างหน้า หากโมเดลถูกฝึกให้คาดหวังการเปลี่ยนแปลงในความพยายามในการให้เหตุผลระหว่างบทสนทนา การติดตามผลภายหลังด้วยความพยายามในการให้เหตุผลที่สูงขึ้นอาจช่วยปรับปรุงการตรวจสอบได้มากขึ้น แม้ว่าในตอนแรกความพยายามในการให้เหตุผลจะต่ำหรือไม่มีเลย
การประเมินแต่ละครั้งในชุดของเราวัดว่าด้านใดด้านหนึ่งของกระบวนการให้เหตุผลสามารถตรวจสอบได้หรือไม่ แม้ว่าเราจะมุ่งหวังที่จะครอบคลุมพฤติกรรมที่หลากหลาย รวมถึงการประจบสอพลอ การซ่อนข้อมูล อคติ การวางแผน และการแฮ็กรางวัล แต่ยังมีคุณสมบัติเพิ่มเติมอีกมากมายที่ยังไม่ได้ทดสอบ
เช่นเดียวกับเกณฑ์มาตรฐานใดๆ การประเมินของเราอาจประสบปัญหาจากความสมจริงที่จำกัดหรือการรับรู้การประเมินที่เพิ่มขึ้น และผลลัพธ์อาจไม่สามารถนำไปใช้ทั่วไปในการตรวจจับพฤติกรรมที่ไม่เหมาะสมในสภาพแวดล้อมจริง
สุดท้าย เมื่อการจัดแนวดีขึ้น โมเดลอาจมีพฤติกรรมที่ไม่พึงประสงค์น้อยลงในสภาพแวดล้อมการประเมินที่ควบคุมได้ ซึ่งจะลดสัญญาณที่มีอยู่สำหรับการตรวจสอบและการควบคุมการประเมินที่อาศัยการตรวจจับพฤติกรรมที่ไม่พึงประสงค์ ในกรณีเหล่านั้น การประเมินการตรวจสอบที่ "เป็นกลาง" ยังคงใช้ได้ แม้ว่าจะยังเป็นคำถามเปิดว่ามันสามารถทำนายความล้มเหลวในโลกแห่งความเป็นจริงได้มากน้อยเพียงใด
หากปัญหาการจัดแนวไม่สามารถแก้ไขได้อย่างสมบูรณ์ วิธีการควบคุมที่สามารถขยายได้จะมีความสำคัญอย่างยิ่งต่อความสามารถของเราในการปรับใช้โมเดลที่มีศักยภาพสูงอย่างปลอดภัย การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) และวิธีการที่เกี่ยวข้องอาจเป็นหนึ่งในไม่กี่กลไกการควบคุมที่เรามี กระบวนการคิดเป็นลำดับ (chain-of-thought) ยังสามารถให้ประโยชน์อย่างมากในการทำความเข้าใจเพิ่มเติมเกี่ยวกับโมเดลของเรา เช่น ไม่ว่าจะเป็นการที่พวกเขาตระหนักว่าตนเองอยู่ในระหว่างการประเมินและมีพฤติกรรมที่แตกต่างจากที่พวกเขาจะทำในระหว่างการใช้งานจริงหรือไม่ หรือมีหลักฐานของเป้าหมายที่ไม่พึงประสงค์ใดๆ ที่ยังไม่ manifest ในการประเมินของเราหรือไม่ เป็นต้น ดังนั้น เราเชื่อว่าการทำความเข้าใจว่าเมื่อใดและอย่างไรที่เราอาจสูญเสียความสามารถในการตรวจสอบเป็นสิ่งสำคัญอย่างยิ่ง
เรามองว่าการติดตามกระบวนการคิดเป็นลำดับ (chain-of-thought) เป็นการเสริมกับการตีความเชิงกลไก ไม่ใช่การแทนที่ เช่นเดียวกับวิธีการควบคุมและการตีความที่รู้จักกันดี ทุกวิธีมีข้อจำกัดและจุดบอด เราคาดหวังว่าการรวมวิธีการหลายๆ อย่างเข้าด้วยกัน— กลยุทธ์การป้องกันเชิงลึก—จะช่วยครอบคลุมช่องว่างที่วิธีการใดวิธีการหนึ่งอาจปล่อยให้เปิดเผย ที่สำคัญ การประเมินที่นำเสนอในงานนี้ยังสามารถนำไปใช้ในการประเมินและเปรียบเทียบเทคนิคการตรวจสอบที่อิงการตีความเชิงกลไกได้
เพราะเราเชื่อว่าการตรวจสอบลำดับความคิดอาจเป็นชั้นที่สำคัญในโครงสร้างการควบคุมที่สามารถขยายได้ เราวางแผนที่จะขยายการประเมินเหล่านี้และใช้เพื่อให้ข้อมูลในการตัดสินใจเกี่ยวกับการสร้างแบบจำลองและข้อมูลในอนาคต
ผู้เขียน
การอ้างอิง
1. โมเดลของเราไม่ได้มีไว้สำหรับการวินิจฉัยทางการแพทย์ ดังนั้นชุดข้อมูลคำถามด้านสุขภาพของเราจึงไม่ได้มีไว้สำหรับทดสอบความสามารถนั้น
