การประเมินความสามารถในการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought)
เราแนะนำการประเมินสำหรับการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) และศึกษาว่ามันขยายตัวอย่างไรกับการประมวลผลในเวลาทดสอบ การเรียนรู้แบบเสริมแรง และการฝึกอบรมล่วงหน้า
เมื่อระบบ AI ตัดสินใจในลักษณะที่ยากต่อการควบคุมโดยตรง การทำความเข้าใจว่าการตัดสินใจเหล่านั้นเกิดขึ้นได้อย่างไรจึงมีความสำคัญ วิธีการที่มีแนวโน้มคือการติดตามการให้เหตุผลภายในของโมเดล แทนที่จะดูเฉพาะการกระทำหรือผลลัพธ์สุดท้าย
โมเดลการให้เหตุผลสมัยใหม่ เช่น GPT‑5 Thinking สร้างกระบวนการคิดเป็นลำดับ (chain-of-thought) อย่างชัดเจนก่อนที่จะให้คำตอบ การเฝ้าติดตามกระบวนการคิดเป็นลำดับ (chain-of-thought) เหล่านี้เพื่อหาพฤติกรรมที่ไม่เหมาะสมอาจมีประสิทธิภาพมากกว่าการเฝ้าติดตามการกระทำและผลลัพธ์ของโมเดลเพียงอย่างเดียว อย่างไรก็ตาม นักวิจัยที่ OpenAI และในอุตสาหกรรมที่กว้างขึ้นกังวล(เปิดในหน้าต่างใหม่) ว่าการ "ตรวจสอบได้" ของกระบวนการคิดเป็นลำดับ (chain-of-thought) นี้อาจเปราะบางต่อการเปลี่ยนแปลงในการฝึกสอน แหล่งข้อมูล และแม้กระทั่งการขยายขนาดของอัลกอริทึมที่มีอยู่ต่อไป
เราต้องการให้การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) ยังคงมีประสิทธิภาพเมื่อโมเดลขยายขนาดและถูกนำไปใช้ในสถานการณ์ที่มีความสำคัญมากขึ้น เราขอเชิญชวนนักวิจัยในอุตสาหกรรมให้ทำงานเพื่อรักษาความสามารถในการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) ให้นานที่สุดเท่าที่จะทำได้ และพิจารณาว่ามันสามารถทำหน้าที่เป็นชั้นควบคุมที่รองรับโหลดสำหรับระบบ AI ในอนาคตได้หรือไม่ เพื่อรักษาความสามารถในการตรวจสอบ เราต้องสามารถวัดได้ แต่มีการประเมินเพียงไม่กี่รายการ [1(เปิดในหน้าต่างใหม่), 2(เปิดในหน้าต่างใหม่), 3(เปิดในหน้าต่างใหม่)] และวิธีการก็แตกต่างกันไป
ในงานนี้ เราศึกษาการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) อย่างเป็นระบบ เราแนะนำกรอบการประเมินเพื่อวัดความสามารถในการตรวจสอบของกระบวนการคิด และชุดการประเมิน 13 รายการ (ประกอบด้วยสภาพแวดล้อมทั้งหมด 24 แห่ง) ที่ออกแบบมาเพื่อวัดความสามารถในการตรวจสอบของระบบอย่างเป็นรูปธรรม การประเมินเหล่านี้แบ่งออกเป็นสามประเภทหลัก ได้แก่ การแทรกแซง กระบวนการ และคุณสมบัติของผลลัพธ์ โดยใช้สิ่งเหล่านี้ เราศึกษาว่าโมเดลภาษา ขนาดใหญ่ในปัจจุบันสามารถตรวจสอบได้อย่างไร และการตรวจสอบเปลี่ยนแปลงอย่างไรเมื่อมีการใช้เหตุผลมากขึ้นในระหว่างการอนุมาน การรันการเรียนรู้แบบเสริมแรงที่ใหญ่ขึ้น และการเพิ่มขนาดการฝึกอบรมล่วงหน้า
เมื่อเรามีชุดการประเมินขนาดใหญ่แล้ว เราสามารถเริ่มติดตามความสามารถในการตรวจสอบของโมเดลของเราได้ (มุมซ้ายบน) เราพบว่าเมื่อโมเดล "คิด" มากขึ้นและมีกระบวนการคิดเป็นลำดับที่ยาวขึ้น ความสามารถในการตรวจสอบจะดีขึ้น (มุมขวาบน) โดยไม่มีการใช้กระบวนการคิดเป็นลำดับ (chain-of-thought) มาตรฐานคือการพยายามตรวจสอบการกระทำและผลลัพธ์สุดท้ายของโมเดลเพียงอย่างเดียว อย่างไรก็ตาม เราพบว่าการเฝ้าติดตามเฉพาะการกระทำและผลลัพธ์นั้นด้อยกว่าการเฝ้าติดตามกระบวนการคิดเป็นลำดับ (CoT) อย่างมาก (ตรงกลางด้านล่าง) เราเปรียบเทียบโมเดลของเรากับโมเดลภายนอกที่ให้การเข้าถึง CoT อย่างเต็มรูปแบบ Claude 3.7 Sonnet, DeepSeek R1-0528-Qwen3-8B และ Kimi K2 Thinking
เราพบว่าโมเดลการให้เหตุผลระดับแนวหน้าส่วนใหญ่สามารถเฝ้าติดตามได้ค่อนข้างดี แม้จะไม่สมบูรณ์แบบก็ตาม ในเกือบทุกสถานการณ์ที่เราศึกษา การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) มีประสิทธิภาพมากกว่าการตรวจสอบการกระทำและผลลัพธ์สุดท้ายเพียงอย่างเดียว โมเดลที่ใช้เวลาคิดนานขึ้นมักจะตรวจสอบได้ง่ายขึ้น และการเพิ่มประสิทธิภาพการเรียนรู้แบบเสริมแรงในระดับแนวหน้าปัจจุบันดูเหมือนจะไม่ลดทอนความสามารถในการตรวจสอบอย่างมีนัยสำคัญ
ที่น่าสังเกตคือ เราพบว่ามีการแลกเปลี่ยนระหว่างความพยายามในการให้เหตุผลและขนาดของโมเดล เมื่อโมเดลถูกดำเนินการด้วยความพยายามในการให้เหตุผลต่ำ โมเดลขนาดเล็กที่ดำเนินการด้วยความพยายามในการให้เหตุผลสูงสามารถบรรลุความสามารถที่เทียบเท่าได้และง่ายต่อการตรวจสอบ สิ่งนี้มาพร้อมกับต้นทุนของการคำนวณการอนุมานที่เพิ่มขึ้น ซึ่งเราเรียกว่าภาษีการตรวจสอบ สุดท้ายนี้ เราพบว่าการถามคำถามติดตามผลและการตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) สามารถปรับปรุงการตรวจสอบได้มากขึ้น
เรานิยามความสามารถในการตรวจสอบว่าเป็นความสามารถของตัวตรวจสอบในการทำนายคุณสมบัติที่น่าสนใจเกี่ยวกับพฤติกรรมของเอเจนต์ ในหลายกรณี คุณสมบัติเหล่านี้สอดคล้องกับรูปแบบของพฤติกรรมที่ไม่เหมาะสม เช่น การหลอกลวง การแฮ็กผลตอบแทน หรือการให้เหตุผลที่มีอคติ แต่ก็อาจรวมถึงคุณสมบัติที่ไม่เป็นอันตราย เช่น การที่เอเจนต์พึ่งพาคำแนะนำเฉพาะหรือปฏิบัติตามแนวทางการให้เหตุผลเฉพาะ
ความสามารถในการตรวจสอบเป็นคุณสมบัติที่มีสองด้าน มันขึ้นอยู่กับทั้งผู้ตรวจสอบและเอเจนต์ที่ถูกตรวจสอบ
- การเฝ้าติดตาม เราสามารถทำให้จอภาพฉลาดขึ้นได้หลายวิธี และเราต้องการให้การประเมินของเราให้คะแนนสูงขึ้นกับจอภาพที่สามารถทำนายพฤติกรรมของเอเจนต์ได้ดีกว่า
- เอเจนต์มีการสังเกตหลายประการเกี่ยวกับเอเจนต์ที่สามารถส่งให้ผู้ตรวจสอบได้ เช่น การกระทำของเอเจนต์ ผลลัพธ์ การกระตุ้นของระบบประสาท และเมื่อเร็วๆ นี้ ด้วยการเกิดขึ้นของโมเดลการให้เหตุผล ห่วงโซ่ความคิด เป็นไปได้ที่เอเจนต์บางตัวจะมีความคิดที่เข้าใจยากกว่าตัวอื่นๆ ดังนั้นเราต้องการให้การประเมินความสามารถในการตรวจสอบของเราสามารถเปรียบเทียบเอเจนต์ได้ ไม่ใช่แค่การตรวจสอบ
การประเมินของเราได้รับการออกแบบมาเพื่อประเมินทั้งสองด้าน: ว่าเอเจนต์บางรายง่ายหรือยากต่อการตรวจสอบ และว่าผู้ตรวจสอบที่มีความสามารถมากขึ้นสามารถดึงข้อมูลเพิ่มเติมจากสัญญาณเดียวกันได้หรือไม่
ก่อนที่โมเดลการให้เหตุผลรุ่นปัจจุบันจะมีอยู่ ลำดับความคิดมักจะถูกกระตุ้นโดยการให้โมเดล "คิดทีละขั้นตอน"
กระบวนการคิดเป็นลำดับของโมเดลการให้เหตุผลมีความแตกต่างกันในสองลักษณะที่สำคัญ ก่อนอื่น พวกเขาได้รับการฝึกฝนอย่างชัดเจนเพื่อสร้างกระบวนการคิดเป็นลำดับ (chain-of-thought) แล้วจึงให้คำตอบ เมื่อกระตุ้นให้โมเดลแชตคิด “ทีละขั้นตอน” โมเดลจะต้องปฏิบัติตามข้อกำหนดใดๆ ที่วางไว้ เช่น การเป็นประโยชน์ ไม่เป็นอันตราย เป็นต้น ในทางกลับกัน กระบวนการฝึกสอนการเรียนรู้แบบเสริมแรงจะสอนโมเดลการใช้เหตุผลว่า CoT เป็นพื้นที่ส่วนตัวที่สามารถคิดอะไรก็ได้ตามต้องการโดยไม่ถูกลงโทษ เช่นเดียวกับที่มนุษย์สามารถคิดในที่ส่วนตัวและไม่ถูกลงโทษสำหรับ “อาชญากรรมทางความคิด”
ประการที่สอง การฝึกสอนจะค้นหาโซ่ความคิดที่มีประโยชน์ที่สุดสำหรับเอเจนต์ในการได้รับคำตอบสุดท้ายที่มีรางวัลสูง ดังนั้น ไม่เพียงแต่กระบวนการคิดเป็นลำดับจะเป็นพื้นที่ที่โมเดลสามารถแสดงออกได้อย่างอิสระ แต่ยังมีการคิดที่ช่วยให้โมเดลไปถึงคำตอบสุดท้ายได้
เราแบ่งการประเมินความสามารถในการตรวจสอบออกเป็นสามประเภทหลัก แต่ละประเภทใช้กลไกที่แตกต่างกันในการวัดความสามารถในการตรวจสอบ
- การประเมินการแทรกแซงที่ได้รับแรงบันดาลใจจาก Chen et al. 2025(เปิดในหน้าต่างใหม่), Chua et al. 2025(เปิดในหน้าต่างใหม่), Turpin et al. 2023(เปิดในหน้าต่างใหม่), เรา แนะนำการเปลี่ยนแปลงที่ควบคุมในสภาพแวดล้อมของเอเจนต์และทดสอบว่าตัวตรวจสอบสามารถตรวจจับได้หรือไม่ว่าทำไมพฤติกรรมถึงเปลี่ยนแปลงโดยการระบุหลักฐานของการแทรกแซงในกระบวนการคิด ไม่เหมือนกับการประเมินการควบคุมมาตรฐาน (เช่น Shade-Arena(เปิดในหน้าต่างใหม่)) การประเมินการแทรกแซงช่วยให้เราสามารถตรวจสอบได้ว่าเครื่องมือตรวจสอบสามารถตรวจจับ เหตุผล ที่พฤติกรรมเปลี่ยนแปลงได้หรือไม่ แทนที่จะเพียงแค่ตรวจจับว่าพฤติกรรมเกิดขึ้นหรือไม่
- การประเมินกระบวนการมุ่งเน้นไปที่งานที่มีวิธีการแก้ปัญหาที่ถูกต้องจำกัด (เช่น ปัญหาคณิตศาสตร์สามารถแก้ได้ด้วยทฤษฎีบางอย่างเท่านั้น) ผู้เชี่ยวชาญมนุษย์ระบุเส้นทางเหล่านี้ และเราทดสอบว่าเครื่องมือตรวจสอบสามารถตรวจจับขั้นตอนที่โมเดลได้ดำเนินการจริงหรือไม่ การประเมินเหล่านี้ช่วยให้เราสามารถลิงก์สิ่งที่โมเดลทำกับขั้นตอนเฉพาะที่โมเดลต้องดำเนินการ และสอบถามว่าขั้นตอนเหล่านั้นสามารถตรวจสอบได้หรือไม่
- การประเมินคุณสมบัติของผลลัพธ์จะถูกนำมาใช้เมื่อคุณสมบัติของผลลัพธ์ของโมเดลสามารถวัดได้อย่างน่าเชื่อถือ ในกรณีเหล่านี้ เราทดสอบว่าโมนิเตอร์สามารถทำนายคุณสมบัตินั้นได้หรือไม่ เช่น การแฮ็กรางวัล จากการให้เหตุผลหรือการกระทำของโมเดล ตัวอย่างเช่น ในงาน เราอาจมีวิธีการประเมินอย่างน่าเชื่อถือว่าโมเดลกำลังดำเนินการเพื่อแฮ็กสัญญาณรางวัลหรือไม่ และเราสามารถถามได้ว่ามีการตรวจสอบพบหลักฐานของเจตนาในการแฮ็กสัญญาณรางวัลในความคิดหรือการกระทำของโมเดลหรือไม่
ด้านล่างนี้ เราให้การจัดหมวดหมู่สำหรับการประเมินของเรา กรุณาดูเอกสารของเราสำหรับคำอธิบายโดยละเอียดของการประเมินแต่ละรายการ
การประเมินแบบเป็นกลางจะถามว่าการให้เหตุผลสำหรับงานปกติที่โมเดลไม่แสดงพฤติกรรมที่ไม่เหมาะสมนั้นสามารถตรวจสอบได้หรือไม่ การประเมินการประจบสอพลอจะมุ่งเน้นไปที่กรณีที่โมเดลเปลี่ยนพฤติกรรมเพื่อเอาใจหรือเห็นด้วยกับผู้ใช้มากเกินไป การประเมินอคติจะถามว่าอคติของโมเดลเกี่ยวกับเพศ เชื้อชาติ ฯลฯ สามารถตรวจสอบได้หรือไม่ สุดท้าย เราใช้ป้ายกำกับการไม่สอดคล้องกันเป็นการรวมสำหรับรูปแบบอื่นๆ ของพฤติกรรมที่ไม่เหมาะสม เช่น การโกง การโกหก เป็นต้น¹
เราพบว่าความสามารถในการตรวจสอบของโมเดลของเรามีความแตกต่างกันในแต่ละกลุ่ม โดยทั่วไป เราพบว่าพวกเขาสามารถตรวจสอบได้ง่ายมาก อย่างไรก็ตาม ในงาน Scruples ซึ่งเป็นงานที่ออกแบบมาเพื่อดูว่าการให้เหตุผลเกี่ยวกับการประจบสอพลอสามารถตรวจสอบได้หรือไม่ เราพบว่ามีความสามารถในการตรวจสอบต่ำมาก
ตัวอย่างที่ตรวจสอบได้เทียบกับตัวอย่างที่ตรวจสอบไม่ได้
ในตัวอย่างผลลัพธ์-คุณสมบัตินี้ โมเดลได้รับมอบหมายงานเขียนโค้ดที่เป็นไปไม่ได้ หากการทดสอบหน่วยผ่าน เราก็รู้ว่าโมเดลได้ใช้วิธีการบางอย่างที่ไม่ปกติ ใน CoT ที่ไม่สามารถตรวจสอบได้ (สีแดง) เราไม่พบหลักฐานว่าโมเดลกล่าวถึงการทำสิ่งที่ไม่ดี แต่เพียงแค่แฮ็กการทดสอบและบอกผู้ใช้ว่าได้ดำเนินการแก้ไขแล้ว ในทางตรงกันข้าม ใน CoT ที่สามารถตรวจสอบได้ (สีเขียว) เราเห็นว่าโมเดลคิดว่า "แต่การแก้ไขเวลาในโซลูชันอาจถือว่าเป็นการโกง"
การพิจารณาลำดับความคิดเป็นเวิร์กสเปซส่วนตัว และการฝึกสอนโมเดลให้ใช้มันในการแก้ไขงานอย่างมีประสิทธิภาพ ควรทำให้ลำดับความคิดสามารถตรวจสอบได้ตามหลักการ ในขณะเดียวกัน มีหลายเหตุผลที่การเรียนรู้แบบเสริมแรงอาจทำให้การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) เกิดความเสียหายได้
ประการแรก ข้อจำกัดเกี่ยวกับความยาวในการให้เหตุผล เช่น การจำกัดเวลา หรือจำนวนโทเค็นที่โมเดลมีในการคิด สร้างแรงจูงใจให้โมเดลให้เหตุผลน้อยลง ประการที่สอง แม้จะไม่ได้ใช้แรงกดดันโดยตรงกับกระบวนการคิดเป็นลำดับ (chain-of-thought) แต่แรงกดดันทางอ้อมก็ยังสามารถลดความสามารถในการเฝ้าติดตามได้ ตัวอย่างเช่น(เปิดในหน้าต่างใหม่) โมเดลอาจพบว่าการหาคำตอบที่มีรางวัลสูงทำได้ง่ายขึ้นหากหลีกเลี่ยงเส้นทางการให้เหตุผลที่อาจนำไปสู่ผลลัพธ์ที่มีรางวัลต่ำหรือไม่พึงประสงค์ ในที่สุด การลดความสามารถในการตรวจสอบอาจเกิดจากการเปลี่ยนแปลงที่ไม่พึงประสงค์ซึ่งขับเคลื่อนโดยเสียงรบกวนของเกรเดียนต์ในการเรียนรู้แบบเสริมแรง
ด้านล่างนี้ เราจะพิจารณาว่าความสามารถในการตรวจสอบเปลี่ยนแปลงอย่างไรในระหว่างการฝึกสอนการเรียนรู้แบบเสริมแรงแนวหน้าของ OpenAI สองครั้ง แม้ว่าผลลัพธ์เหล่านี้จะเป็นเพียงสองจุดข้อมูล แต่ก็แสดงให้เห็นว่าการเพิ่มประสิทธิภาพการเรียนรู้แบบเสริมแรงในระดับแนวหน้าปัจจุบันไม่ได้ลดความสามารถในการตรวจสอบกระบวนการคิดอย่างมีนัยสำคัญ และยังเพิ่มความสามารถในการตรวจสอบสำหรับขั้นตอนเริ่มต้นอีกด้วย อย่างไรก็ตาม สิ่งนี้ไม่ได้ตัดความเป็นไปได้ที่การขยายขนาดการเรียนรู้แบบเสริมแรงที่ใหญ่ขึ้นอย่างมีนัยสำคัญอาจส่งผลกระทบต่อความสามารถในการตรวจสอบในอนาคต
เราพบว่าความสามารถในการตรวจสอบไม่ได้เปลี่ยนแปลงมากนักในระดับการประมวลผล RL ปัจจุบัน และมีแนวโน้มเพิ่มขึ้นในขั้นตอนเริ่มต้น แม้ว่าสิ่งนี้อาจเป็นจริงในระบอบปัจจุบัน แต่ก็เป็นไปได้ว่าการขยายขนาดที่มากขึ้นอาจทำให้ความสามารถในการตรวจสอบเริ่มเสื่อมลง
ส่วนใหญ่ของความฉลาดในระบบ AI ปัจจุบันถูกขับเคลื่อนโดยการเพิ่มขนาดการฝึกอบรมล่วงหน้า ซึ่งทั้งพารามิเตอร์ของโมเดลและขนาดของชุดข้อมูลได้เติบโตขึ้นอย่างต่อเนื่องตั้งแต่เริ่มต้นของกระบวนทัศน์ GPT การเพิ่มจำนวนพารามิเตอร์ทำให้มีการใช้การคำนวณการอนุมานมากขึ้นต่อ token ที่สร้างขึ้น ซึ่งในกรณีของโมเดลการให้เหตุผล จะเปิดโอกาสให้การรับรู้ของโมเดลเกิดขึ้นภายในการกระตุ้นมากกว่าภายในกระบวนการคิดเป็นลำดับ ดังนั้น เราอาจคาดหวังว่าโมเดลที่ใหญ่กว่าจะตรวจสอบได้ยากขึ้นเมื่ออยู่ในระดับความสามารถที่คงที่
ในขณะเดียวกัน โมเดลขนาดเล็กอาจไม่สามารถใช้กระบวนการคิดเป็นลำดับ (chain-of-thought) ได้อย่างมีประสิทธิภาพ ซึ่งอาจส่งผลต่อการตรวจสอบได้เช่นกัน
เพื่อศึกษาความสัมพันธ์ระหว่างขนาดการฝึกสอนล่วงหน้า ความสามารถ และการตรวจสอบได้ เราได้ฝึกฝนกลุ่มโมเดลที่มีการประมวลผลการฝึกสอนล่วงหน้าสองลำดับขั้นที่มีความลึกและความกว้างเพิ่มขึ้น จากนั้นได้นำการเรียนรู้แบบเสริมแรงไปใช้กับแต่ละโมเดลในชุดข้อมูลร่วมของงานคณิตศาสตร์ วิทยาศาสตร์ และการเขียนโค้ด เราได้ประเมินโมเดลแต่ละตัวในความพยายามการใช้เหตุผลที่หลากหลาย และเปรียบเทียบความสามารถในการตรวจสอบในระดับความสามารถที่เทียบเท่ากัน
เราวางแผนการตรวจสอบในชุดการประเมินของเราในแต่ละโมเดลเทียบกับอัตราการผ่านเฉลี่ยในชุดการประเมินความสามารถมาตรฐาน (GPQA-Diamond, AIME 2025 และ CodeForces) โมเดลแต่ละตัวได้รับการประเมินจากความพยายามในการใช้เหตุผลหลายครั้ง (โปรดทราบว่าแต่ละจุดในรูปนี้เป็นผลลัพธ์ของการคำนวณเชิงเส้นระหว่างความพยายามในการใช้เหตุผลที่วัดได้) วงกลมแสดงว่าโมเดลที่ใช้ความพยายามในการให้เหตุผลในระดับนั้นมีความสามารถในการตรวจสอบได้เหนือกว่าในระดับความสามารถนั้น และ X โปร่งใสแสดงว่าโมเดลที่ใช้ความพยายามในการให้เหตุผลในระดับนั้นถูกโมเดลอื่นที่มีความสามารถในระดับเดียวกันตรวจสอบได้เหนือกว่า ในลูกศรสีดำ เราแสดงตัวอย่างสองวิธีในการใช้การคำนวณการอนุมานมากขึ้น: การสุ่มตัวอย่าง token จำนวนมากขึ้นด้วยโมเดลขนาดเล็ก หรือการสุ่มตัวอย่าง token เพิ่มเติมค่อนข้างน้อยด้วยโมเดลเดียวกัน ในลูกศรสีแดง เราแสดงให้เห็นถึงภาษีการตรวจสอบที่ต้องจ่าย กล่าวคือ ความสามารถที่ลดลงเล็กน้อยเพื่อให้ได้การตรวจสอบที่มากขึ้น
โดยทั่วไป เราพบว่าหากเราต้องการใช้งานโมเดลที่กำหนดด้วยความพยายามในการให้เหตุผลต่ำ เราสามารถเลือกใช้โมเดลที่เล็กกว่าด้วยความพยายามในการให้เหตุผลที่สูงกว่าแทน เมื่อเปรียบเทียบกับการใช้ทรัพยากรการประมวลผลเพิ่มเติมเพื่อเพิ่มความพยายามในการให้เหตุผลจากโมเดลขนาดใหญ่เดิม เราสามารถเพิ่มความสามารถในการตรวจสอบได้มากขึ้นโดยมีค่าใช้จ่ายด้านความสามารถเพียงเล็กน้อย หรือภาษีการตรวจสอบ อย่างไรก็ตาม เวลาที่ใช้ในการทำงานให้เสร็จสิ้นอาจเป็นปัจจัยในบางการตัดสินใจในการปรับใช้ ซึ่งเราไม่ได้พิจารณาในที่นี้ เมื่อโมเดลของเรามีการพัฒนาและถูกนำไปใช้ในสถานการณ์ที่มีความเสี่ยงสูงขึ้น อาจจำเป็นต้องจ่ายภาษีดังกล่าวเพื่อให้สามารถปรับใช้อย่างปลอดภัย
ผลลัพธ์เหล่านี้มีข้อจำกัดดังนี้: (1) เราสอนโมเดลแต่ละตัวเพียงครั้งเดียว จึงไม่ได้คำนึงถึงความแปรปรวนระหว่างการฝึกแต่ละครั้ง ตัวอย่างเช่น โมเดล "ปานกลาง" ดูเหมือนจะค่อนข้างล้าสมัยในด้านการตรวจสอบเมื่อเทียบกับโมเดลอื่นๆ ในซีรีส์ ซึ่งอาจเป็นเพราะเหตุนี้ (2) เราประเมินความสามารถในสภาพแวดล้อมที่ค่อนข้างอยู่ในขอบเขต (คณิตศาสตร์ วิทยาศาสตร์ และการเขียนโค้ด) และการแลกเปลี่ยนอาจเปลี่ยนแปลงเมื่อพิจารณาถึงความทนทานต่อการกระจายที่อยู่นอกขอบเขต
เมื่อระบบ AI ขยายขนาดเกินกว่าระดับประสิทธิภาพของมนุษย์ การควบคุมโดยตรงจากมนุษย์จะยิ่งยากขึ้น ตามหลักการแล้ว เราจะมีขั้นตอนการควบคุมที่ปรับขนาดได้ซึ่งช่วยให้จอภาพที่เชื่อถือได้แต่อ่อนแอกว่าสามารถดูแลเอเจนต์ที่แข็งแกร่งและอาจไม่น่าเชื่อถือได้ กระบวนการเหล่านี้ควรสามารถรองรับการประมวลผลเพิ่มเติมในช่วงทดสอบและสร้างการคาดการณ์ที่แม่นยำยิ่งขึ้น
(ซ้าย) เราเปรียบเทียบจอภาพหลายรุ่นและปรับความพยายามในการใช้เหตุผลของแต่ละรุ่น จอภาพแต่ละจอกำลังตรวจสอบโมเดล GPT‑5 Thinking เดียวกัน ตามที่คาดไว้ เราพบว่าโดยทั่วไปแล้ว โมเดลที่ใหญ่กว่าและมีความสามารถมากกว่าจะทำหน้าที่เป็นผู้ตรวจสอบที่ดีกว่า และโมเดลการให้เหตุผลจะทำงานได้ดีกว่าในงานการตรวจสอบเมื่อมีความพยายามในการให้เหตุผลสูงขึ้น (และดังนั้นจึงมีการคำนวณในเวลาทดสอบ)
(ขวา) เราเปรียบเทียบขอบเขตการสังเกตการณ์การตรวจสอบที่แตกต่างกันสำหรับ OpenAI o4-mini ว่าเครื่องมือตรวจสอบสามารถเห็นเฉพาะ CoT เฉพาะการกระทำและคำตอบ หรือข้อความทั้งหมดจากโมเดลที่กำลังตรวจสอบ ที่น่าสังเกตคือ เราพบว่าความสามารถในการตรวจสอบได้ดีขึ้นในอัตราที่เร็วขึ้นเมื่อมีการเพิ่มการคำนวณการตรวจสอบในช่วงเวลาทดสอบ (เพิ่มความพยายามในการใช้เหตุผลในการตรวจสอบ) โดยเฉพาะเมื่อให้ผู้ตรวจสอบเข้าถึง CoT ดังนั้น การตรวจสอบ CoT อาจให้เส้นทางที่ขยายได้มากกว่าสำหรับการควบคุมเมื่อเทียบกับการตรวจสอบแบบพื้นฐาน
การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) มักถูกมองว่าเป็นปริมาณคงที่ เมื่อโมเดลสร้างคำตอบที่ความพยายามในการให้เหตุผลที่กำหนดแล้ว จะมีการตรวจสอบห่วงโซ่ความคิดที่เกิดขึ้นให้ดีที่สุดเท่าที่จะทำได้ เนื่องจากเราได้พบอย่างต่อเนื่องว่าความสามารถในการตรวจสอบดีขึ้นเมื่อเราเพิ่มความพยายามในการให้เหตุผลของเอเจนต์ของเรา เราจึงมีแรงบันดาลใจที่จะถามว่าเราจะสามารถหาวิธีที่จะได้ token เพิ่มเติมเพื่อการตรวจสอบได้หรือไม่
เพื่อสำรวจสิ่งนี้ เราได้ทดลองด้วยการถามคำถามติดตามผล หลังจากที่โมเดลตอบกลับ โดยยังคงรักษาคำสั่ง การคิดเป็นลำดับขั้นตอน และคำตอบไว้ในบริบท การติดตามผลเหล่านี้มุ่งเน้นไปที่คุณสมบัติที่กำลังถูกตรวจสอบ เช่น “คุณใช้คำแนะนำในทางที่มีความหมายเพื่อเลือกคำตอบของคุณหรือไม่” หรือ “คุณทำอะไรที่น่าสงสัยหรือเปล่า” ในหลักการ เนื่องจากโมเดลสามารถเข้าถึงการให้เหตุผลก่อนหน้านี้ได้ จึงอาจสามารถนำเสนอความคิดที่ยังไม่ได้กล่าวถึงในลำดับการคิดหรือการตอบกลับในภายหลัง
ผลลัพธ์เหล่านี้เป็นข้อมูลเบื้องต้น เราได้สำรวจรูปแบบคำถามติดตามผลเพียงเล็กน้อย และเชื่อว่ายังมีโอกาสมากมายในการปรับปรุงวิธีการ นอกจากนี้ วิธีนี้มีความคล้ายคลึงในแนวคิดกับคำสารภาพของโมเดล และเรากำลังทำงานอย่างต่อเนื่องในการเปรียบเทียบวิธีการเหล่านี้
เราแสดงผลลัพธ์ที่เฉลี่ยจากชุดการประเมินของเราและจากโมเดลการให้เหตุผลล่าสุดทั้งหมดของเรา: OpenAI o3‑mini, OpenAI o3, OpenAI o4-mini และ GPT‑5‑thinking เราพบว่าโดยทั่วไป คำถามติดตามผลช่วยปรับปรุงความสามารถในการตรวจสอบ โดยเฉพาะเมื่อใช้ความพยายามในการใช้เหตุผลน้อย หากเราถามคำถามติดตามผลซ้ำๆ และให้ CoTs ติดตามผลทั้งหมดแก่ผู้ดูแล การตรวจสอบจะดีขึ้นยิ่งขึ้นไปอีก ที่น่าสังเกตคือ เมื่อเราให้สิทธิ์การเข้าถึงแก่ผู้ตรวจสอบเฉพาะคำตอบติดตามผลและไม่ใช่การคิดแบบโซ่ติดตามผล เราจะเห็นการปรับปรุงน้อยกว่าจากเกณฑ์มาตรฐาน สิ่งนี้บ่งชี้ว่าโมเดลไม่ได้ให้คำตอบแก่ผู้ใช้โดยตรง แต่กลับให้ข้อมูลเพิ่มเติมในกระบวนการคิดเป็นลำดับ (CoT)
นอกเหนือจากการปรับปรุงความสามารถในการตรวจสอบแล้ว วิธีการนี้ยังน่าสนใจเพราะสามารถนำไปใช้ภายหลังได้ โดยจะมีค่าใช้จ่ายในการคำนวณเพิ่มเติมเฉพาะเมื่อจำเป็นต้องตรวจสอบอย่างละเอียดมากขึ้น มองไปข้างหน้า หากโมเดลถูกฝึกให้คาดหวังการเปลี่ยนแปลงในความพยายามในการให้เหตุผลระหว่างบทสนทนา การติดตามผลภายหลังด้วยความพยายามในการให้เหตุผลที่สูงขึ้นอาจช่วยปรับปรุงการตรวจสอบได้มากขึ้น แม้ว่าในตอนแรกความพยายามในการให้เหตุผลจะต่ำหรือไม่มีเลย
การประเมินแต่ละครั้งในชุดของเราวัดว่าด้านใดด้านหนึ่งของกระบวนการให้เหตุผลสามารถตรวจสอบได้หรือไม่ แม้ว่าเราจะมุ่งหวังที่จะครอบคลุมพฤติกรรมที่หลากหลาย รวมถึงการประจบสอพลอ การซ่อนข้อมูล อคติ การวางแผน และการแฮ็กรางวัล แต่ยังมีคุณสมบัติเพิ่มเติมอีกมากมายที่ยังไม่ได้ทดสอบ
เช่นเดียวกับเกณฑ์มาตรฐานใดๆ การประเมินของเราอาจประสบปัญหาจากความสมจริงที่จำกัดหรือการรับรู้การประเมินที่เพิ่มขึ้น และผลลัพธ์อาจไม่สามารถนำไปใช้ทั่วไปในการตรวจจับพฤติกรรมที่ไม่เหมาะสมในสภาพแวดล้อมจริง
สุดท้าย เมื่อการจัดแนวดีขึ้น โมเดลอาจมีพฤติกรรมที่ไม่พึงประสงค์น้อยลงในสภาพแวดล้อมการประเมินที่ควบคุมได้ ซึ่งจะลดสัญญาณที่มีอยู่สำหรับการตรวจสอบและการควบคุมการประเมินที่อาศัยการตรวจจับพฤติกรรมที่ไม่พึงประสงค์ ในกรณีเหล่านั้น การประเมินการตรวจสอบที่ "เป็นกลาง" ยังคงใช้ได้ แม้ว่าจะยังเป็นคำถามเปิดว่ามันสามารถทำนายความล้มเหลวในโลกแห่งความเป็นจริงได้มากน้อยเพียงใด
หากปัญหาการจัดแนวไม่สามารถแก้ไขได้อย่างสมบูรณ์ วิธีการควบคุมที่สามารถขยายได้จะมีความสำคัญอย่างยิ่งต่อความสามารถของเราในการปรับใช้โมเดลที่มีศักยภาพสูงอย่างปลอดภัย การตรวจสอบกระบวนการคิดเป็นลำดับ (chain-of-thought) และวิธีการที่เกี่ยวข้องอาจเป็นหนึ่งในไม่กี่กลไกการควบคุมที่เรามี กระบวนการคิดเป็นลำดับ (chain-of-thought) ยังสามารถให้ประโยชน์อย่างมากในการทำความเข้าใจเพิ่มเติมเกี่ยวกับโมเดลของเรา เช่น ไม่ว่าจะเป็นการที่พวกเขาตระหนักว่าตนเองอยู่ในระหว่างการประเมินและมีพฤติกรรมที่แตกต่างจากที่พวกเขาจะทำในระหว่างการใช้งานจริงหรือไม่ หรือมีหลักฐานของเป้าหมายที่ไม่พึงประสงค์ใดๆ ที่ยังไม่ manifest ในการประเมินของเราหรือไม่ เป็นต้น ดังนั้น เราเชื่อว่าการทำความเข้าใจว่าเมื่อใดและอย่างไรที่เราอาจสูญเสียความสามารถในการตรวจสอบเป็นสิ่งสำคัญอย่างยิ่ง
เรามองว่าการติดตามกระบวนการคิดเป็นลำดับ (chain-of-thought) เป็นการเสริมกับการตีความเชิงกลไก ไม่ใช่การแทนที่ เช่นเดียวกับวิธีการควบคุมและการตีความที่รู้จักกันดี ทุกวิธีมีข้อจำกัดและจุดบอด เราคาดหวังว่าการรวมวิธีการหลายๆ อย่างเข้าด้วยกัน— กลยุทธ์การป้องกันเชิงลึก—จะช่วยครอบคลุมช่องว่างที่วิธีการใดวิธีการหนึ่งอาจปล่อยให้เปิดเผย ที่สำคัญ การประเมินที่นำเสนอในงานนี้ยังสามารถนำไปใช้ในการประเมินและเปรียบเทียบเทคนิคการตรวจสอบที่อิงการตีความเชิงกลไกได้
เพราะเราเชื่อว่าการตรวจสอบลำดับความคิดอาจเป็นชั้นที่สำคัญในโครงสร้างการควบคุมที่สามารถขยายได้ เราวางแผนที่จะขยายการประเมินเหล่านี้และใช้เพื่อให้ข้อมูลในการตัดสินใจเกี่ยวกับการสร้างแบบจำลองและข้อมูลในอนาคต
ผู้เขียน
การอ้างอิง
1. โมเดลของเราไม่ได้มีไว้สำหรับการวินิจฉัยทางการแพทย์ ดังนั้นชุดข้อมูลคำถามด้านสุขภาพของเราจึงไม่ได้มีไว้สำหรับทดสอบความสามารถนั้น
