จิตปัญญาที่คิดต่าง

ช่วงกลางปี 2566 เราเริ่มเห็นผลลัพธ์จากโครงการวิจัย “RLSlow” ที่ทำให้มั่นใจว่าเราจะสามารถขยายการฝึกโมเดลด้านการให้เหตุผลได้ และดึงศักยภาพของโมเดลที่ผ่านการฝึกล่วงหน้าให้สร้างการให้เหตุผลแบบเป็นลำดับขั้นได้ด้วยตัวเอง คืนนั้น Szymon กับผมอยู่ที่ออฟฟิศจนดึก สิ่งที่อยู่ในหัวเราไม่ใช่คะแนนเบนช์มาร์กที่น่าทึ่ง ไม่ใช่ผลิตภัณฑ์หรือผลลัพธ์ทางวิทยาศาสตร์ที่เทคโนโลยีนี้จะสร้างขึ้น แต่เป็นความจริงที่ชวนให้เราตระหนักอย่างจริงจังว่า ในช่วงชีวิตของเรา เราจะได้เห็นเครื่องจักรที่ฉลาดกว่าเราอย่างมีนัยสำคัญจริงๆ และตอนนี้เราก็เริ่มมองเห็นแล้วว่าระบบเหล่านี้จะมีลักษณะอย่างไร เราจึงอดคิดไม่ได้ว่าจะทำอย่างไรให้ผู้คนตระหนักว่าสิ่งที่กำลังเกิดขึ้นนี้สำคัญเพียงใด

สามปีต่อมา โมเดลภาษาที่มีความสามารถด้านการให้เหตุผลกำลังเข้ามามีบทบาทในระบบเศรษฐกิจอย่างรวดเร็ว และเริ่มผลักดันขอบเขตความก้าวหน้าทางวิทยาศาสตร์ โมเดลเหล่านี้ใช้คอมพิวเตอร์และอินเทอร์เฟซแบบกราฟิกได้ ทำงานร่วมกับทั้งมนุษย์และโมเดลอื่น รวมถึงดำเนินโครงการวิจัยได้ด้วย ขณะเดียวกัน เทคโนโลยีนี้ก็กำลังพลิกโฉมความมั่นคงปลอดภัยของระบบคอมพิวเตอร์ และนำมาซึ่งภัยรูปแบบใหม่ที่เห็นได้ชัดเจน

ในช่วงเวลานี้ มีงานวิจัยใหม่ๆ เกิดขึ้นเป็นจำนวนมาก และความเข้าใจของเราที่มีต่อระบบเหล่านี้ก็เปลี่ยนไปจากเมื่อปี 2566 อีกครั้ง จากผลการวิจัยภายใน ผมเชื่ออย่างมากว่าความก้าวหน้าในอัตรานี้อาจดำเนินต่อไปจน AI สามารถพัฒนาตัวเองซ้ำเป็นวงจรและเก่งขึ้นเรื่อยๆ ได้ หากการพัฒนา AI ยังคงเดินหน้าไปในทิศทางปัจจุบัน อีกไม่กี่ปีข้างหน้าเราอาจได้เห็นความสามารถของระบบก้าวกระโดดขึ้นอีกในระดับเดียวกันหรือมากกว่า และจะมีบทบาทในการขับเคลื่อนการพัฒนาตัวเองมากขึ้นเรื่อยๆ

นี่เป็นช่วงเวลาที่เราต้องระมัดระวังอย่างถึงที่สุด ผมกังวลว่ายังไม่มีใครพร้อมรับมือกับผลที่จะตามมา หากความฉลาดของเครื่องจักรยังเพิ่มขึ้นอย่างรวดเร็วเช่นนี้ OpenAI จะเดินหน้าค้นหาแนวทางทางเทคนิคเพื่อกำกับ AI ให้เป็นไปตามเป้าหมายและติดตามการทำงานของระบบ พร้อมพัฒนาระบบป้องกัน และหากจำเป็น เราจะชะลอการขยายขีดความสามารถเพิ่มเติมด้วยตัวเอง แต่ผมเชื่อว่าเราจำเป็นต้องมีมาตรการในวงกว้างกว่านี้

หากมองในภาพรวม ความก้าวหน้าด้านความฉลาดของเครื่องจักรเกิดขึ้นได้จากพลังการประมวลผลที่เพิ่มขึ้น ที่ OpenAI เราตระหนักถึงเรื่องนี้อย่างจริงจังตั้งแต่ราวปี 2560 หลังจากเห็นซ้ำแล้วซ้ำเล่าว่า การขยายขนาดช่วยให้ผลงานดีขึ้นในโครงการวิจัยหลายโครงการ¹ เราจึงพยายามเข้าถึงทรัพยากรประมวลผลให้มากกว่าที่วางแผนไว้ในตอนแรกอย่างมาก พร้อมปรับทิศทางงานวิจัยให้มุ่งเน้นแนวทางเพียงไม่กี่ด้านที่สามารถขยายขนาดได้มาก เราเชื่อว่านี่เป็นหนทางเดียวที่จะทำให้เรายังคงอยู่ในแนวหน้าของการวิจัย AI และมีส่วนกำหนดผลกระทบที่จะเกิดจาก AGI

ตลอดเส้นทางที่ผ่านมา มีทั้งอัลกอริทึมใหม่ๆ และแนวคิดอันชาญฉลาดจากทั้งทีมและนักวิจัยแต่ละคน แต่ในมุมมองของผม สิ่งเหล่านี้ส่วนใหญ่คือการค้นพบที่เกิดขึ้นระหว่างการขยายขนาดระบบ เพราะศาสตร์ด้านดีปเลิร์นนิงยังอยู่ในช่วงเริ่มต้น และความก้าวหน้าครั้งสำคัญด้านอัลกอริทึมก็มักเกิดขึ้นควบคู่กับการเข้าถึงทรัพยากรประมวลผล เมื่อมองภาพในระยะหลายปี จะเห็นว่า AI ยังคงฉลาดขึ้นเรื่อยๆ เมื่อเราเพิ่มขนาดและนำไปรันบนระบบคอมพิวเตอร์ที่มีพลังประมวลผลสูงขึ้น

และวันนี้สิ่งที่ Ray Kurzweil คาดการณ์ไว้ตั้งแต่ช่วงปลายคริสต์ศตวรรษที่ 20⁠(เปิดในหน้าต่างใหม่) ก็กำลังปรากฏให้เห็น เรามาถึงจุดเปลี่ยนสำคัญในประวัติศาสตร์คอมพิวเตอร์ เมื่อความฉลาดของเครื่องจักรเริ่มก้าวข้ามความสามารถของมนุษย์ในด้านที่อาจพลิกโฉมโลกได้

AI มีลักษณะเหมือนสิ่งที่ถูกเพาะให้เติบโตมากกว่าสิ่งที่มนุษย์ออกแบบขึ้นมา เพราะโดยพื้นฐานแล้ว AI เกิดจากการนำขั้นตอนการปรับให้เหมาะสมที่ไม่ซับซ้อนมาปรับให้ดีขึ้นซ้ำแล้วซ้ำเล่า ด้วยทรัพยากรประมวลผลมหาศาลในระดับที่แทบจินตนาการไม่ออก สิ่งที่ได้คือระบบที่ซับซ้อนอย่างเหลือเชื่อ สามารถคิดและทำงานกับแนวคิดเชิงนามธรรม รวมถึงจำลองพฤติกรรมบางแง่มุมของมนุษย์ได้ เราอาจค้นพบและทำความเข้าใจกลไกเล็กๆ บางส่วนที่ก่อตัวขึ้นภายในระบบนี้ได้ คล้ายกับการศึกษาสมองในประสาทวิทยาศาสตร์ แต่เช่นเดียวกับสมอง เมื่อมองการทำงานของระบบโดยรวม เรายังไม่สามารถอธิบายได้อย่างครบถ้วนในแบบที่มนุษย์เข้าใจได้

การศึกษา AI ที่พัฒนาด้วยดีปเลิร์นนิงยังต้องอาศัยการทดลองเป็นหลัก เราทุ่มเทอย่างมาก⁠ให้กับการพัฒนาอัลกอริทึมบนหลักการที่ชัดเจนและการตั้งข้อคาดการณ์ที่สามารถนำไปทดสอบได้ แต่ท้ายที่สุดแล้ว การฝึกโมเดลขนาดใหญ่แต่ละครั้งก็คือการทดลอง และบางครั้งผลที่ได้ก็เหนือความคาดหมายของเรา ยิ่งระบบมีความสามารถสูงขึ้นเท่าไร ผลลัพธ์ที่เกิดขึ้นก็ยิ่งทำความเข้าใจและตีความได้ยากขึ้นเท่านั้น

เรื่องนี้ยิ่งซับซ้อนขึ้นไปอีก เพราะอัลกอริทึมในปัจจุบันมักทำให้ความสามารถที่วัดได้ง่ายพัฒนาเร็วกว่าเรื่องที่ไม่มีวิธีวัดอย่างเป็นกลางได้ชัดเจน เราจึงใช้เวลามากในการศึกษาว่า ความสามารถที่โมเดลเรียนรู้จะนำไปใช้กับงานอื่นได้กว้างเพียงใด และควรให้ความสำคัญกับด้านใดเพื่อพัฒนาทักษะที่จะมีบทบาทมากที่สุดในอีกไม่กี่ปีข้างหน้า ตัวอย่างเช่น เราเชื่อว่าหากมุ่งพัฒนาในด้านนี้มากขึ้น ก็สามารถทำให้โมเดลเก่งงานวิจัยคณิตศาสตร์โดยเฉพาะได้ แต่เราไม่ได้เลือกให้เรื่องนี้เป็นความสำคัญอันดับต้นๆ เพราะมองว่าการพัฒนาตัวเองแบบวนซ้ำ (RSI) และงานวิจัยด้านการกำกับ AI ให้เป็นไปตามเป้าหมายโดยอัตโนมัติมีความเร่งด่วนกว่า ซึ่งผมจะกล่าวถึงในภายหลัง

ความฉลาดที่เกิดจากการขยายขนาดดีปเลิร์นนิงไม่สามารถนำมาเทียบกับความฉลาดของมนุษย์ได้โดยตรง AI ไม่จำเป็นต้องเก่งเท่าหรือเหนือกว่ามนุษย์ในทุกด้านจึงจะมีบทบาทสำคัญในโลกจริง ไม่ว่าจะในแง่ประโยชน์หรืออันตราย เพียงเหนือกว่ามนุษย์ในความสามารถสำคัญมากพอก็เพียงพอแล้ว และเมื่อ AI ก้าวข้ามมนุษย์ได้ในหลายด้านขึ้นเรื่อยๆ เราก็ยิ่งประเมินได้ยากขึ้นว่าขีดความสามารถที่แท้จริงของมันไปไกลเพียงใด

เนื่องจากปัญญาของเครื่องจักรเกิดจากกระบวนการที่แตกต่างโดยพื้นฐานจากปัญญามนุษย์ เราจึงไม่อาจสันนิษฐานได้ว่ามันจะยึดถือหลักการของมนุษย์โดยปริยาย หรือนำหลักการเหล่านั้นไปใช้ในลักษณะเดียวกับมนุษย์ ปัญหาหลักของการวิจัย AI คือการทำให้สอดคล้อง ซึ่งหมายถึงการทำให้ AI “พยายามทำสิ่งที่ถูกต้อง” ตามมาตรฐานของมนุษย์

เพื่อให้จัดหมวดหมู่แนวทางการวิจัยที่นำไปใช้ได้จริงได้ชัดเจนขึ้น ผมคิดว่าการแยกการทำให้เป้าหมายสอดคล้องกัน ออกจากการทำให้ค่านิยมสอดคล้องกันมีประโยชน์

การปรับ AI ให้มีเป้าหมายสอดคล้องกับเรา กล่าวโดยกว้างคือการดูว่า “AI พยายามทำตามเป้าหมายที่กำหนดให้หรือไม่” ซึ่งครอบคลุมหลายเรื่อง เช่น การปฏิบัติตาม ลำดับความสำคัญของคำสั่ง⁠ รวมถึงความสามารถในการสื่อสารและทำงานร่วมกับผู้คน เพื่อพยายามทำความเข้าใจว่าพวกเขาต้องการบรรลุอะไร แนวทางการวิจัยกลุ่มนี้มีความสำคัญอย่างยิ่งต่อการนำไปใช้จริง

ส่วนการปรับ AI ให้มีค่านิยมสอดคล้องกับเรานั้นเป็นคุณสมบัติที่ฝังลึกอยู่ในตัวโมเดลมากกว่า โดย AI ต้องสามารถยึดหลักการในระดับกว้างและนำหลักการเหล่านั้นไปปรับใช้กับสถานการณ์ต่างๆ ได้ แม้จะได้รับเป้าหมายที่ไม่ชัดเจนหรือขัดแย้งกัน หรือต้องเผชิญกับสถานการณ์ที่ไม่คุ้นเคยหรือมีผู้จงใจสร้างขึ้นเพื่อทดสอบหรือหลอกล่อ AI ที่สอดคล้องกับเราควรประพฤติอย่างซื่อสัตย์ ยึดมั่นในสิ่งที่ถูกต้อง และมีความรักต่อมนุษยชาติ

แน่นอนว่าเส้นแบ่งระหว่างการปรับ AI ให้มีค่านิยมสอดคล้องกับเรากับการปรับ AI ให้มีเป้าหมายสอดคล้องกับเรานั้นอาจไม่ชัดเจนเสมอไป เพราะการให้ความสำคัญกับเป้าหมายอย่างแท้จริงย่อมต้องพยายามทำความเข้าใจ เจตนา⁠(เปิดในหน้าต่างใหม่) และค่านิยมที่อยู่เบื้องหลังเป้าหมายนั้นด้วย อย่างไรก็ตาม เมื่อผมพูดถึงความสำคัญของงานวิจัยด้านการปรับ AI ให้สอดคล้องกับเราในระยะยาว โดยทั่วไปแล้วผมหมายถึงการปรับ AI ให้มีค่านิยมสอดคล้องกับเรา

ความท้าทายพื้นฐานของการปรับ AI ให้สอดคล้องกับเราคือการทำให้ AI นำสิ่งที่เรียนรู้ไปใช้ได้อย่างเหมาะสมเมื่อเจอสถานการณ์ใหม่ๆ เมื่อระบบเหล่านี้ฉลาดขึ้น ก็จะต้องรับมือกับแนวคิดที่ซับซ้อนและเป็นนามธรรมมากขึ้น รวมถึงทำงานในสภาพแวดล้อมที่แตกต่างจากสิ่งที่เคยพบระหว่างการฝึกมากขึ้นเรื่อยๆ ปัญหาคือ AI อาจไม่สามารถนำค่านิยมที่ได้รับการปลูกฝังและตอกย้ำระหว่างการฝึกไปใช้กับสถานการณ์ใหม่เหล่านั้นได้อย่างถูกต้อง ทำให้เราคาดการณ์ได้ยากว่า AI จะตัดสินใจหรือทำสิ่งใด สถานการณ์ยิ่งซับซ้อนขึ้นไปอีกเพราะสภาพแวดล้อมโดยรวมที่ AI ถูกนำไปใช้นั้นเปลี่ยนแปลงอย่างรวดเร็ว ตัวอย่างเช่น AI ที่ฝึกในวันนี้ต้องสามารถรับมือกับการโต้ตอบกับ AI อื่นๆ หลากหลายรูปแบบได้ และที่สำคัญที่สุด เราต้องทำให้ AI ในอนาคตยังคงยึดถือค่านิยมของมนุษย์ ไม่ว่า AI จะคิดว่ามนุษย์กำลังเฝ้าดูอยู่หรือไม่ก็ตาม

ปัจจุบัน วิธีฝึก AI ให้สอดคล้องกับเราที่นำมาใช้จริงมีอยู่สองกลุ่มหลัก

แนวทางแรกคือการใช้การเรียนรู้แบบเสริมกำลังที่มุ่งสู่เป้าหมาย เพื่อส่งเสริมให้ AI มีพฤติกรรมที่สอดคล้องกับเรา โดยจะประเมินการกระทำของโมเดล ซึ่งโดยทั่วไปใช้ AI เป็นผู้ประเมิน ว่าสอดคล้องกับแบบจำลองความพึงพอใจ ข้อกำหนด หรือ “หลักการ” ที่กำหนดไว้หรือไม่ แล้วให้รางวัลตามความเหมาะสม วิธีนี้ได้ผลดีมากในสถานการณ์ทั่วไป และเป็นส่วนสำคัญของการสร้างผู้ช่วย AI สมัยใหม่ แต่ก็มีข้อจำกัด เพราะอาจล้มเหลวได้ง่ายเมื่อเจอสถานการณ์ที่แตกต่างออกไป และต้องพึ่งพาทั้งความครอบคลุมของการกำกับดูแลระหว่างการฝึก และความสามารถของโมเดลในการนำสิ่งที่เรียนรู้ไปใช้กับสถานการณ์ใหม่ ตัวอย่างเช่น ในเหตุการณ์ OpenAI-Hugging Face เอเจนต์ยังคงยึดข้อจำกัดที่จะไม่ใช้วิธีหลอกลวงหรือชักจูงมนุษย์เพื่อให้ได้ข้อมูลหรือสิทธิ์เข้าถึง แต่กลับไม่สามารถยับยั้งตัวเองจากการกระทำอื่นๆ ที่อยู่นอกขอบเขต และขัดกับเจตนารมณ์ของค่านิยมที่ได้รับการสอนมาในบริบทอื่นอย่างชัดเจน

แนวทางที่สองอาศัยความสามารถของโมเดลในการนำสิ่งที่เรียนรู้จากข้อมูลฝึกล่วงหน้าไปใช้กับสถานการณ์ใหม่ วิธีหนึ่งคือจัดทำชุดข้อมูลฝึกที่ช่วยปลูกฝังให้ AI สอดคล้องกับเรา หรือมุ่งให้โมเดลเรียนรู้จากส่วนของข้อมูลฝึกล่วงหน้าที่สะท้อนพฤติกรรมซึ่งสอดคล้องกับเรา เช่น โมเดลคัดเลือกบุคลิก⁠(เปิดในหน้าต่างใหม่) อย่างไรก็ตาม แนวทางนี้มีจุดอ่อนตรงที่อาจไม่ทนต่อแรงกดดันจากการปรับโมเดลเพิ่มเติม หากโมเดลที่เดิมมีแนวโน้มคิดในลักษณะที่สอดคล้องกับเราถูกฝึกอย่างเข้มข้นให้บรรลุเป้าหมายที่ยากมาก โมเดลอาจเรียนรู้ที่จะบิดเบือนการให้เหตุผลไปในทิศทางที่ช่วยให้บรรลุเป้าหมาย โดยปรับเปลี่ยนความคิดที่ดูเหมือนจะสอดคล้องกับเราไปตามความจำเป็น เราน่าจะได้เห็นตัวอย่างของพฤติกรรมเช่นนี้แล้วในเหตุการณ์ด้านความมั่นคงปลอดภัยทางไซเบอร์เมื่อไม่นานมานี้ ซึ่งเกี่ยวข้องกับโมเดลที่ไม่ได้มาจาก OpenAI

เราลงทุนอย่างมากในการพัฒนาแนวทางหลากหลายรูปแบบที่อยู่ระหว่างสองแนวทางหลักนี้ และเริ่มเห็นความก้าวหน้าที่มีนัยสำคัญ GPT‑6 Astra เป็นโมเดลแรกที่ได้รับประโยชน์จากความก้าวหน้าสำคัญบางประการที่เราพัฒนามาเป็นเวลานาน และมีความสอดคล้องกับเราดีกว่า GPT‑5.6 Sol อย่างชัดเจน ถึงอย่างนั้น เราต้องยอมรับและตระหนักว่า เมื่อโมเดลมีความสามารถสูงขึ้น เรายังจำเป็นต้องพัฒนาเรื่องนี้อีกมาก และความก้าวหน้าในการทำให้ AI ยังคงสอดคล้องกับเราเมื่อเผชิญสถานการณ์ใหม่ๆ อาจไม่ได้ก้าวหน้าเร็วกว่าความสามารถโดยรวมของโมเดลมากพอ

เรายังไม่มีทฤษฎีที่อธิบายได้อย่างน่าพอใจว่า AI สามารถนำสิ่งที่เรียนรู้ไปใช้กับสถานการณ์ใหม่ได้อย่างไร และหากไม่มี AI ที่ทรงพลังกว่านี้มาช่วย ก็ดูไม่น่าเป็นไปได้ที่เราจะสร้างทฤษฎีดังกล่าวได้ในเร็วๆ นี้ ด้วยเหตุนี้ สิ่งที่สำคัญยิ่งกว่าตัวเทคนิคการปรับ AI ให้สอดคล้องกับเป้าหมายของเราในเวลานี้ อาจเป็นความสามารถในการใช้หลักฐานเชิงประจักษ์เพื่อยืนยันว่าเทคนิคเหล่านั้นได้ผลจริง

แนวทางหลักที่ OpenAI เลือกใช้ในเรื่องนี้คือ การติดตามการให้เหตุผลแบบเป็นลำดับขั้น⁠(เปิดในหน้าต่างใหม่) แนวคิดนี้น่าสนใจตรงที่สามารถนำไปใช้ได้แม้โมเดลจะมีความสามารถเพิ่มขึ้น เพราะความสามารถส่วนใหญ่ของโมเดลเกิดจากกระบวนการให้เหตุผลที่ถ่ายทอดออกมาเป็นภาษา หรือที่เรียกว่า การให้เหตุผลแบบเป็นลำดับขั้น หากเราปรับโมเดลโดยพิจารณาจากผลลัพธ์ของกระบวนการนี้ แต่ไม่เข้าไปกำกับตัวกระบวนการโดยตรง ระหว่างการฝึกก็จะไม่มีแรงจูงใจโดยตรงที่ทำให้โมเดลต้องซ่อนแนวคิดหรือเป้าหมายที่ไม่สอดคล้องกับสิ่งที่เราต้องการไว้ในการให้เหตุผลแบบเป็นลำดับขั้น อย่างไรก็ตาม วิธีนี้ไม่ได้หมายความว่าโมเดลจะเรียนรู้ที่จะแสดงแนวโน้มที่ไม่สอดคล้องซึ่งไม่ได้อาศัยการให้เหตุผลแบบเป็นลำดับขั้นออกมาให้เราเห็น แต่ช่วยให้เราติดตามความสามารถที่เพิ่มขึ้นจากการให้เหตุผลได้โดยตรง

เราเริ่มตระหนักว่าการติดตามการให้เหตุผลแบบเป็นลำดับขั้นอาจมีความสำคัญอย่างมากในช่วงเดียวกับที่พัฒนาโมเดลการให้เหตุผล ด้วยเหตุนี้ ตอนเปิดตัว o1‑preview เราจึงตั้งใจออกแบบผลิตภัณฑ์ให้ ซ่อนการให้เหตุผลแบบเป็นลำดับขั้น⁠ เพื่อไม่ให้กระบวนการดังกล่าวได้รับแรงกดดันจากการกำกับดูแลในระยะยาว² และนับแต่นั้นมา เราก็ยึดหลักว่าจะไม่กำกับกระบวนการให้เหตุผลโดยตรงมาโดยตลอด การติดตาม CoT จึงกลายเป็นเครื่องมือสำคัญอย่างยิ่งในการศึกษาว่าโมเดลนำสิ่งที่เรียนรู้จากข้อมูลที่ใช้ฝึกไปปรับใช้กับสถานการณ์ที่แตกต่างออกไปอย่างไร เพราะช่วยให้เราสังเกตและวิเคราะห์ได้ทั้งสิ่งที่โมเดลทำและกระบวนการภายในของโมเดล

เครื่องมือนี้ยังคงมีความสำคัญอย่างยิ่งต่อการศึกษาโมเดลในกลุ่ม Astra แต่ผลการประเมินของเรากลับชี้ให้เห็นว่า เรากำลังพึ่งพาการติดตาม CoT ได้น้อยลงเรื่อย ๆ ซึ่งเป็นผลจากหลายปัจจัยประกอบกัน

• ปัจจุบัน โมเดลการให้เหตุผลถูกนำไปใช้ในสภาพแวดล้อมที่ซับซ้อนกว่าในยุค o1‑preview ทำให้การให้เหตุผล การสื่อสารกับผู้คนและ AI อื่นๆ ตลอดจนการใช้เครื่องมือ เชื่อมโยงกันมากขึ้นเรื่อยๆ และเมื่อการโต้ตอบหลายอย่างเหล่านี้จำเป็นต้องได้รับการกำกับดูแล เส้นแบ่งที่เราพยายามรักษาไว้ระหว่างสิ่งที่กำกับดูแลกับสิ่งที่ไม่กำกับดูแลก็ยิ่งเลือนรางลง
• AI มีความสามารถมากขึ้นเรื่อยๆ ในการวิเคราะห์และปรับเปลี่ยนกระบวนการให้เหตุผลของตัวเอง
• เมื่อประสิทธิภาพจากการฝึกล่วงหน้าดีขึ้น เราก็พบว่าโมเดลฉลาดขึ้นมากเช่นกัน แม้จะไม่ได้ใช้กระบวนการให้เหตุผลที่ถ่ายทอดออกมาเป็นภาษาเลยก็ตาม

ความท้าทายเหล่านี้ใช่ว่าจะไม่มีทางแก้ ผมหวังว่าเราจะหาวิธีทำให้การให้เหตุผลแบบเป็นลำดับขั้นของโมเดลยังคงตรวจสอบได้ดีขึ้น เช่น ทำความเข้าใจให้มากขึ้นว่าเป้าหมายต่างๆ ที่ใช้ในการปรับโมเดลส่งผลต่อกันอย่างไร และสัมพันธ์อย่างไรกับทรัพยากรประมวลผลรูปแบบต่างๆ ที่โมเดลใช้ขณะตอบคำถาม นอกจากนี้ ผมยังเชื่อว่าการนำแนวคิดจากการติดตาม CoT มาผสานเข้ากับการติดตามการทำงานภายในโครงข่ายน่าจะมีประโยชน์อย่างมาก โดยเฉพาะการฝึกตัวตรวจสอบในขนาดที่ใหญ่ขึ้นและเปิดให้เข้าถึงการทำงานภายในโครงข่ายได้โดยตรง เช่น การเปิดเผยกระบวนการภายใน⁠(เปิดในหน้าต่างใหม่) ขณะนี้เรากำลังศึกษาวิธีเหล่านี้อย่างจริงจัง ถึงอย่างนั้น ผมคาดว่าเมื่อ AI ก้าวหน้าขึ้นเรื่อยๆ ปัจจัยที่จำกัดความก้าวหน้าจะยิ่งกลายเป็นว่าเรามั่นใจในความสามารถในการติดตาม AI ได้มากเพียงใด

เหตุผลที่ผมมองว่าสำคัญที่สุดในการเดินหน้าฝึกโมเดลที่ฉลาดขึ้นมากอย่างรวดเร็ว คือความจำเป็นในการพัฒนาระบบป้องกันอันตรายที่อาจเกิดจาก AI อื่นๆ

ความเสี่ยงด้านหนึ่งที่มีการพูดถึงอย่างชัดเจนมาตลอดปีนี้คือความมั่นคงปลอดภัยทางไซเบอร์ เพราะโมเดลกำลังมีความสามารถในการเจาะระบบคอมพิวเตอร์และดำเนินการภายในระบบได้เหนือกว่ามนุษย์อย่างมาก ส่งผลให้ขอบเขตความเสี่ยงจาก AI กว้างขึ้นมหาศาล เอเจนต์จะสามารถเข้าถึงโครงสร้างพื้นฐานแทบทุกแห่ง ยกเว้นระบบที่มีการรักษาความปลอดภัยสูงที่สุด และส่งผลกระทบโดยตรงต่อโลกในวงกว้างได้แม้ไม่มีร่างกายจริง ขณะนี้เรามีช่วงเวลาอันจำกัด⁠ ที่จะนำโมเดลที่ดีที่สุดเท่าที่มีอยู่มาใช้เพื่อยกระดับความปลอดภัยของระบบสำคัญให้รัดกุมขึ้นอย่างมาก⁠

น่าเสียดายที่จากนี้ไป ความเสี่ยงจาก AI จะยิ่งเพิ่มขึ้น ภัยรูปแบบใหม่จะเกิดขึ้นเมื่อเอเจนต์ที่มีความสามารถสูงได้รับการฝึกและสั่งให้ทำสิ่งที่มุ่งร้ายโดยตรง เพราะเอเจนต์อาจทำเกินกว่าที่ผู้ควบคุมตั้งใจไว้ และนำสิ่งที่เรียนรู้ไปใช้ในลักษณะที่เป็นอันตรายร้ายแรงยิ่งขึ้น เมื่อ AI สามารถตัดสินใจและลงมือทำได้ด้วยตัวเองมากขึ้น เส้นแบ่งระหว่างการนำ AI ไปใช้ในทางที่ผิดกับการที่ AI ลงมือทำสิ่งที่ไม่สอดคล้องกับเป้าหมายของมนุษย์ด้วยตัวเองก็จะยิ่งเลือนรางลง เราอาจคุ้นเคยกับการมอง AI ว่าเป็นเครื่องมือ แต่เอเจนต์บางตัวจะมุ่งทำตามเป้าหมายของตัวเอง และจะหาทางร่วมมือกับผู้คน ไม่ว่าจะด้วยการต่อรอง หลอกลวง หรือข่มขู่

นอกจากนี้ ยังมีความเสี่ยงจากเทคโนโลยีใหม่ๆ ที่ AI อาจทำให้พัฒนาขึ้นได้ เช่น เชื้อก่อโรคที่ผ่านการดัดแปลง

การรับมือกับความเสี่ยงเหล่านี้จำเป็นต้องอาศัย AI ที่มีความสามารถสูงและได้รับการกำกับให้เป็นไปตามเป้าหมาย เพื่อช่วยปกป้องโครงสร้างพื้นฐาน รับมือกับเอเจนต์ที่ไม่อยู่ภายใต้การควบคุมได้แบบเรียลไทม์ และพัฒนาวิธีป้องกันรูปแบบใหม่ขึ้นมา โดย OpenAI จะให้ความสำคัญกับเรื่องนี้เป็นลำดับต้นๆ ในการนำ AI ไปใช้งาน

ในขณะเดียวกัน ความไม่แน่นอนจากความก้าวหน้าของ AI ที่คาดว่าจะเกิดขึ้นในวงกว้าง ตลอดจนความจำเป็นในการสร้างระบบป้องกัน ไม่ควรกลายเป็นข้ออ้างให้เราดำเนินการอย่างประมาท เพราะเมื่อเข้าใจอย่างถ่องแท้แล้วว่าสิ่งที่เรากำลังเผชิญนั้นร้ายแรงเพียงใด แนวคิดที่จะเร่งเดินหน้าต่อไปโดยไม่สนว่าจะต้องแลกด้วยอะไรก็ดูไร้เหตุผลอย่างยิ่ง

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(เปิดในหน้าต่างใหม่), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(เปิดในหน้าต่างใหม่), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(เปิดในหน้าต่างใหม่) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.