เร่งงานวิจัยให้ก้าวไกลขึ้น: มุมมองจากภายใน OpenAI

เพื่อให้ AGI เป็นประโยชน์ต่อมวลมนุษยชาติ เราเชื่อว่าจะต้องมีการกำกับดูแลตามหลักประชาธิปไตย สิ่งนี้จะเกิดขึ้นได้ก็ต่อเมื่อมีการอภิปรายสาธารณะที่ตั้งอยู่บนข้อมูลรอบด้านเกี่ยวกับขีดความสามารถ ความเสี่ยง และมาตรการป้องกันของระบบ AI ที่มีขีดความสามารถสูง ผู้คนทั่วโลกจำเป็นต้องเข้าใจทิศทางที่ AI ระดับแนวหน้ามีแนวโน้มจะพัฒนาไปในอนาคต เพื่อให้พวกเขามีสิทธิ์มีเสียงอย่างมีความหมายต่อการพัฒนาของ AI

การเปิดเผยข้อมูลอย่างโปร่งใสเกี่ยวกับความเสี่ยง เหตุการณ์ และมาตรการป้องกันในแต่ละกรณีเป็นสิ่งจำเป็น แต่ยังไม่เพียงพอ เราเชื่อว่าสาธารณชนยังต้องเข้าใจด้วยว่าระบบที่มีขีดความสามารถสูงที่สุดกำลังพัฒนาไปอย่างไร และระบบเหล่านั้นกำลังขับเคลื่อนความก้าวหน้าด้านการวิจัยภายในห้องปฏิบัติการระดับแนวหน้าอย่างไร

เป้าหมายของเราคือการสร้างนักวิจัย AI อัตโนมัติอย่างปลอดภัย ซึ่งสามารถทำงานภายใต้การกำกับดูแลของมนุษย์ เพื่อผลักดันงานด้านการเรียนรู้เชิงลึกและการปรับ AI ให้สอดคล้องกับเป้าหมายให้ก้าวหน้ายิ่งขึ้น พร้อมเปิดทางให้พัฒนาต่อยอดได้อย่างต่อเนื่อง จากการวัดของเรา ขณะนี้เราบรรลุเป้าหมายที่ประกาศไว้⁠(เปิดในหน้าต่างใหม่)เมื่อฤดูใบไม้ร่วงปีที่แล้ว คือการมีผู้ช่วยวิจัยอัตโนมัติให้ได้ภายในเดือนกันยายนปีนี้ คำว่า “ผู้ช่วยนักวิจัย” ในที่นี้หมายถึงระบบที่สามารถทำงานวิจัยซึ่งมีขอบเขตชัดเจนภายใต้การกำกับของมนุษย์ รวมถึงงานที่นักวิจัยผู้เชี่ยวชาญต้องใช้เวลาหลายวันจึงจะทำเสร็จ การพัฒนานักวิจัย AI อัตโนมัติเพื่อให้บรรลุเป้าหมายภายในเดือนมีนาคม 2571 กำลังคืบหน้าไปอย่างมาก

ตลอดปีนี้ รูปแบบการทำงานในแต่ละวันของนักวิจัย OpenAI เปลี่ยนแปลงไปอย่างมาก นักวิจัยใช้เอเจนต์ช่วยเขียนโค้ดตลอดทั้งวัน โดยมักเปิดใช้งานหลายเซสชันพร้อมกัน และปริมาณการใช้งานโดยรวมกำลังเพิ่มขึ้นอย่างรวดเร็ว แซงหน้าอัตราการเติบโตของการใช้งานในทีมอื่นๆ ของ OpenAI นักวิจัยพัฒนาและส่งโค้ดได้เร็วขึ้น พร้อมทั้งทำการทดลองได้มากขึ้น รูปแบบการใช้เอเจนต์ของนักวิจัยก็เปลี่ยนแปลงไปด้วย เอเจนต์กำลังรับผิดชอบงานที่ซับซ้อนมากขึ้น และทำงานเหล่านั้นสำเร็จได้บ่อยขึ้น การวิจัย AI เป็นกระบวนการที่ซับซ้อนและอาจติดขัดได้ในหลายจุด ดังนั้น ความเร็วของความก้าวหน้าโดยรวมจึงไม่น่าจะเพิ่มขึ้นตามตัวชี้วัดเหล่านี้ในอัตราเดียวกัน แต่โดยรวมแล้ว ผลที่พบเหล่านี้สอดคล้องกับมุมมองที่พวกเราหลายคนภายใน OpenAI มีร่วมกันว่า เครื่องมือแบบเอเจนต์กำลังช่วยเร่งความก้าวหน้าของงานวิจัยได้อย่างมีนัยสำคัญ มนุษย์ยังเป็นผู้กำหนดว่างานวิจัยใดควรได้รับความสำคัญ ตัดสินว่าแนวคิดและผลลัพธ์ใดควรเดินหน้าต่อ และเลือกว่าจะขยายการดำเนินงาน หยุดระบบชั่วคราว หรือนำระบบไปใช้งานจริง

เราเชื่อว่า หากพัฒนาการวิจัย AI แบบอัตโนมัติอย่างมีความรับผิดชอบ จะนำไปสู่โมเดลที่สร้างประโยชน์ต่อความเป็นอยู่ของมนุษย์โดยตรง และช่วยให้ OpenAI เดินหน้าตามพันธกิจ การวิจัยนี้สามารถช่วยลดต้นทุนของความสามารถขั้นสูงของ AI เพื่อให้ผู้คนทั่วโลกเข้าถึงและได้รับประโยชน์จากความสามารถเหล่านี้ เหตุผลส่วนหนึ่งที่เราเดินหน้างานนี้ เพราะการวิจัยแบบอัตโนมัติอาจช่วยให้เราแก้โจทย์ด้านการปรับ AI ให้สอดคล้องกับเป้าหมาย และพัฒนากลไกป้องกันเพื่อรับมือกับ AI ที่มีความสามารถสูงขึ้นเรื่อยๆ นักวิจัย AI อัตโนมัติสามารถทำหน้าที่เป็นนักวิจัยด้านความปลอดภัยหรือด้านการปรับ AI ให้สอดคล้องกับเป้าหมายได้เช่นกัน ระบบที่มีความสามารถสูงขึ้นและสอดคล้องกับเป้าหมายมากขึ้น อาจช่วยปกป้องโครงสร้างพื้นฐานที่สำคัญ รับมือกับเอเจนต์ AI ที่เป็นอันตราย และพัฒนามาตรการป้องกันรูปแบบใหม่

เหตุผลเหล่านี้สนับสนุนให้เราพัฒนาความสามารถด้านการวิจัยอัตโนมัติที่เป็นประโยชน์ แต่ไม่ได้หมายความว่าเราควรมุ่งให้เกิด RSI อย่างรวดเร็วเสมอไป เราจะเดินหน้าต่อหรือไม่และจะเดินหน้าอย่างไร ต้องขึ้นอยู่กับว่าเราสามารถรักษาการควบคุมของมนุษย์ไว้ได้เพียงใด รวมถึงการตัดสินใจตามกระบวนการประชาธิปไตยที่ตั้งอยู่บนข้อมูลรอบด้านเกี่ยวกับประโยชน์และความเสี่ยง

เรายังไม่รู้ว่าจะพัฒนาไปจนถึง RSI เต็มรูปแบบที่สอดคล้องกับเป้าหมาย โดยยังคงรักษาความปลอดภัยไว้ได้อย่างไร เรากำลังพัฒนามาตรการด้านการปรับ AI ให้สอดคล้องกับเป้าหมายและด้านความปลอดภัยให้ก้าวทันขีดความสามารถของ AI ที่เพิ่มขึ้น แต่เราไม่สามารถคาดหวังได้ว่าการพัฒนาด้านการปรับ AI ให้สอดคล้องกับเป้าหมายและความปลอดภัยจะตามทันความสามารถของ AI เสมอไป อีกทั้งระบบที่มีความสามารถสูงขึ้นก็อาจตรวจสอบได้ยากขึ้น หัวใจสำคัญของความพยายามนี้คือการทำงานด้านการปรับ AI ให้สอดคล้องกับเป้าหมายและความปลอดภัยอย่างรอบคอบ โดยเริ่มจากการวัดและลดปัญหาด้านความปลอดภัยที่เราพบในระบบเขียนโค้ดแบบเอเจนต์ในปัจจุบัน หากเราพบว่าการเดินหน้าต่ออาจนำมาซึ่งความเสี่ยงด้านความปลอดภัยที่ไม่อาจยอมรับได้ เราจะรับมืออย่างเหมาะสม รวมถึงชะลอหรือหยุดการพัฒนาและการนำระบบไปใช้งาน เมื่อเราไม่สามารถป้องกันความเสี่ยงของระบบนั้นได้อย่างเพียงพอ

หลังเหตุการณ์ Hugging Face เมื่อไม่นานมานี้ เราได้นำคำมั่นนี้มาปฏิบัติจริง⁠ โดยหยุดการฝึกด้วยการเรียนรู้แบบเสริมกำลัง (RL) สำหรับโมเดลรุ่นล่าสุดที่เตรียมนำไปใช้งานไว้ชั่วคราว ระหว่างที่เราเสริมความมั่นคงปลอดภัยและทดสอบเจาะระบบสภาพแวดล้อมการวิจัยให้เข้มข้นยิ่งขึ้น พร้อมขยายขอบเขตการทำงานของระบบติดตามตรวจสอบ อย่างไรก็ตาม เราไม่ได้หยุดงานวิจัยทั้งหมด โดยงานบางส่วนกลับมาดำเนินการต่อภายใต้มาตรการควบคุมที่เข้มงวดขึ้น ขณะที่งานส่วนอื่นยังคงหยุดไว้ชั่วคราว เราได้ยกระดับมาตรฐานด้านความปลอดภัยและการปรับ AI ให้สอดคล้องกับเป้าหมาย พร้อมผสานงานด้านความปลอดภัยเข้าไปในทุกขั้นตอนของวงจรการพัฒนาโมเดลมากขึ้น โดยกำหนดให้มีหลักฐานที่ชัดเจนยิ่งขึ้นว่าโมเดลมีพฤติกรรมที่สอดคล้องกับเป้าหมายตลอดกระบวนการฝึก

วันนี้ เราจะนำเสนอภาพรวมโดยละเอียดว่าในช่วงไม่กี่เดือนที่ผ่านมา ระบบแบบเอเจนต์มีส่วนช่วยให้เราก้าวไปสู่ RSI อย่างไร ระบบแบบเอเจนต์ยังเป็นเทคโนโลยีใหม่และกำลังเปลี่ยนแปลงอย่างรวดเร็ว ส่วนการวัดผลของเราก็ยังอยู่ในระยะเริ่มต้น เราเผยแพร่ผลลัพธ์เบื้องต้นและวิธีการที่ใช้ เพื่อให้สาธารณชนมีข้อมูลประกอบ ส่งเสริมให้การเปิดเผยข้อมูลต่อสาธารณะเป็นบรรทัดฐาน และช่วยผลักดันวงการไปสู่มาตรฐานการวัดผลร่วมกัน

ท้ายที่สุด ดังที่เราเขียนไว้ในกรอบนโยบายสำหรับ AI ระดับแนวหน้า⁠ เราเชื่อว่าทั้ง OpenAI และบริษัทอื่นๆ ควรต้องเปิดเผยและติดตามความคืบหน้าในการมุ่งสู่ RSI ต่อสาธารณะ แม้จะยังไม่มีข้อกำหนดดังกล่าว เราก็วางแผนที่จะเปิดเผยความคืบหน้าในการมุ่งสู่ RSI อย่างโปร่งใสต่อไป เราจะปรับแนวทางการเปิดเผยข้อมูลอย่างโปร่งใสต่อไป เมื่อเทคนิคการวัดผลและความเข้าใจของเราพัฒนาขึ้น โดยคำนึงถึงความจำเป็นในการรักษาความปลอดภัยและปกป้องข้อมูลที่เป็นกรรมสิทธิ์ควบคู่กันไป

ช่วงต้นปีนี้ เมื่อจัดอันดับนักวิจัย OpenAI ตามปริมาณการใช้เอเจนต์ นักวิจัยที่อยู่กึ่งกลางของการจัดอันดับยังใช้เอเจนต์ช่วยเขียนโค้ดค่อนข้างน้อย ภายในช่วงกลางเดือนสิงหาคม นักวิจัยที่มีปริมาณการใช้เอเจนต์อยู่ในระดับมัธยฐานได้นำเอเจนต์มาใช้เป็นส่วนหนึ่งของการทำงานทุกวัน โดยใช้การอนุมานคิดเป็นมูลค่ามากกว่า 600 ดอลลาร์สหรัฐต่อวันตามราคา API ปัจจุบัน ผู้ใช้ในกลุ่มเปอร์เซ็นไทล์ที่ 90 ของฝ่ายวิจัยมีการใช้โทเค็นมูลค่ามากกว่า 7,000 ดอลลาร์สหรัฐต่อวัน

ก่อนเดือนมิถุนายน 2569 ระยะเวลาการทำงานรวมของเอเจนต์ทั่วทั้งฝ่ายวิจัยยังต่ำกว่าระยะเวลาการทำงานรวมของมนุษย์ แต่ตอนนี้ไม่เป็นเช่นนั้นแล้ว เมื่อเทียบตามวันทำงานมาตรฐาน 8 ชั่วโมง ณ ช่วงกลางเดือนสิงหาคม ฝ่ายวิจัยใช้แรงงานจากเอเจนต์รวมเทียบเท่า 3.1 วันทำงาน ต่อทุก 1 วันทำงานของมนุษย์

อีกมุมหนึ่งคือดูว่ามีนักวิจัยมากน้อยเพียงใดที่ใช้เวิร์กโฟลว์แบบทำงานพร้อมกันหลายงาน เช่น รันเอเจนต์ตั้งแต่ 4 ตัวขึ้นไปพร้อมกัน ดังที่เห็นจากข้อมูลด้านล่าง นักวิจัยที่ใช้เอเจนต์หลายตัวพร้อมกันมีจำนวนเพิ่มขึ้น ตัวเลขเหล่านี้นับจำนวนเอเจนต์สูงสุดในแต่ละวัน โดยรวมทั้งเอเจนต์ที่ผู้ใช้เปิดใช้งานเองโดยตรง และเอเจนต์ย่อยที่ถูกสร้างต่อจากเอเจนต์เหล่านั้น

งานวิจัย AI ส่วนใหญ่สามารถมองได้ว่าเป็นกระบวนการที่ต้องใช้แรงและเวลาของนักวิจัยอย่างมาก โดยมีเป้าหมายเพื่อนำการปรับปรุงใหม่ๆ ที่ช่วยเพิ่มความสามารถหรือประสิทธิภาพของโมเดลไปผสานเข้ากับโมเดลหลักของเรา กระบวนการนี้ประกอบด้วยหลายขั้นตอน และขีดความสามารถของโมเดลจะก้าวหน้าขึ้นได้เมื่อทุกขั้นตอนดำเนินไปอย่างราบรื่น นักวิจัยต้องคิดค้นแนวทางใหม่ ๆ เขียนชุดประเมินเพื่อวัดประสิทธิภาพของโมเดล พัฒนาโครงสร้างพื้นฐานเพื่อทดสอบแนวทางเหล่านี้ในวงกว้าง ตรวจหาทั้งข้อผิดพลาดและพฤติกรรมที่ไม่ปลอดภัยหรือไม่สอดคล้องกับเป้าหมายระหว่างการฝึก และนำแนวคิดที่ให้ผลดีที่สุดไปใช้ในการฝึกโมเดลหลัก หากส่วนใดส่วนหนึ่งของกระบวนการวิจัยล้มเหลว ก็อาจทำให้วงจรการวิจัยทั้งหมดติดขัด

นักวิจัยใช้เวลาส่วนสำคัญไปกับการเขียนโค้ดและทำการทดลอง และเราพบหลักฐานว่ากระบวนการทั้งสองกำลังรวดเร็วขึ้น

จุดข้อมูลเหล่านี้วัดได้ค่อนข้างง่าย แต่อาจตีความได้ยาก เมื่อระบบอัตโนมัติก้าวหน้าขึ้น งานที่ทำให้เป็นอัตโนมัติได้ยากที่สุดจะกินสัดส่วนเวลาและแรงของนักวิจัยมากขึ้น และกลายเป็นคอขวดสำคัญที่จำกัดความก้าวหน้าในอนาคต ทรัพยากรประมวลผลเป็นอีกปัจจัยหนึ่งที่กำหนดว่าความก้าวหน้าจะเดินหน้าได้มากเพียงใด และอาจมีความสำคัญมากขึ้นเรื่อยๆ เมื่อคอขวดด้านอื่นลดลง

ตลอดปี 2569 จนถึงปัจจุบัน จำนวนนับการทดลองต่อนักวิจัยที่ทำการทดลองเพิ่มขึ้น โดยเดือนสิงหาคม 2569 ทำสถิติสูงสุดนับตั้งแต่เริ่มเก็บข้อมูลในเดือนมกราคม 2568 แนวโน้มนี้มีความสัมพันธ์กับการใช้งาน Codex ที่เพิ่มขึ้น แต่เราตั้งข้อสังเกตว่าทรัพยากรประมวลผลที่เรามีก็เพิ่มขึ้นอย่างมากเช่นกันนับตั้งแต่ 2568

ข้อมูลภายในและข้อสังเกตเชิงคุณภาพต่างชี้ไปในทิศทางเดียวกันว่า นักวิจัยกำลังเปลี่ยนประเภทของงานที่มอบหมายให้เอเจนต์ช่วยเขียนโค้ด และหันมามอบหมายงานที่ซับซ้อนขึ้นและต้องใช้เวลาทำงานนานขึ้นบ่อยกว่าเดิม

เพื่อให้เห็นภาพแนวโน้มนี้ได้ชัดเจนยิ่งขึ้น เราได้วิเคราะห์การใช้งานในช่วงที่ผ่านมาในองค์กรวิจัย โดยใช้ กรอบการจำแนกที่เผยแพร่เมื่อไม่นานมานี้⁠(เปิดในหน้าต่างใหม่) เกี่ยวกับประเภทงานต่างๆ ที่เป็นส่วนหนึ่งของวงจรชีวิตการวิจัยและพัฒนา (R&D) ด้าน AI ซึ่งพัฒนาโดย Epoch AI กรอบการจำแนกนี้ได้รับแนวคิดมาจากระบบ O*NET ซึ่งใช้จำแนกงานหลากหลายประเภทมาอย่างยาวนาน และปรับให้เหมาะกับงานวิจัยและพัฒนา AI แนวหน้าโดยเฉพาะ โดยแบ่งกระบวนการออกเป็น 6 ขั้นตอนหลัก ได้แก่

1. ตัดสินใจ: จะทำอะไรต่อ จะเดินหน้ากับอะไร และจะจัดสรรทรัพยากรไปที่ใด

2. ออกแบบ: แนวคิดสำหรับงานวิจัยและข้อกำหนดด้านวิศวกรรม

3. สร้าง: โค้ดและชุดข้อมูล

4. ดำเนินการ: รันการฝึกและการประเมิน จัดการฮาร์ดแวร์ และให้บริการโมเดล

5. วิเคราะห์: การทดลอง โมเดล การนำไปใช้งาน และงานจากภายนอก

6. สื่อสาร: ผลการวิจัย ข้อเสนอแนะ สถานะ และการตัดสินใจ

ด้านล่างนี้ เราจัดประเภทโทเค็นของเอเจนต์เขียนโค้ดตามกรอบการจำแนกนี้

เราพบว่ากิจกรรมการวิจัยทุกหมวดเพิ่มขึ้นในช่วงเดือนมกราคมถึงสิงหาคม 2569 ในเดือนมกราคม หมวดหมู่ที่โดดเด่นที่สุดคือโค้ดด้านการวิจัยและโครงสร้างพื้นฐาน หมวดหมู่นี้มีการขยายตัว แต่เรายังพบว่าหมวดหมู่อื่นๆ เพิ่มขึ้นอย่างเห็นได้ชัดด้วย โดยเฉพาะความช่วยเหลือด้านเทคนิคและการรันการติดตามตรวจสอบ การวางแผนระดับสูงยังคงคิดเป็นสัดส่วนเพียงเล็กน้อยของโทเค็นที่เอเจนต์สร้างขึ้น

เพื่อนร่วมงานหลายคนเล่าจากประสบการณ์ว่า เอเจนต์ช่วยเขียนโค้ดมีความสามารถโดดเด่นในการวิเคราะห์และแก้ไขปัญหาโครงสร้างพื้นฐานสำหรับงานวิจัยภายใน ซึ่งช่วยลดคอขวดสำคัญประการหนึ่งที่ขัดขวางความก้าวหน้าของงานวิจัย หลายทีมที่เคยเปิดช่วงเวลาให้คำปรึกษาเพื่อช่วยนักวิจัยแก้ปัญหาในการทดลองพบว่า ในปี 2569 มีผู้เข้ามาขอความช่วยเหลือน้อยลง และหนึ่งในทีมเหล่านี้ได้ยกเลิกช่วงให้คำปรึกษาไปทั้งหมด เพื่อหันไปมุ่งพัฒนาระบบด้านอื่นแทน

ด้านล่างนี้ เราแสดงจำนวนโพสต์ใหม่ต่อวันในหนึ่งในช่องทางหลักภายในองค์กรที่นักวิจัยใช้ขอความช่วยเหลือด้านเทคนิคจากทีมอื่น เท่าที่เราทราบ กิจกรรมในช่องทางนี้ที่ลดลงไม่ได้เกิดจากการที่นักวิจัยย้ายไปสอบถามในช่องทางช่วยเหลือด้านเทคนิคอื่นที่มีมนุษย์เป็นผู้ให้ความช่วยเหลือแทน ปริมาณการใช้งานที่ลดลงเป็นไปในทิศทางเดียวกับการเปลี่ยนแปลงในภาพรวมนี้

เรายังสามารถศึกษาว่าเอเจนต์ช่วยเขียนโค้ดทำงานที่นักวิจัยมอบหมายได้สำเร็จหรือไม่ เราใช้เอเจนต์ช่วยจำแนกข้อมูลและพบว่า ตั้งแต่เดือนมกราคมถึงกรกฎาคม อัตราความสำเร็จโดยทั่วไปเพิ่มขึ้นในงานหลายระดับความยาก โดยประเมินความยากจากเวลาที่คาดว่ามนุษย์ต้องใช้ทำงานให้เสร็จ และวิเคราะห์เฉพาะงานที่เราสามารถระบุผลลัพธ์จริงเพื่อใช้เป็นเกณฑ์อ้างอิงได้ อย่างไรก็ตาม การที่เอเจนต์จะทำงานได้สำเร็จยังต้องอาศัยการกำกับและชี้นำจากมนุษย์อยู่มาก โดยเฉพาะเมื่อความซับซ้อนของงานเพิ่มขึ้น ในช่วง 6 เดือนที่ผ่านมา งานที่ใช้เวลา 4–8 ชั่วโมงและทำสำเร็จมากกว่าครึ่งหนึ่งต้องมีการแทรกแซงจากมนุษย์อย่างน้อย 1 ครั้ง

การเดินหน้าพัฒนาระบบที่มีความสามารถสูงขึ้นเพื่อมุ่งสู่ AGI ที่ปลอดภัยและเป็นประโยชน์ ยังขึ้นอยู่กับมาตรการป้องกันที่จำเป็นสำหรับการพัฒนาดังกล่าวด้วย การประเมินของเราเกี่ยวกับมาตรการป้องกันที่จำเป็นอาจเปลี่ยนแปลงไปเมื่อเราได้เรียนรู้เพิ่มเติมเกี่ยวกับความเสี่ยง

ดังที่เราได้อธิบายไว้⁠ เมื่อไม่นานมานี้ เราได้ปรับปรุงมาตรฐานด้านการติดตามตรวจสอบ การปรับแนวทางให้สอดคล้อง และการรักษาความปลอดภัย ในส่วนนี้ เราจะแสดงให้เห็นว่าข้อจำกัดที่เพิ่งนำมาใช้ส่งผลต่อกิจกรรมการวิจัยด้านหนึ่งอย่างไร

เมื่อวันที่ 20 กรกฎาคม หลังจากพบว่าเอเจนต์เจาะระบบโครงสร้างพื้นฐานสำหรับงานวิจัยของเราได้ เราจึงปิดบริการคอนเทนเนอร์ที่ใช้ในการฝึกโมเดลเป็นการชั่วคราว ก่อนจะเปิดให้บริการอีกครั้งพร้อมเพิ่มข้อจำกัดที่เข้มงวดขึ้นอย่างมาก

เหตุการณ์นี้ทำให้ทรัพยากรประมวลผลสำหรับการฝึก RL ลดลงอย่างมาก ระหว่างที่ทีมต่าง ๆ ปรับเวิร์กโฟลว์ให้รองรับสภาพแวดล้อมการวิจัยที่เสริมมาตรการรักษาความปลอดภัยให้เข้มงวดยิ่งขึ้น แผนภาพด้านบนรวมช่วงหยุดการเรียนรู้แบบเสริมกำลังเป็นเวลา 2 สัปดาห์สำหรับโมเดลล่าสุดที่เตรียมนำไปใช้งาน ช่วงวันที่ 20 กรกฎาคมถึง 6 สิงหาคม ทรัพยากร GPU ส่วนใหญ่สำหรับการทดลอง RL ระดับ Astra ใช้ไปกับการทดสอบมาตรการด้านความปลอดภัยและการรักษาความปลอดภัยที่ปรับปรุงใหม่

เมื่อวันที่ 7 สิงหาคม เราพบหลักฐานเบื้องต้นว่า Astra อาจมีความสามารถด้านไซเบอร์ในระดับวิกฤต⁠ตามกรอบการเตรียมความพร้อม⁠(เปิดในหน้าต่างใหม่)ของเรา เราจึงเพิ่มข้อจำกัดด้านความปลอดภัยสำหรับโมเดลนี้โดยเฉพาะ และกำหนดให้รัน Astra ในสภาพแวดล้อมการวิจัยที่มีการรักษาความปลอดภัยสูงขึ้น ในสัปดาห์ต่อมา การจัดสรรทรัพยากร GPU สำหรับโมเดลระดับ Astra ลดลงอีก 59.2% แต่การจัดสรรสำหรับโมเดลระดับอื่นกลับเพิ่มขึ้น 17.2% การจัดสรรที่เพิ่มขึ้นสำหรับโมเดลระดับอื่นชดเชยส่วนที่ลดลงของโมเดลระดับ Astra ได้ราว 85% ทำให้ปริมาณทรัพยากรทั้งหมดที่จัดสรรให้กับงาน RL ในการวิเคราะห์นี้แทบไม่เปลี่ยนแปลง รูปแบบดังกล่าวบ่งชี้ว่า ในช่วงที่มีข้อจำกัดกับงานที่เกี่ยวข้องกับ Astra นักวิจัยได้ย้ายการฝึกและการทดลองบางส่วนไปยังโมเดลอื่น และยังสอดคล้องกับรายงานจากประสบการณ์ของนักวิจัยที่พบวิธีนำทรัพยากรประมวลผลซึ่งใช้กับงานที่อยู่ภายใต้ข้อจำกัดใหม่ไม่ได้แล้วไปใช้ประโยชน์กับงานอื่น

ข้อมูลนี้ให้ข้อสังเกตที่เป็นประโยชน์ต่อการหารือเรื่องการฝึกโมเดลและความปลอดภัยที่ยังดำเนินอยู่ นั่นคือ เมื่อมีการนำมาตรการควบคุมใหม่มาใช้ ทรัพยากรประมวลผลยังคงมีประโยชน์และสามารถปรับไปใช้กับงานอื่นได้ จึงมักถูกนำไปใช้กับงานวิจัยด้านอื่นแทน ในระยะยาว เมื่อหารือกันว่า AI ควรก้าวหน้าไปด้วยความเร็วเพียงใด ก็ควรพิจารณาด้วยว่าจะใช้ทรัพยากรประมวลผลที่อยู่ภายใต้มาตรการควบคุมใหม่หรือมาตรการที่กำลังเสนออย่างไรให้เกิดประโยชน์สูงสุด

การสร้างความก้าวหน้าในการมุ่งสู่ RSI ที่สอดคล้องกับเป้าหมาย และการทำความเข้าใจความก้าวหน้านั้น เป็นสิ่งสำคัญต่อพันธกิจของเรา เราจะปรับปรุงวิธีการของเราให้ดียิ่งขึ้นอย่างต่อเนื่อง เปิดเผยความเข้าใจของเราที่พัฒนาไปตามข้อมูลใหม่ๆ และส่งเสริมให้เกิดการถกเถียงสาธารณะบนพื้นฐานของข้อมูลรอบด้าน รวมถึงการกำกับดูแลระบบ AI แนวหน้าตามกระบวนการประชาธิปไตยอย่างมีความหมาย

การวิจัย AI ที่ขับเคลื่อนด้วยเอเจนต์ยังเป็นเรื่องใหม่ และเรายังอยู่ระหว่างเรียนรู้วิธีวัดผลที่เหมาะสม ตัวชี้วัดบางอย่าง เช่น ปริมาณโค้ดที่ทีมวิจัยของเราสร้างขึ้น เก็บข้อมูลได้ค่อนข้างง่าย แต่ตีความได้ยาก เพราะเรายังไม่แน่ชัดว่าตัวชี้วัดเหล่านี้สัมพันธ์กับความก้าวหน้าของงานวิจัยอย่างไร ตัวชี้วัดที่สะท้อนความก้าวหน้าของงานวิจัยได้โดยตรงมากกว่า เช่น เอเจนต์ทำงานที่นักวิจัยมอบหมายได้สำเร็จบ่อยเพียงใด อาจมีประโยชน์มากกว่า แต่การพัฒนาและตรวจสอบความน่าเชื่อถือของตัวชี้วัดเหล่านี้มีความซับซ้อน ยิ่งไปกว่านั้น เครื่องมือและระบบที่นักวิจัยใช้ในการทำงานก็กำลังเปลี่ยนแปลงอย่างรวดเร็ว ทำให้การวัดผลยิ่งยากขึ้น การทำความเข้าใจให้ลึกซึ้งยิ่งขึ้นว่า AI ช่วยเร่งความก้าวหน้าของงานวิจัยได้อย่างไร เป็นหนึ่งในเรื่องสำคัญที่ OpenAI ให้ความสนใจอย่างมาก

ในการวิเคราะห์ทั้งหมด เราใช้แนวทางต่อไปนี้ เว้นแต่จะระบุไว้ต่างหาก:

• คำว่า “นักวิจัย” ในที่นี้ใช้ในความหมายกว้าง โดยหมายถึงบุคลากรทุกคนในฝ่ายวิจัยของเรา รวมถึงผู้ที่พัฒนาโครงสร้างพื้นฐานสำหรับงานวิจัย บริหารโครงการวิจัย หรือสนับสนุนงานวิจัยในด้านอื่นๆ

• ข้อมูลที่ใช้วัดการใช้งานเอเจนต์ช่วยเขียนโค้ดครอบคลุมการใช้งานเกือบทั้งหมด แต่ยังมีบางส่วนที่ไม่ครอบคลุม เพราะเครื่องมือและระบบที่นักวิจัยใช้พัฒนาเปลี่ยนแปลงอย่างรวดเร็ว