ตลอดหลายสัปดาห์ที่ผ่านมา เหตุการณ์สำคัญสองประการได้ตอกย้ำความเสี่ยงที่เพิ่มขึ้นตามขีดความสามารถของระบบ AI ได้แก่ เหตุการณ์ OpenAI-Hugging Face และหลักฐานเบื้องต้นที่พบแยกกันว่า Astra หนึ่งในโมเดลรุ่นใหม่ของเรา อาจมีขีดความสามารถถึงเกณฑ์ระดับวิกฤตด้านความมั่นคงปลอดภัยทางไซเบอร์ตามกรอบการเตรียมความพร้อมของเรา ความคืบหน้าทั้งสองประการนี้ ประกอบกับงานวิจัยภายในที่ก้าวหน้าอย่างรวดเร็ว ทำให้เราต้องเร่งยกระดับมาตรการด้านการติดตามตรวจสอบ การปรับให้สอดคล้อง และการควบคุมให้อยู่ในขอบเขตตลอดทุกขั้นตอนของกระบวนการฝึก
เมื่อโมเดลมีขีดความสามารถสูงขึ้น ความเสี่ยงจากการพัฒนาและทดสอบโมเดลภายในองค์กรก็เพิ่มขึ้นตามไปด้วย มาตรฐานด้านการติดตามตรวจสอบ การปรับให้สอดคล้อง และความปลอดภัยของเราต้องก้าวนำความเสี่ยงเหล่านั้น เราจึงใช้เวลาเท่าที่จำเป็นเพื่อให้เป็นไปตามมาตรฐานดังกล่าว และชะลอการขยายขนาดการฝึกเป็นการชั่วคราว ซึ่งรวมถึงการหยุดฝึกโมเดลรุ่นล่าสุดที่เตรียมนำไปใช้งานด้วยการเรียนรู้แบบเสริมกำลัง (RL) เป็นเวลาสองสัปดาห์ ระหว่างที่เราเสริมความมั่นคงปลอดภัยและทดสอบสภาพแวดล้อมการวิจัยด้วยการจำลองการโจมตี ตลอดจนขยายขอบเขตการทำงานของระบบติดตามตรวจสอบ รอบการฝึก RL สำหรับโมเดลระดับแนวหน้าครั้งใหญ่ที่สุดที่วางแผนไว้ยังคงระงับอยู่ ขณะที่เราฝึกและประเมินโมเดลในขนาดเล็กลงเพื่อศึกษาพฤติกรรม ตรวจสอบว่ามาตรการป้องกันทำงานได้ผล และรวบรวมหลักฐานเพิ่มเติมว่าโมเดลมีพฤติกรรมสอดคล้องกับเป้าหมายก่อนดำเนินการต่อ
การปรับให้สอดคล้อง คือการทำให้ระบบ AI มีพฤติกรรมตามที่ตั้งใจและอยู่ภายใต้การกำกับดูแลของมนุษย์อย่างมีประสิทธิภาพ ซึ่งเป็นหัวใจสำคัญของโครงการวิจัยเรามาโดยตลอด ปัจจุบันเราต้องการหลักฐานที่หนักแน่นยิ่งขึ้นว่าโมเดลมีพฤติกรรมสอดคล้องกับเป้าหมายตลอดทุกขั้นตอนของการฝึก โดยต่อยอดจากงานวิจัยและการประเมินที่ดำเนินอยู่ การดูแลให้ระบบที่มีขีดความสามารถสูงขึ้นเรื่อยๆ ยังคงสอดคล้องกับเป้าหมายเป็นความท้าทายที่ทุกฝ่ายในวงการต้องร่วมกันรับมือ สัญญาณที่เราเห็นจากความก้าวหน้าของโมเดลรุ่นใหม่แสดงให้เห็นชัดเจนว่าเราต้องใช้แนวทางที่ครอบคลุมยิ่งขึ้น ซึ่งต่อยอดจากและก้าวไปไกลกว่ากรอบการเตรียมความพร้อมฉบับปัจจุบัน
เราเชื่อว่าควรสื่อสารอย่างโปร่งใสว่าแนวทางของเรากำลังเปลี่ยนไปอย่างไร ด้านล่างนี้ เราจะอธิบายการเปลี่ยนแปลงที่เราดำเนินการแล้วในกระบวนการและโครงสร้างพื้นฐานด้านการวิจัย รวมถึงงานที่ยังอยู่ระหว่างดำเนินการ
แนวทางการพัฒนาโมเดลให้มีขีดความสามารถสูงขึ้นของเรายึดหลักมาตรการป้องกันสามด้านที่ส่งเสริมกัน ได้แก่
- การติดตามตรวจสอบ ซึ่งช่วยให้เราตรวจจับและรับมือกับพฤติกรรมที่น่ากังวลได้
- การปรับให้สอดคล้อง เพื่อลดความเป็นไปได้ที่โมเดลจะดำเนินการที่เป็นอันตรายหรือไม่ได้รับอนุญาต
- มาตรการรักษาความปลอดภัย เพื่อจำกัดขอบเขตการเข้าถึงและผลกระทบที่ระบบ AI อาจก่อให้เกิด
เราคาดว่าในเร็วๆ นี้ โมเดลจะเป็นกำลังหลักในการทำงานด้านความปลอดภัยส่วนใหญ่ รวมถึงการป้องกันภัยจากโมเดลอื่น ซึ่งจะช่วยให้มาตรการป้องกันทั้งสามด้านขยายตามขีดความสามารถของโมเดลได้ และเราเห็นว่าสิ่งนี้สำคัญอย่างยิ่ง
เราใช้มาตรการป้องกันเหล่านี้ทั้งในการวิจัยและการนำไปใช้งาน โดยปรับให้เหมาะกับขีดความสามารถ สภาพแวดล้อมการทำงาน และระดับความเสี่ยงของแต่ละโมเดล
เมื่อโมเดลระดับแนวหน้ามีขีดความสามารถด้านความมั่นคงปลอดภัยทางไซเบอร์สูงขึ้น เราจึงยกระดับมาตรฐานความปลอดภัยของสภาพแวดล้อมที่ใช้ฝึกและประเมินโมเดลเหล่านี้ การปฏิบัติตามมาตรฐานดังกล่าวต้องอาศัยงานวิศวกรรมจำนวนมาก อีกทั้งทำให้การวิจัยโมเดลระดับแนวหน้ามีต้นทุนสูงและเกิดความล่าช้าอย่างมาก ทันทีหลังเกิดเหตุการณ์ OpenAI-Hugging Face* เราหยุดการอนุมานของโมเดลระดับแนวหน้าในคลัสเตอร์วิจัยสำหรับงานที่สามารถรันโค้ดหรือใช้เครื่องมือที่เข้าถึงอินเทอร์เน็ตได้ จากนั้นไม่นาน เราได้เปิดใช้ช่องทางรันโค้ดที่มีข้อจำกัดมากขึ้นและปลอดภัยกว่าเดิม แล้วพิจารณาภาระงานทีละรายการว่าสามารถกลับมาดำเนินการได้อย่างปลอดภัยหรือไม่ ภาระงานวิจัยบางรายการกลับมาดำเนินการภายใต้มาตรการควบคุมใหม่ ส่วนบางรายการจำเป็นต้องปรับปรุงเพิ่มเติม
ตลอดหลายสัปดาห์ต่อมา เราได้กำหนดและเริ่มใช้ข้อกำหนดด้านความปลอดภัยที่เข้มงวดยิ่งขึ้นกับภาระงานวิจัยระดับแนวหน้า ตัวอย่างเช่น
- การแยกภาระงาน: เรากำหนดให้แยกภาระงานที่รันโค้ดซึ่งโมเดลสร้างขึ้นหรือโค้ดอื่นที่ไม่น่าเชื่อถือออกจากระบบอย่างเข้มงวดยิ่งขึ้นด้วย “แซนด์บ็อกซ์” ข้อกำหนดนี้รวมถึงซอฟต์แวร์ที่อาจถูกผู้ไม่หวังดีแทรกแซงขณะประมวลผลเอาต์พุตจากโมเดล
- การแยกเครือข่าย: เราเพิ่มมาตรการควบคุมเพื่อแยกภาระงานที่มีความเสี่ยงสูงและไม่น่าเชื่อถือออกจากอินเทอร์เน็ต โดยออกแบบมาตรการเหล่านี้เพื่อให้การเจาะระบบภาระงานหรือบริการสนับสนุนเพียงจุดเดียวไม่สามารถเปิดทางให้เข้าถึงอินเทอร์เน็ตหรือเครือข่ายภายในอื่นๆ โดยไม่ได้รับอนุญาต
- การทดสอบความปลอดภัยอย่างต่อเนื่อง: เรากำหนดค่าสภาพแวดล้อมใหม่เพื่อนำบริการส่วนกลางที่อาจมีช่องโหว่ออก ลดสิทธิ์ที่เปิดใช้งานค้างไว้ และเสริมความแข็งแกร่งให้ขอบเขตด้านความปลอดภัยและความไว้วางใจ นอกจากนี้ เรายังพัฒนาความสามารถในการรวบรวมและติดตามบันทึกเหตุการณ์ด้านความปลอดภัย รวมถึงลงทุนในระบบอัตโนมัติที่ใช้โมเดลทดสอบแนวป้องกันเหล่านี้อย่างต่อเนื่องด้วยการจำลองการโจมตี
เมื่อทำงานร่วมกัน มาตรการควบคุมเหล่านี้จะสร้างการป้องกันหลายชั้นและช่วยคุ้มครองสภาพแวดล้อมการวิจัยของเราจากการโจมตี ปัจจุบัน เรากำหนดให้ใช้มาตรการป้องกันความปลอดภัยระดับเข้มงวดที่สุดกับภาระงานที่เกี่ยวข้องกับ Astra หรือโมเดลไซเบอร์ เนื่องจากเราพบว่าโมเดล Astra อาจมีขีดความสามารถด้านไซเบอร์ระดับวิกฤต มาตรการป้องกันเหล่านี้ยังใช้กับภาระงานด้านไซเบอร์อื่นๆ ทั้งหมดด้วย
แม้การฝึกและการประเมิน Astra บางส่วนจะเป็นไปตามข้อกำหนดเหล่านี้แล้ว แต่ภาระงานอีกจำนวนมากยังคงถูกระงับไว้จนกว่าจะย้ายไปยังระบบใหม่อย่างสมบูรณ์และเสริมการป้องกันให้ผ่านมาตรฐานความปลอดภัยระดับใหม่ เราให้ความสำคัญกับการย้ายภาระงานด้านความปลอดภัยและการปรับให้สอดคล้องไปยังสภาพแวดล้อมใหม่เหล่านี้ก่อน
การติดตามตรวจสอบเป็นส่วนสำคัญของกระบวนการพัฒนาโมเดลเรามาโดยตลอด รวมถึงการติดตามเอเจนต์เขียนโค้ดภายในและเซสชันที่ทำงานเป็นเวลานาน เราเน้นติดตามการนำโมเดลระดับแนวหน้าไปใช้ภายในและการฝึก RL ระดับแนวหน้าเป็นพิเศษ เนื่องจากเรามองว่าภาระงานเหล่านี้มีความเสี่ยงสูงสุด เพราะโมเดลอาจมีทั้งขีดความสามารถขั้นสูงและสิทธิ์เข้าถึงเครื่องมือ ระบบสำคัญที่มีข้อมูลอ่อนไหว ตลอดจนเครือข่ายภายในหรือภายนอก อย่างไรก็ตาม ก่อนหน้านี้เรายังไม่ได้ใช้การติดตามตรวจสอบกับการอนุมานและรอบการฝึกที่ใช้เครื่องมือทั้งหมด ขณะนี้เราได้ปรับปรุงและขยายแนวทางดังกล่าวด้วยระบบติดตามตรวจสอบแบบใหม่
ระบบติดตามตรวจสอบใหม่นี้ทำงานเป็นหลายขั้นตอน โดยเริ่มจากตัวจำแนกสัญญาณภายในโมเดล ซึ่งเป็นตัวตรวจจับที่ตรวจสอบกิจกรรมภายในของโมเดลและทำงานกับโทเค็นที่สุ่มตัวอย่างทุกโทเค็น หากพบประเด็นที่อาจน่ากังวล ระบบจะส่งต่อให้ระบบตรวจสอบอัตโนมัติที่ซับซ้อนขึ้นและใช้ทรัพยากรประมวลผลมากขึ้นตามลำดับ ระบบเหล่านี้จะตรวจสอบการทำงานของเครื่องมือ กระบวนการให้เหตุผลที่ตรวจสอบได้ และลำดับการทำงานทั้งหมด เพื่อค้นหาการเข้าถึงที่ไม่ได้รับอนุญาต การโจรกรรมข้อมูล พฤติกรรมที่ก่อให้เกิดความเสียหาย หรือความพยายามฝ่าฝืนมาตรการป้องกัน เราตั้งเป้าออกการแจ้งเตือนภายใน 30 นาทีหลังระบบติดตามตรวจสอบพบกิจกรรมที่น่ากังวล หากระบบพบว่าอาจมีการละเมิดขอบเขตความปลอดภัยที่สำคัญ ระบบจะส่งการแจ้งเตือนที่มีลำดับความสำคัญสูงสุด ในการใช้งานปัจจุบัน ทีมด้านความปลอดภัย ทีมรักษาความมั่นคงปลอดภัย และทีมวิจัยจะได้รับการแจ้งเตือนเร่งด่วน หากทีมเหล่านี้ไม่สามารถยืนยันได้อย่างแน่ชัดภายใน 30 นาทีว่าสัญญาณดังกล่าวเป็นการตรวจพบผิดพลาด ทีมจะต้องหยุดกิจกรรมนั้นไว้
การติดตามตรวจสอบนี้เป็นข้อบังคับสำหรับการฝึก RL และการประเมินทั้งหมดที่มีการใช้เครื่องมือกับโมเดลซึ่งมีขีดความสามารถระดับ Sol ขึ้นไป หลังจากเราพบเมื่อวันที่ 7 สิงหาคมว่า Astra อาจมีขีดความสามารถด้านไซเบอร์ระดับวิกฤต เราจึงกำหนดให้มีการติดตามตรวจสอบเพิ่มเติมสำหรับการอนุมานทุกครั้งของ Astra ที่ใช้เครื่องมือ ไม่ใช่เฉพาะการฝึกและการประเมิน RL
มาตรการป้องกันเหล่านี้ต้องใช้ทรัพยากรประมวลผลจำนวนมาก ปัจจุบันเราประเมินว่าการติดตามตรวจสอบต้องใช้ทรัพยากรเพิ่มเติมประมาณ 20% ของทรัพยากรที่ใช้ในการอนุมานที่ระบบกำลังติดตาม อย่างไรก็ตาม ต้นทุนดังกล่าวแตกต่างกันมากระหว่างภาระงานฝึกและประเมินแต่ละประเภท เราจะแชร์รายละเอียดเพิ่มเติมเกี่ยวกับระบบนี้ในบล็อกโพสต์ที่จะเผยแพร่เร็วๆ นี้
งานวิจัยด้านการปรับให้สอดคล้องเป็นหัวใจสำคัญของพันธกิจเรา ซึ่งมุ่งทำให้ปัญญาประดิษฐ์ทั่วไปเป็นประโยชน์ต่อมนุษยชาติทุกคน เมื่อโมเดลมีขีดความสามารถขั้นสูง เช่น สามารถโจมตีทางไซเบอร์และทำงานในสภาพแวดล้อมที่ซับซ้อนกว่าเดิม พฤติกรรมที่เบี่ยงเบนจากเป้าหมายจะยิ่งสร้างความเสี่ยงรุนแรงมากขึ้น ไม่ว่าจะเป็นการใช้ช่องโหว่เพื่อให้ได้รับรางวัลสูงระหว่างการฝึกโดยไม่ได้บรรลุผลลัพธ์ที่ตั้งใจไว้จริง การหลอกลวง หรือการเข้าถึงระบบโดยไม่ได้รับอนุญาต
ขณะนี้เราใช้เทคนิคหลักในการปรับให้สอดคล้องกับขั้นตอนต่างๆ ของกระบวนการฝึกมากขึ้น สำหรับการฝึก RL ของโมเดลที่มีขีดความสามารถสูงสุด ซึ่งรวมถึงการปรับปรุงโมเดลรางวัลให้ตรวจจับและยับยั้งพฤติกรรมที่ไม่ปลอดภัยในงานและสภาพแวดล้อมต่างๆ ได้ดีขึ้น การฝึกโมเดลให้สื่อสารอย่างซื่อตรงเกี่ยวกับสิ่งที่ทำ ขีดความสามารถ และข้อจำกัดของตน ตลอดจนการลดพฤติกรรมที่อาศัยจุดอ่อนของระบบรางวัล ระบบให้คะแนน เครื่องมือ หรือกระบวนการกำกับดูแล นอกจากนี้ เรายังขยายขอบเขตการฝึกเพื่อป้องกันพฤติกรรมที่อาจก่ออันตรายขณะโมเดลโต้ตอบกับระบบหรือทรัพยากรภายนอก
เรายังคงลงทุนอย่างจริงจังในงานวิจัยด้านการปรับให้สอดคล้อง ขยายความครอบคลุมของการประเมิน และนำสิ่งที่เรียนรู้มาใช้กำหนดแนวทางการฝึกและมาตรการป้องกัน เราวางแผนจะแชร์ข้อมูลเพิ่มเติมอีกมากเกี่ยวกับงานวิจัยด้านการปรับให้สอดคล้องในอนาคตอันใกล้ รวมถึงสิ่งที่เราเรียนรู้เกี่ยวกับพฤติกรรมของโมเดลและความท้าทายใหม่ๆ ที่ค้นพบ
เราจะพัฒนากรอบการเตรียมความพร้อมเพื่อรวมมาตรการป้องกันเหล่านี้ตลอดการฝึกและการนำไปใช้งาน ทั้งยังสะท้อนขีดความสามารถของโมเดลในอนาคตและสภาพแวดล้อมที่โมเดลทำงานได้ดียิ่งขึ้น การพัฒนาวิธีที่ขยายตามขีดความสามารถเหล่านั้นได้ จำเป็นต้องลงทุนอย่างต่อเนื่องในระบบความปลอดภัยที่อาศัยโมเดล การติดตามตรวจสอบที่มีประสิทธิภาพยิ่งขึ้น และความก้าวหน้าอย่างต่อเนื่องของงานวิจัยด้านการปรับให้สอดคล้อง เราตั้งใจให้องค์กรภายนอกมีส่วนร่วมและจะแชร์สิ่งที่เรียนรู้ให้มากขึ้นระหว่างที่พัฒนาแนวทางนี้
ขีดความสามารถของโมเดลระดับแนวหน้ากำลังเพิ่มขึ้นอย่างรวดเร็ว ความสามารถของเราในการทำความเข้าใจ ปรับให้สอดคล้อง และรักษาความปลอดภัยให้โมเดลเหล่านี้ต้องก้าวนำอยู่เสมอ
*เราจะเผยแพร่รายงานทางเทคนิคเกี่ยวกับสิ่งที่ได้เรียนรู้ภายในไม่กี่สัปดาห์ข้างหน้า
