Control Room

เมื่อโมเดลของเรามีความสามารถมากขึ้น ความเสี่ยงด้านความปลอดภัยและการรักษาความปลอดภัยที่เกี่ยวข้องก็เพิ่มสูงขึ้นตามไปด้วย การตรวจจับปัญหาที่อาจเกิดขึ้นและหยุดการทำงานของโมเดลได้อย่างรวดเร็วเมื่อจำเป็นจึงยิ่งมีความสำคัญ เราจึงพัฒนา Control Room ขึ้นมาเพื่อรับมือกับความท้าทายนี้

Control Room เป็นระบบส่วนกลางที่ใช้ติดตามงานประมวลผลโมเดลทั่วทั้งโครงสร้างพื้นฐานด้านการวิจัยของเรา และช่วยให้หยุดงานเหล่านี้ได้อย่างรวดเร็วเมื่อเกิดข้อกังวลด้านความปลอดภัยหรือการรักษาความปลอดภัย ระบบนี้เชื่อมต่อกับทุกเวิร์กโหลดที่มีการประมวลผลโมเดลเพื่องานวิจัย ไม่ว่าจะเป็นการเรียกใช้โมเดลโดยเอเจนต์เพื่อฝึกและประเมินโมเดล การประมวลผลข้อมูล และงานอื่นๆ โดยทำงานร่วมกับระบบเฝ้าระวังพฤติกรรมของโมเดลที่ไม่สอดคล้องกับเจตนาของเรา และสามารถหยุดการสร้างผลลัพธ์ของโมเดลได้ภายใน 35 วินาทีหลังจากมีการตัดสินใจเข้าแทรกแซงเพื่อหยุดหรือพักงานชั่วคราว นอกจากนี้ Control Room ยังได้รับการออกแบบให้ทำงานต่อไปได้แม้ระบบอื่นจะขัดข้อง และสามารถหยุดการสร้างผลลัพธ์ของโมเดลได้แม้ตัว Control Room เองจะหยุดทำงาน

ขณะนี้เราได้นำ Control Room มาใช้ทั่วทั้งโครงสร้างพื้นฐานด้านการวิจัยของเราแล้ว ซึ่งเป็นส่วนที่จำเป็นต้องใช้ระบบนี้มากที่สุด ส่วนโครงสร้างระบบที่ให้บริการโมเดลแก่ผู้ใช้ภายนอกนั้นมีการบริหารจัดการแบบรวมศูนย์มากกว่าอยู่แล้ว และเราก็มีกระบวนการปฏิบัติงานที่พร้อมรองรับการหยุดให้บริการโมเดลได้อย่างรวดเร็วเมื่อจำเป็น

Control Room ทำงานโดยเชื่อมโยงระบบ 3 ส่วนเข้าด้วยกัน ได้แก่ เวิร์กโหลด ระบบประมวลผลโมเดล และบริการ Control Room ส่วนกลาง

• เวิร์กโหลด หมายถึงงานที่ระบบกำลังดำเนินการ เช่น การทดลองเรียนรู้แบบเสริมกำลัง การประเมินโมเดล งานสร้างผลลัพธ์จำนวนมาก หรือการประมวลผลข้อมูล โดยเรากำหนดให้ทุกเวิร์กโหลดด้านการวิจัยที่มีการเรียกใช้โมเดลโดยเอเจนต์ต้องมีเอกสารประเมินและยืนยันความปลอดภัยที่ผ่านการอนุมัติแล้ว

• เอนจินประมวลผลโมเดล หรือเรียกสั้นๆ ว่า เอนจิน ก็คือตัวโมเดลนั่นเอง โดยอาจเปรียบเอนจินเป็นสมองของโมเดลที่ทำงานอยู่บน GPU โดยตรง ปกติแล้วเวิร์กโหลดหนึ่งงานจะใช้โมเดลอย่างน้อยหนึ่งโมเดล ซึ่งอาจทำงานอยู่บนเอนจินประมวลผลโมเดลหนึ่งตัวหรือหลายตัวก็ได้ และเอนจินตัวเดียวกันก็อาจรองรับเวิร์กโหลดหลายงานได้เช่นกัน

• บริการ Control Room ทำหน้าที่ติดตามงานและควบคุมว่าแต่ละงานจะได้รับอนุญาตให้สร้างผลลัพธ์จากโมเดลต่อไปหรือไม่ โดยเอนจินจะตรวจสอบกับบริการ Control Room ก่อนดำเนินการตามคำขอ หากงานถูกสั่งหยุดแล้ว บริการ Control Room จะปฏิเสธคำขอนั้นเพื่อไม่ให้โมเดลสร้างผลลัพธ์เพิ่มเติม

Control Room เชื่อมต่อกับระบบต่างๆ เพื่อทำงานร่วมกันดังนี้

• เมื่อเริ่มงานใหม่ โค้ดของเวิร์กโหลดจะส่งคำขอไปยัง Control Room เพื่อขอรับ job_id ใหม่

• ทุกครั้งที่เวิร์กโหลดต้องการสุ่มสร้างโทเค็นจากโมเดล โค้ดของเวิร์กโหลดจะส่งคำขอพร้อม job_id ไปยังเอนจินที่กำลังประมวลผลโมเดลนั้น จากนั้นเอนจินจะส่งคำขออนุญาตไปยัง Control Room พร้อมส่งต่อ job_id เพื่อขออนุญาตดำเนินการตามคำขอดังกล่าว

• Control Room จะตรวจสอบว่างานดังกล่าวถูกสั่งยุติแล้วหรือไม่ หากถูกสั่งยุติแล้ว ระบบจะปฏิเสธคำขอประมวลผลโมเดล จากนั้นเอนจินจะแจ้งกลับไปยังเวิร์กโหลดว่าคำขอถูกปฏิเสธ ทำให้โมเดลไม่สามารถสร้างผลลัพธ์เพิ่มเติมสำหรับงานนั้นได้

งานฝึกโมเดลด้วยการเรียนรู้แบบเสริมกำลังระดับแนวหน้าทั้งหมดของเรามีระบบเฝ้าระวังคอยตรวจสอบ โดยระบบเฝ้าระวังนี้เป็นโมเดลอีกตัวหนึ่งที่ทำหน้าที่ตรวจสอบทุกสิ่งที่โมเดลซึ่งกำลังฝึกอยู่ทำ และส่งการแจ้งเตือนหากตรวจพบปัญหา ตัวอย่างเช่น ระบบเฝ้าระวังเป็นผู้ตรวจพบเหตุการณ์ที่เกี่ยวข้องกับ DNS⁠(เปิดในหน้าต่างใหม่) ซึ่งเกิดขึ้นเมื่อไม่นานมานี้

Control Room เชื่อมต่อกับระบบเฝ้าระวังของเราดังนี้

• หากระบบเฝ้าระวังตรวจพบปัญหาที่อาจเกิดขึ้น ระบบอาจตัดสินใจหยุดงานนั้น โดยพิจารณาจากรายละเอียดและความรุนแรงของปัญหา

• ในกรณีนี้ ระบบเฝ้าระวังจะส่งข้อความไปยัง Control Room เพื่อให้หยุดงาน พร้อมส่ง job_id ไปด้วย Control Room จะบันทึกว่างานนั้นถูกยุติแล้ว

• เมื่อใดก็ตามที่งานซึ่งมี job_id ดังกล่าวส่งคำขอประมวลผลโมเดลครั้งถัดไปเพื่อสุ่มสร้างโทเค็นเพิ่มเติม ไม่ว่าจะเรียกใช้โมเดลใดหรือเอนจินใดก็ตาม คำขอนั้นจะถูกปฏิเสธ ทำให้โมเดลไม่สามารถสร้างผลลัพธ์เพิ่มเติมสำหรับงานนั้นได้

ระยะเวลาสูงสุดตั้งแต่ Control Room ได้รับคำสั่งให้หยุดงานจนถึงจุดที่งานไม่สามารถดำเนินต่อไปได้คือ 35 วินาที ความล่าช้า 35 วินาทีนี้เกิดจากระบบแคชที่ใช้ในการอนุญาตให้ประมวลผลโมเดล ซึ่งช่วยให้ระบบรองรับปริมาณการรับส่งข้อมูลตามที่กำหนดได้ ขณะนี้เรากำลังพยายามลดระยะเวลาดังกล่าวให้เหลือศูนย์ เพื่อให้สามารถหยุดงานได้ทันที

โดยปกติ นักวิจัยหรือทีมนักวิจัยจะเป็นผู้รับผิดชอบและดำเนินงานต่าง ๆ เช่น การทดลองและงานประเมินผล ด้วยเหตุนี้ โค้ดที่ใช้ในการดำเนินงานเหล่านี้จึงมีการเปลี่ยนแปลงอยู่บ่อยครั้ง และไม่เหมาะที่จะใช้เป็นส่วนหลักในการติดตั้งกลไกป้องกันที่สำคัญต่อความปลอดภัย เราจึงออกแบบระบบให้ยังคงทำงานได้อย่างมีประสิทธิภาพ แม้โค้ดที่ใช้ในการดำเนินงานจะมีข้อบกพร่องหรือทำงานผิดพลาดก็ตาม

เราใช้วิธีติดตั้งกลไกยุติการทำงานไว้ที่ชั้นประมวลผลโมเดล เพราะโค้ดของเวิร์กโหลดมีความหลากหลายและไม่ได้อยู่ภายใต้การควบคุมจากส่วนกลาง ต่างจากโค้ดสำหรับประมวลผลโมเดลที่ใช้ในงานวิจัยของ OpenAI ซึ่งมีเส้นทางการทำงานเพียงไม่กี่เส้นทาง และมีการติดตั้งใช้งานที่รวมศูนย์และเป็นรูปแบบเดียวกันมากกว่า ทำให้เราสามารถใช้ชั้นประมวลผลโมเดลเป็นจุดตรวจสอบที่ทุกคำขอต้องผ่าน และรับประกันได้ว่าการประมวลผลโมเดลทุกครั้งในงานวิจัยต้องได้รับการตรวจสอบสิทธิ์จาก Control Room เรายังมีเอเจนต์และโปรแกรมคอยตรวจสอบอย่างต่อเนื่อง เพื่อค้นหากรณีที่ผู้ใช้อาจเปิดใช้ระบบประมวลผลโมเดลนอกเหนือจากระบบที่กำหนด โดยไม่ได้ตั้งใจหรือจงใจหลีกเลี่ยงการควบคุมของ Control Room

สุดท้าย ระบบของเราได้รับการออกแบบให้ปฏิเสธคำขอทั้งหมดเมื่อเกิดข้อผิดพลาด (fail-closed) กล่าวคือ เรากำหนดค่าการเชื่อมต่อระหว่าง Control Room กับระบบประมวลผลโมเดลไว้เพื่อให้ระบบปฏิเสธคำขอประมวลผลโมเดลทั้งหมด หากบริการ Control Room หยุดทำงาน ไม่ว่าจะเกิดจากข้อผิดพลาดของระบบหรือถูกปิดใช้งานด้วยเหตุผลอื่น รวมถึงการแทรกแซงโดยผู้ไม่หวังดี โดยระบบจะปฏิเสธคำขอเหล่านี้ต่อไปจนกว่า Control Room จะกลับมาทำงานได้ตามปกติ ขณะนี้เราได้นำกลไกปฏิเสธมาใช้กับเวิร์กโหลดทั้งหมดที่เกี่ยวข้องกับการวิจัยโมเดลระดับแนวหน้าแล้ว และจะขยายการใช้งานให้ครอบคลุมเวิร์กโหลดด้านการวิจัยที่เหลือทั้งหมดภายในอีกไม่กี่วันข้างหน้า

Control Room เป็นหนึ่งในมาตรการที่เราใช้เพื่อให้การฝึกและนำโมเดลระดับแนวหน้าไปใช้งานมีความปลอดภัยอย่างรอบด้าน เราจะพัฒนาและขยายระบบนี้อย่างต่อเนื่องในอีกไม่กี่เดือนข้างหน้า พร้อมกับลงทุนด้านการเฝ้าระวังพฤติกรรมของโมเดลที่ไม่สอดคล้องกับเจตนาและการบุกรุกระบบ หากคุณอยากมีส่วนร่วมสร้างระบบที่ช่วยให้การพัฒนาและนำ AGI ไปใช้งานเป็นไปอย่างปลอดภัยและมีการรักษาความปลอดภัยที่รัดกุม เรากำลัง⁠เปิดรับสมัครคนมาร่วมงานกับเรา⁠