การทำความเข้าใจเครือข่ายประสาทเทียมผ่านวงจรที่มีความหนาแน่นต่ำ

​​เครือข่ายประสาทเทียมขับเคลื่อนระบบ AI ที่มีความสามารถสูงสุดในปัจจุบัน แต่ยังคงเข้าใจได้ยาก เราไม่ได้เขียนโมเดลเหล่านี้ด้วยคำแนะนำที่ชัดเจนและเป็นขั้นตอน โมเดลจะเรียนรู้โดยการปรับการเชื่อมต่อภายในหลายพันล้านรายการหรือ "ชั่งน้ำหนัก" จนกว่าจะเชี่ยวชาญในงาน เราออกแบบกฎของการฝึกสอน แต่ไม่ใช่พฤติกรรมเฉพาะที่เกิดขึ้น และผลลัพธ์คือเครือข่ายการเชื่อมต่อที่ซับซ้อนซึ่งไม่มีมนุษย์คนใดสามารถถอดรหัสได้ง่าย 

เมื่อระบบ AI มีความสามารถมากขึ้นและส่งผลกระทบต่อการตัดสินใจในด้านวิทยาศาสตร์ การศึกษา และการดูแลสุขภาพในโลกแห่งความเป็นจริง การทำความเข้าใจวิธีการทำงานของระบบเหล่านี้จึงเป็นสิ่งจำเป็น การตีความหมายถึงวิธีการที่ช่วยให้เราเข้าใจว่าทำไมโมเดลถึงสร้างเอาต์พุตที่กำหนด มีหลายวิธีที่เราสามารถบรรลุเป้าหมายนี้ได้ 

ตัวอย่างเช่น โมเดลการให้เหตุผลได้รับแรงจูงใจให้อธิบายการทำงานของพวกเขาระหว่างทางไปสู่คำตอบสุดท้าย การตีความแบบห่วงโซ่ความคิดใช้ประโยชน์จากคำอธิบายเหล่านี้เพื่อตรวจสอบพฤติกรรมของโมเดล สิ่งนี้มีประโยชน์ในทันที: ลำดับความคิดของโมเดลการให้เหตุผลในปัจจุบันดูเหมือนจะให้ข้อมูลที่เป็นประโยชน์เกี่ยวกับพฤติกรรมที่น่ากังวล เช่น การหลอกลวง อย่างไรก็ตาม การพึ่งพาคุณสมบัตินี้อย่างเต็มที่ถือเป็นกลยุทธ์ที่เปราะบาง และอาจล้มเหลวได้ตามกาลเวลา

ในทางกลับกัน การตีความเชิงกลไกซึ่งเป็นจุดเน้นของงานนี้ มุ่งที่จะย้อนกลับวิศวกรรมกระบวนการคำนวณของโมเดลอย่างสมบูรณ์ จนถึงตอนนี้ ยังไม่ค่อยมีประโยชน์ในทันที แต่ในหลักการแล้ว อาจให้คำอธิบายที่สมบูรณ์ยิ่งขึ้นเกี่ยวกับพฤติกรรมของโมเดล ด้วยการพยายามอธิบายพฤติกรรมของโมเดลในระดับที่ละเอียดที่สุด การตีความเชิงกลไกสามารถลดการตั้งสมมติฐานและเพิ่มความมั่นใจให้กับเราได้มากขึ้น แต่เส้นทางจากรายละเอียดระดับต่ำไปจนถึงการอธิบายพฤติกรรมที่ซับซ้อนนั้นยาวและยากลำบากมากขึ้น

ความสามารถในการตีความสนับสนุนเป้าหมายสำคัญหลายประการ เช่น การเพิ่มประสิทธิภาพในการกำกับดูแลและการให้สัญญาณเตือนล่วงหน้าเกี่ยวกับพฤติกรรมที่ไม่ปลอดภัยหรือไม่สอดคล้องกับกลยุทธ์ นอกจากนี้ยังเสริมความพยายามด้านความปลอดภัยอื่นๆ ของเรา เช่น การกำกับดูแลที่ปรับขนาดได้ การฝึกสอนเชิงโต้แย้ง และการทดสอบทีมสีแดง 

ในงานนี้ เราแสดงให้เห็นว่าเรามักจะสามารถสอนโมเดลในวิธีที่ทำให้ตีความได้ง่ายขึ้น เราเห็นว่างานของเราเป็นส่วนเสริมที่มีศักยภาพสำหรับการวิเคราะห์หลังการวิเคราะห์ของเครือข่ายหนาแน่น 

ถือเป็นการเดิมพันที่ทะเยอทะยานมาก มีเส้นทางที่ยาวนานจากการทำงานของเราไปสู่การทำความเข้าใจพฤติกรรมที่ซับซ้อนของโมเดลที่ทรงพลังที่สุดของเราอย่างเต็มที่ อย่างไรก็ตาม สำหรับพฤติกรรมที่เรียบง่าย เราพบว่าโมเดลที่มีความเบาบางที่ฝึกฝนด้วยวิธีการของเราประกอบด้วยวงจรขนาดเล็กที่แยกออกจากกันซึ่งสามารถเข้าใจได้และเพียงพอที่จะทำพฤติกรรมนั้น สิ่งนี้ชี้ให้เห็นว่าอาจมีแนวทางที่สามารถจัดการได้ในการการฝึกสอนระบบขนาดใหญ่ที่มีกลไกที่เราสามารถเข้าใจได้

งานการตีความเชิงกลไกก่อนหน้านี้เริ่มต้นจากเครือข่ายที่หนาแน่นและซับซ้อน และพยายามที่จะคลี่คลายเครือข่ายเหล่านั้น ในเครือข่ายเหล่านี้ เซลล์ประสาทแต่ละเซลล์เชื่อมต่อกับเซลล์ประสาทอื่นๆ นับพันเซลล์ เซลล์ประสาทส่วนใหญ่ดูเหมือนจะทำหน้าที่ที่หลากหลาย ทำให้ดูเหมือนว่าไม่สามารถเข้าใจได้ 

แต่ถ้าเราฝึกเครือข่ายประสาทเทียมที่ไม่พันกัน โดยมีเซลล์ประสาทจำนวนมากขึ้น แต่เซลล์ประสาทแต่ละตัวมีการเชื่อมต่อเพียงไม่กี่สิบจุด แล้วบางทีเครือข่ายที่ได้อาจจะง่ายขึ้นและเข้าใจได้ง่ายขึ้น นี่คือหัวใจสำคัญของการวิจัยในงานของเรา

ด้วยหลักการนี้ในใจ เราได้ฝึกโมเดลภาษาที่มีสถาปัตยกรรมคล้ายกับโมเดลภาษาที่มีอยู่ เช่น GPT‑2 โดยมีการปรับเปลี่ยนเล็กน้อยเพียงอย่างเดียว: เราบังคับให้ค่าถ่วงน้ำหนักส่วนใหญ่ของโมเดลเป็นศูนย์ สิ่งนี้จำกัดโมเดลให้ใช้การเชื่อมต่อที่เป็นไปได้ระหว่างเซลล์ประสาทเพียงไม่กี่จุดเท่านั้น นี่เป็นการเปลี่ยนแปลงง่ายๆ ที่เราโต้แย้งว่าจะช่วยคลายความซับซ้อนของการคำนวณภายในของโมเดลได้อย่างมาก

เราต้องการวัดขอบเขตที่การคำนวณของโมเดลที่มีความเบาบางของเราถูกแยกออกจากกัน เราได้พิจารณาพฤติกรรมที่เรียบง่ายหลากหลายของโมเดล และตรวจสอบว่าเราสามารถแยกส่วนของโมเดลที่รับผิดชอบต่อพฤติกรรมแต่ละอย่างได้หรือไม่ ซึ่งเราเรียกว่าวงจร

เราได้คัดสรรชุดงานอัลกอริทึมที่เรียบง่ายด้วยมือ สำหรับแต่ละกรณี เราได้ตัดแต่งโมเดลให้เหลือวงจรที่เล็กที่สุดที่ยังสามารถทำงานได้ และตรวจสอบว่าวงจรนั้นมีความเรียบง่ายเพียงใด (สำหรับรายละเอียดเพิ่มเติม โปรดดูเอกสาร⁠(เปิดในหน้าต่างใหม่)ของเรา) เราพบว่าโดยการฝึกสอนโมเดลที่ใหญ่ขึ้นและมีความเบาบางมากขึ้น เราสามารถสร้างโมเดลที่มีความสามารถเพิ่มขึ้นด้วยวงจรที่เรียบง่ายมากขึ้น

เพื่อให้เห็นภาพชัดเจน ลองพิจารณางานที่โมเดลที่ได้รับการฝึกอบรมด้วยโค้ด Python ต้องเติมสตริงให้สมบูรณ์ด้วยประเภทของเครื่องหมายคำพูดที่ถูกต้อง ใน Python คำว่า ‘hello’ จะต้องลงท้ายด้วยเครื่องหมายคำพูดเดี่ยว และคำว่า “hello” จะต้องลงท้ายด้วยเครื่องหมายคำพูดคู่ โมเดลสามารถแก้ไขปัญหานี้ได้โดยการจดจำประเภทของเครื่องหมายคำพูดที่เปิดสตริงและทำซ้ำเครื่องหมายนั้นในตอนท้าย

โมเดลที่สามารถตีความได้มากที่สุดของเราดูเหมือนจะมีวงจรที่แยกออกจากกันซึ่งใช้อัลกอริทึมนั้นอย่างแม่นยำ

ตามคำจำกัดความของเรา การเชื่อมต่อที่แน่นอนที่แสดงไว้ด้านบนนั้นเพียงพอที่จะดำเนินการงานได้ หากเราลบส่วนที่เหลือของโมเดลออกไป วงจรเล็กๆ นี้ก็ยังทำงานได้ พวกมันยังมีความจำเป็นเช่นกัน การลบขอบเพียงไม่กี่ขอบนี้จะทำให้โมเดลล้มเหลว

นอกจากนี้ พวกเรายังได้พิจารณาพฤติกรรมที่ซับซ้อนมากขึ้นอีกด้วย วงจรสำหรับพฤติกรรมเหล่านี้ของเรา (เช่น การผูกตัวแปรที่แสดงด้านล่าง) อธิบายได้ยากอย่างสมบูรณ์ ถึงกระนั้น เราก็ยังสามารถบรรลุคำอธิบายบางส่วนที่ค่อนข้างง่ายซึ่งสามารถทำนายพฤติกรรมของโมเดลได้

งานนี้เป็นก้าวแรกสู่เป้าหมายที่ใหญ่ขึ้น: ทำให้การคำนวณของโมเดลเข้าใจได้ง่ายขึ้น แต่ยังมีหนทางอีกยาวไกลที่ต้องไปต่อ โมเดลที่เบาบางของเรามีขนาดเล็กกว่าโมเดลแนวหน้าอย่างมาก และส่วนใหญ่ของการคำนวณยังคงไม่สามารถตีความได้ 

ถัดไป เราหวังว่าจะขยายเทคนิคของเราให้รองรับโมเดลที่ใหญ่ขึ้น และอธิบายพฤติกรรมของโมเดลได้มากขึ้น โดยการระบุรูปแบบวงจรที่เป็นพื้นฐานของการใช้เหตุผลที่ซับซ้อนยิ่งขึ้นในโมเดลเบาบางที่มีความสามารถ เราสามารถพัฒนาความเข้าใจที่ช่วยให้เรากำหนดเป้าหมายการสืบสวนของโมเดลแนวหน้าได้ดียิ่งขึ้น

เพื่อเอาชนะความไร้ประสิทธิภาพของการฝึกสอนโมเดลที่มีความเบาบาง เราเห็นสองแนวทางในการก้าวไปข้างหน้า วิธีหนึ่งคือการดึงวงจรที่เบาบางจากโมเดลที่มีความหนาแน่นอยู่แล้ว แทนที่จะทำการฝึกสอนโมเดลที่เบาบางตั้งแต่เริ่มต้น โดยพื้นฐานแล้ว โมเดลหนาแน่นมีประสิทธิภาพในการปรับใช้มากกว่าโมเดลเบาบาง อีกทางเลือกหนึ่งคือการพัฒนาวิธีการที่มีประสิทธิภาพมากขึ้นในการสอนโมเดลเพื่อให้สามารถตีความได้ ซึ่งอาจทำให้การนำไปใช้ในกระบวนการผลิตง่ายขึ้น

โปรดทราบว่าผลการค้นพบของเราที่นี่ไม่ได้รับประกันว่าแนวทางนี้จะขยายไปสู่ระบบที่มีความสามารถมากขึ้น แต่ผลลัพธ์เบื้องต้นเหล่านี้มีแนวโน้มที่ดี เป้าหมายของเราคือการขยายขอบเขตของโมเดลที่เราสามารถตีความได้อย่างน่าเชื่อถือทีละน้อย และพัฒนาเครื่องมือที่ทำให้ระบบในอนาคตง่ายต่อการวิเคราะห์ ดีบัก และประเมินผล