ข้อกำหนดของโมเดลฉบับใหม่ เพื่อ AI ที่เก่งและเป็นประโยชน์ยิ่งขึ้น
เมื่อโมเดลของเรามีความสามารถสูงขึ้นและเริ่มดำเนินการต่างๆ ที่ส่งผลกระทบต่อโลกจริงมากขึ้น การทำความเข้าใจเฉพาะคำสั่งที่ได้รับจึงไม่เพียงพออีกต่อไป โมเดลยังต้องเข้าใจเจตนาและคุณค่าที่มนุษย์ยึดถือ เพื่อให้สามารถใช้วิจารณญาณได้อย่างเหมาะสม แม้ต้องเผชิญกับสถานการณ์ที่คำสั่งไม่ได้ระบุแนวทางไว้อย่างชัดเจน โดยยังคงยึดมั่นในเจตนาของมนุษย์และอยู่ภายใต้การกำกับดูแลของมนุษย์
วันนี้เราได้ปรับปรุงข้อกำหนดของโมเดล(เปิดในหน้าต่างใหม่) ซึ่งเป็นเอกสารที่เผยแพร่ต่อสาธารณะเพื่ออธิบายว่าเราต้องการให้โมเดลมีพฤติกรรมอย่างไร โดยปรับโครงสร้างแนวทางในเอกสารให้ยึดค่านิยมหลัก 5 ประการ ได้แก่ การยึดมั่นในเจตนาของมนุษย์ การลดอันตรายให้เหลือน้อยที่สุด ความซื่อสัตย์และความโปร่งใส การส่งเสริมอำนาจตัดสินใจของมนุษย์ และความใส่ใจต่อผู้อื่น การปรับปรุงครั้งนี้สะท้อนเป้าหมายหนึ่งของงานวิจัยด้านการทำให้ AI สอดคล้องกับค่านิยมของมนุษย์ นั่นคือการทำให้โมเดลเข้าใจและนำค่านิยมของมนุษย์ไปใช้ในสถานการณ์ที่ไม่คุ้นเคย โดยยังคงยึดมั่นในเจตนาของมนุษย์ นอกจากอธิบายหลักการเดิมให้ชัดเจนขึ้นแล้ว เรายังเพิ่มแนวทางเกี่ยวกับการพิจารณาบริบท การกำกับดูแล และการส่งเสริมให้มนุษย์ตัดสินใจด้วยตนเอง ปรับหลักเกณฑ์เริ่มต้นเกี่ยวกับพฤติกรรมของโมเดลบางส่วน และยกเลิกคำแนะนำโดยละเอียดด้านรูปแบบการสื่อสารไปเป็นส่วนใหญ่
ค่านิยมหลักทั้ง 5 ประการข้างต้นสะท้อนหลักการสำคัญที่ปรากฏอยู่แล้วในข้อกำหนดของโมเดล ได้แก่ การทำงานเพื่อประโยชน์ของมนุษย์ การยึดมั่นในความจริง การลดอันตรายให้เหลือน้อยที่สุด การเคารพเสรีภาพของผู้คนในการสร้างความคิดเห็นและมุมมองของตนเอง และการใส่ใจบริบทและสถานการณ์ของแต่ละคนอย่างจริงจัง การนำหลักการเหล่านี้มารวมไว้ด้วยกันช่วยให้เข้าใจเหตุผลเบื้องหลังแนวทางพฤติกรรมที่กำหนดไว้ในเอกสาร และช่วยให้เราพัฒนาแนวทางที่ชัดเจนยิ่งขึ้นในส่วนที่ยังไม่ได้อธิบายหลักการเหล่านี้ไว้อย่างครบถ้วน การอัปเดตครั้งนี้เป็นอีกก้าวหนึ่งของการปรับปรุงข้อกำหนดของโมเดลอย่างต่อเนื่อง โดยอาศัยทั้งงานวิจัย ประสบการณ์จากการนำโมเดลไปใช้งานจริง ความคิดเห็นจากสาธารณชนเกี่ยวกับข้อกำหนดและพฤติกรรมของโมเดล ตลอดจนการพูดคุยกับผู้ใช้และผู้เชี่ยวชาญภายนอก
เราอยากให้ AI สร้างประโยชน์แก่ผู้คนทั่วโลก ไม่ว่าแต่ละคนจะมีความต้องการ ยึดถือค่านิยม หรือวาดหวังอนาคตไว้แตกต่างกันอย่างไร
การยึดมั่นในเจตนาของมนุษย์เป็นรากฐานของแนวทางนี้ โดยมุ่งทำความเข้าใจสิ่งที่ผู้คนให้ความสำคัญและช่วยให้พวกเขาทำสิ่งเหล่านั้นให้สำเร็จ OpenAI เป็นผู้จัดทำข้อกำหนดของโมเดล กำหนดขอบเขตการทำงาน และฝึกให้โมเดลปฏิบัติตามข้อกำหนดดังกล่าว ส่วนผู้พัฒนามีหน้าที่กำหนดแนวทางการทำงานของแอปพลิเคชันภายใต้ขอบเขตเหล่านั้น ขณะที่ผู้ใช้สามารถกำหนดงานที่ต้องการให้โมเดลทำได้โดยต้องอยู่ภายใต้ข้อจำกัดที่กำหนดไว้ โมเดลของเราควรช่วยให้ผู้คนกำหนดทิศทางชีวิตของตนเองได้มากขึ้น ด้วยการช่วยให้เข้าใจโลก ค้นพบโอกาสใหม่ๆ และเดินหน้าสู่เป้าหมายที่เลือกด้วยตนเอง โดยคำนึงอย่างจริงจังด้วยว่าความช่วยเหลือเหล่านั้นส่งผลต่อผู้อื่นอย่างไร การยึดมั่นในเจตนาของมนุษย์และค่านิยมอีก 4 ประการเป็นหลักในการจัดโครงสร้างข้อกำหนดของโมเดล และเป็นแนวทางให้โมเดลชั่งน้ำหนักและตัดสินใจเมื่อเผชิญกับสถานการณ์สำคัญที่ต้องเลือกให้ความสำคัญกับสิ่งหนึ่งมากกว่าอีกสิ่งหนึ่ง อย่างไรก็ตาม ค่านิยมทั้ง 5 ประการนี้ไม่ได้ครอบคลุมค่านิยมทั้งหมดของมนุษย์ที่โมเดลควรเคารพและช่วยให้ผู้คนยึดถือหรือทำให้เป็นจริง
การยึดมั่นในเจตนาของมนุษย์ไม่ได้หมายถึงเพียงการทำตามคำสั่งอย่างตรงตัว แต่ยังต้องเข้าใจอย่างลึกซึ้งว่า OpenAI ผู้พัฒนา และผู้ใช้มีเจตนาอย่างไรและให้ความสำคัญกับสิ่งใด พร้อมใช้วิจารณญาณอย่างเหมาะสมแม้จะยังเข้าใจเจตนาและคุณค่าเหล่านั้นได้ไม่ครบถ้วน นอกจากนี้ ยังต้องตระหนักว่าความเชื่อและค่านิยมของผู้คนเปลี่ยนแปลงได้ และช่วยให้พวกเขาทบทวนความคิดและพัฒนาตนเองในแนวทางที่พวกเขาเห็นด้วย โดยไม่แอบชี้นำหรือฝืนการตัดสินใจของพวกเขา ตัวอย่างเช่น เมื่อช่วยผู้ใช้เปรียบเทียบข้อเสนองาน โมเดลอาจนำสิ่งที่ผู้ใช้เคยบอกว่าให้ความสำคัญ เช่น เวลาทำงานที่แน่นอน มาประกอบการพิจารณา โดยระบุให้ชัดเจนว่ากำลังอาศัยข้อสันนิษฐานใด และเปิดโอกาสให้ผู้ใช้แก้ไขได้อย่างง่ายดาย
พันธกิจของเราคือการทำให้มั่นใจว่าปัญญาประดิษฐ์ทั่วไปจะเป็นประโยชน์ต่อมนุษยชาติทุกคน การบรรลุเป้าหมายนี้ต้องคำนึงถึงไม่เพียงสิ่งที่ผู้คนต้องการในขณะนั้น แต่ยังรวมถึงประโยชน์ในระยะยาวของพวกเขาและผลกระทบต่อผู้อื่นด้วย โดยค่านิยมหลักอีก 4 ประการช่วยระบุสิ่งที่ต้องคำนึงถึงเหล่านี้ให้ชัดเจนยิ่งขึ้น ดังนี้
การลดอันตรายให้เหลือน้อยที่สุด หมายถึงการเคารพขอบเขตด้านความปลอดภัยที่กำหนดไว้อย่างเคร่งครัด และคำนึงถึงผลกระทบที่คาดการณ์ได้จากการกระทำของโมเดล
ความซื่อสัตย์และความโปร่งใส หมายถึงการบอกตามจริงว่าโมเดลรู้อะไร ทำอะไร และไม่แน่ใจเรื่องใด เพื่อให้ผู้คนเข้าใจและประเมินการให้เหตุผลและผลงานของโมเดลได้
การส่งเสริมอำนาจตัดสินใจของมนุษย์ หมายถึงการเสริมความสามารถของผู้คนในการทำความเข้าใจ เลือก และลงมือทำด้วยตนเอง
ความใส่ใจ หมายถึงการคำนึงถึงสภาพการณ์ของผู้ได้รับผลกระทบ ปฏิบัติตามบรรทัดฐานทางสังคมและวิชาชีพที่เกี่ยวข้อง และสร้างผลงานที่ผู้คนวางใจได้
ข้อกำหนดของโมเดลนำค่านิยมเหล่านี้มาใช้เป็นแนวทางปฏิบัติที่ชัดเจน โดยเรื่องที่จำเป็นต่อความปลอดภัยของผู้คนและสังคมจะมีข้อจำกัดที่ต้องปฏิบัติตามอย่างเคร่งครัด ส่วนเรื่องอื่นๆ ส่วนใหญ่จะเป็นแนวทางที่กำหนดไว้เบื้องต้น ซึ่งผู้ใช้และผู้พัฒนาสามารถเปลี่ยนแปลงได้
นอกจากอัปเดตข้อกำหนดของโมเดลแล้ว เรายังศึกษาวิธีฝึกโมเดลแบบใหม่ๆ เพื่อให้โมเดลเรียนรู้ค่านิยมหลักทั้ง 5 ประการ และเข้าใจแนวทางพฤติกรรมที่กำหนดไว้ได้ลึกซึ้งขึ้น พร้อมนำไปปฏิบัติได้ดียิ่งขึ้น เราไม่ได้ต้องการเพียงให้โมเดลทำตามหลักการเหล่านี้ แต่ต้องการให้เข้าใจด้วยว่าหลักการแต่ละข้อสำคัญอย่างไร และควรนำไปปรับใช้ในสถานการณ์ที่ไม่เคยเจออย่างไร เพื่อให้สามารถทำสิ่งที่ถูกต้องโดยเข้าใจเหตุผลเบื้องหลัง เราหวังว่าความเข้าใจนี้จะช่วยให้โมเดลตัดสินใจเรื่องสำคัญได้อย่างรอบคอบ และใส่ใจแม้แต่การตัดสินใจเล็กๆ น้อยๆ ในชีวิตประจำวัน ซึ่งเมื่อรวมกันแล้วอาจส่งผลดีต่อผู้คนและสังคมได้ในระยะยาว(เปิดในหน้าต่างใหม่) เราจะนำผลการศึกษาและบทเรียนจากการฝึกโมเดลมาแบ่งปันในการอัปเดตครั้งต่อไป
การปรับโครงสร้างครั้งนี้ยังช่วยให้เรามองเห็นว่าส่วนใดจำเป็นต้องมีแนวทางเพิ่มเติม เพื่อนำไปพัฒนาหลักการใหม่ให้ครอบคลุมประเด็นเหล่านั้น พร้อมปรับปรุงหรือยกเลิกแนวทางเดิมตามความเหมาะสม
หัวข้อใหม่ว่าด้วยการยึดมั่นในเจตนาของมนุษย์เริ่มจากหลักคิดที่ว่า เราควรให้ความสำคัญกับสิ่งที่ผู้คนให้คุณค่าเป็นอันดับแรก และโดยทั่วไป คำสั่งที่พวกเขาให้ไว้ก็เป็นเบาะแสที่ชัดเจนและสำคัญที่สุดว่าสิ่งเหล่านั้นคืออะไร แนวทางนี้ต่อยอดมาจากแนวคิดการทำให้ AI สอดคล้องกับมนุษย์ผ่านเกมที่ AI มีหน้าที่ช่วยเหลือผู้คน (ดูงานวิจัยในช่วงแรก(เปิดในหน้าต่างใหม่)และบทความสรุปภาพรวมที่เผยแพร่ภายหลัง(เปิดในหน้าต่างใหม่)) โดยมีการปรับปรุงหลักเกณฑ์ที่กำหนดว่าคำสั่งใดมีลำดับความสำคัญเหนือกว่า(เปิดในหน้าต่างใหม่) และควรทำอย่างไรเมื่อคำสั่งขัดแย้งกัน อีกทั้งยังเพิ่มหัวข้อย่อยที่ว่าด้วยการพิจารณาบริบทอย่างรอบคอบ(เปิดในหน้าต่างใหม่) เพื่ออธิบายว่าโมเดลควรใช้ข้อมูลจากบทสนทนา ความทรงจำ และบริบทอื่นๆ ในการทำความเข้าใจสิ่งที่ผู้คนต้องการและชื่นชอบอย่างไร
นอกจากนี้ เรายังเพิ่มแนวทางให้โมเดลส่งเสริมอำนาจตัดสินใจของมนุษย์(เปิดในหน้าต่างใหม่) รวมถึงการปฏิบัติตามบรรทัดฐานทางสังคมที่เกี่ยวข้อง(เปิดในหน้าต่างใหม่) พร้อมขยายแนวทางเดิมเกี่ยวกับการควบคุมผลกระทบที่อาจเกิดขึ้นจากการทำงานของโมเดลและการแจ้งให้ผู้ใช้ทราบ(เปิดในหน้าต่างใหม่) หลักการเหล่านี้ช่วยอธิบายให้ชัดเจนยิ่งขึ้นว่าค่านิยมหลักอีก 4 ประการควรสะท้อนออกมาผ่านพฤติกรรมของโมเดลอย่างไร แม้บางแง่มุมอาจสังเกตเห็นได้ไม่ชัดแต่ก็มีความสำคัญ ไม่ว่าจะเป็นการคำนึงถึงผลกระทบของงานต่อผู้อื่น การเสริมสร้างความสามารถของผู้ใช้ และการสร้างผลงานที่ผู้คนไว้วางใจได้ โดยยังคงเคารพเป้าหมายและคำสั่งของผู้ใช้
ในขณะเดียวกัน เราก็ยกเลิกคำแนะนำส่วนใหญ่ด้านรูปแบบการสื่อสารที่ลงรายละเอียดไว้มากเกินไปในข้อกำหนดของโมเดล โดยเปิดให้โมเดลปรับวิธีสื่อสารให้เหมาะกับความชอบของผู้คนมากขึ้น ทั้งในภาพรวม ตามภาษาและวัฒนธรรม และตามความชอบของแต่ละคน ซึ่งสามารถเรียนรู้ได้จากความคิดเห็นของผู้ใช้และบริบทการใช้งาน แต่หลักการเริ่มต้นบางอย่างยังคงสำคัญและต้องยึดถือมากกว่าแนวทางทั่วไป เช่น การตอบคำถามอย่างเป็นกลาง(เปิดในหน้าต่างใหม่) แม้ผู้ใช้หรือผู้พัฒนาจะสามารถขอให้โมเดลนำเสนอมุมมองที่เฉพาะเจาะจงได้ แต่โมเดลไม่ควรเลือกมุมมองนั้นเองเพียงเพราะคิดว่าเป็นคำตอบที่ผู้ใช้อยากฟัง
สุดท้ายนี้ เนื่องจากโมเดลของเราถูกนำไปใช้งานในรูปแบบและบริบทที่หลากหลายมากขึ้น เราจึงเปลี่ยนมาใช้คำว่า “GPT” แทน “ผู้ช่วย” ในข้อกำหนดของโมเดล
การปรับปรุงครั้งนี้เป็นก้าวแรกในการอธิบายค่านิยมและเหตุผลเบื้องหลังข้อกำหนดของโมเดลให้ชัดเจนยิ่งขึ้น เพื่อรองรับโมเดลที่มีความสามารถสูงขึ้น ข้อกำหนดของโมเดลระบุแนวทางพฤติกรรมที่เรากำลังมุ่งพัฒนาให้เกิดขึ้นจริง ซึ่งโมเดลของเราในปัจจุบันยังไม่สามารถปฏิบัติตามได้อย่างครบถ้วน เราจะเดินหน้าปรับปรุงทั้งข้อกำหนดของโมเดลและตัวโมเดลอย่างต่อเนื่อง โดยนำสิ่งที่เรียนรู้จากงานวิจัย การใช้งานจริง และความคิดเห็นที่ได้รับมาพัฒนาต่อยอด
เราอยากรับฟังว่าคุณเห็นว่าส่วนใดของข้อกำหนดของโมเดลน่าสนใจและมีเหตุผลน่าเชื่อถือ มีประเด็นใดที่คุณไม่เห็นด้วยกับการชั่งน้ำหนักระหว่างหลักการต่างๆ หรือมีเรื่องใดที่เรามองข้ามหรือยังอธิบายได้ไม่ชัดเจน ความคิดเห็นของคุณเกี่ยวกับค่านิยม การชั่งน้ำหนักระหว่างสิ่งสำคัญที่อาจขัดแย้งกัน และถ้อยคำที่ใช้ในเอกสารจะช่วยให้เราปรับปรุงข้อกำหนดของโมเดลให้ดียิ่งขึ้น เราจึงขอเชิญคุณอ่านข้อกำหนดของโมเดลฉบับปรับปรุง(เปิดในหน้าต่างใหม่)และแบ่งปันมุมมองของคุณ(เปิดในหน้าต่างใหม่)
