ข้ามไปยังเนื้อหาหลัก
OpenAI

การเสริมความแข็งแกร่งให้กับ ChatGPT Atlas อย่างต่อเนื่องเพื่อป้องกันการโจมตีด้วยพรอมต์

การทดสอบเชิงรุกอัตโนมัติ—ขับเคลื่อนด้วยการเรียนรู้แบบเสริมแรง—ช่วยให้เราค้นพบและแก้ไขช่องโหว่ของเอเจนต์ในโลกแห่งความเป็นจริงได้อย่างเชิงรุกก่อนที่จะถูกนำไปใช้เป็นอาวุธ

กำลังโหลด…

โหมดเอเจนต์ใน ChatGPT Atlas เป็นหนึ่งในคุณสมบัติที่มีวัตถุประสงค์ทั่วไปมากที่สุดที่เราได้เปิดตัวจนถึงปัจจุบัน ในโหมดนี้ เอเจนต์เบราว์เซอร์จะดูหน้าเว็บและทำการกระทำ คลิก และกดแป้นพิมพ์ภายในเบราว์เซอร์ของคุณ เหมือนกับที่คุณทำ สิ่งนี้ทำให้ ChatGPT สามารถทำงานโดยตรงกับเวิร์กโฟลว์ประจำวันของคุณหลายอย่างโดยใช้พื้นที่ บริบท และข้อมูลเดียวกัน

ในขณะที่เอเจนต์เบราว์เซอร์ช่วยให้คุณทำงานได้มากขึ้น มันก็กลายเป็นเป้าหมายที่มีมูลค่าสูงขึ้นสำหรับการโจมตีที่เป็นปฏิปักษ์ สิ่งนี้ทำให้ความปลอดภัยของ AI มีความสำคัญอย่างยิ่ง นานก่อนที่เราจะเปิดตัว ChatGPT Atlas เราได้สร้างและเสริมความแข็งแกร่งให้กับการป้องกันอย่างต่อเนื่องเพื่อต่อต้านภัยคุกคามใหม่ที่มุ่งเป้าไปที่แนวคิดใหม่ของ "เอเจนต์ในเบราว์เซอร์" การโจมตีด้วยพรอมต์เป็นหนึ่งในความเสี่ยงที่สำคัญที่สุดที่เราป้องกันอย่างแข็งขันเพื่อให้แน่ใจว่า ChatGPT Atlas สามารถทำงานได้อย่างปลอดภัยในนามของคุณ 

ในฐานะส่วนหนึ่งของความพยายามนี้ เราได้ส่งอัปเดตความปลอดภัยไปยังเอเจนต์เบราวเซอร์ของ Atlas เมื่อเร็วๆ นี้ ซึ่งรวมถึงโมเดลที่ได้รับการฝึกฝนเชิงโต้แย้งใหม่และการเสริมสร้างมาตรการป้องกันโดยรอบ การอัปเดตนี้เกิดจากการโจมตีด้วยพรอมต์รูปแบบใหม่ที่ถูกค้นพบผ่านการทดสอบเชิงรุกอัตโนมัติภายในของเรา

ในโพสต์นี้ เราอธิบายว่าความเสี่ยงจากการโจมตีด้วยพรอมต์สามารถเกิดขึ้นได้อย่างไรสำหรับเอเจนต์ที่ใช้เว็บ และเราแบ่งปันวงจรการตอบสนองอย่างรวดเร็วที่เราได้สร้างขึ้นเพื่อค้นหาการโจมตีใหม่ๆ อย่างต่อเนื่องและจัดส่งการบรรเทาผลกระทบอย่างรวดเร็ว ซึ่งแสดงให้เห็นโดยการอัปเดตความปลอดภัยล่าสุดนี้

เรามองว่าการโจมตีด้วยพรอมต์เป็นความท้าทายด้านความปลอดภัยของ AI ในระยะยาว และเราจำเป็นต้องเสริมสร้างการป้องกันของเราอย่างต่อเนื่อง (คล้ายกับการหลอกลวงออนไลน์ที่พัฒนาตลอดเวลาเพื่อโจมตีมนุษย์) รอบการตอบสนองอย่างรวดเร็วล่าสุดของเรากำลังแสดงให้เห็นถึงศักยภาพในฐานะเครื่องมือสำคัญในเส้นทางนั้น: เรากำลังค้นพบกลยุทธ์การโจมตีใหม่ภายในก่อนที่มันจะปรากฏในโลกภายนอก วิสัยทัศน์ระยะยาวของเราคือการใช้ประโยชน์อย่างเต็มที่จาก (1) การเข้าถึงโมเดลของเราในลักษณะ white-box (2) ความเข้าใจเชิงลึกเกี่ยวกับการป้องกันของเรา และ (3) ขนาดการประมวลผลเพื่อก้าวนำหน้าผู้โจมตีภายนอก ค้นหาช่องโหว่ได้เร็วขึ้น ส่งการแก้ไขได้เร็วขึ้น และปรับปรุงกระบวนการอย่างต่อเนื่อง เมื่อรวมกับการวิจัยแนวหน้าเกี่ยวกับเทคนิคใหม่ในการจัดการกับการโจมตีด้วยพรอมต์และการลงทุนที่เพิ่มขึ้นในมาตรการควบคุมความปลอดภัยอื่น ๆ วงจรที่ซับซ้อนนี้สามารถทำให้การโจมตีมีความยากและมีค่าใช้จ่ายสูงขึ้น ซึ่งจะลดความเสี่ยงจากการฉีดคำสั่งในโลกแห่งความเป็นจริงได้อย่างมีนัยสำคัญ เป้าหมายสูงสุดของเราคือให้คุณสามารถไว้วางใจเอเจนต์ ChatGPT ในการใช้เบราว์เซอร์ของคุณได้เหมือนที่คุณไว้วางใจเพื่อนหรือเพื่อนร่วมงานที่มีความสามารถสูงและตระหนักถึงความปลอดภัย

การโจมตีด้วยพรอมต์ป็นความท้าทายที่เปิดกว้างสำหรับความปลอดภัยของเอเจนต์

การโจมตีด้วยพรอมต์มุ่งเป้าไปที่เอเจนต์ AI โดยฝังคำสั่งที่เป็นอันตรายลงในเนื้อหาที่เอเจนต์ประมวลผล คำแนะนำเหล่านี้ถูกออกแบบมาเพื่อแทนที่หรือเปลี่ยนเส้นทางพฤติกรรมของเอเจนต์—บังคับให้ปฏิบัติตามเจตนาของผู้โจมตีแทนที่จะเป็นของผู้ใช้

สำหรับเอเจนต์เบราว์เซอร์เช่นเดียวกับที่อยู่ใน ChatGPT Atlas การโจมตีด้วยพรอมต์เพิ่มช่องทางการคุกคามใหม่ที่นอกเหนือจากความเสี่ยงด้านความปลอดภัยเว็บแบบดั้งเดิม เช่น ความผิดพลาดของผู้ใช้หรือช่องโหว่ของซอฟต์แวร์ แทนที่จะฟิชชิงมนุษย์หรือใช้ประโยชน์จากช่องโหว่ของระบบในเบราว์เซอร์ ผู้โจมตีมุ่งเป้าไปที่เอเจนต์ที่ทำงานภายในเบราว์เซอร์

ในฐานะตัวอย่างสมมุติ ผู้โจมตีอาจส่งอีเมลที่เป็นอันตรายเพื่อพยายามหลอกลวงให้เอเจนต์เพิกเฉยต่อคำขอของผู้ใช้ และแทนที่จะส่งต่อเอกสารภาษีที่มีความละเอียดอ่อนไปยังที่อยู่อีเมลที่ผู้โจมตีควบคุม หากผู้ใช้ขอให้เอเจนต์ตรวจสอบอีเมลที่ยังไม่ได้อ่านและสรุปประเด็นสำคัญ เอเจนต์อาจได้รับอีเมลที่เป็นอันตรายระหว่างกระบวนการทำงาน หากปฏิบัติตามคำสั่งที่ถูกแทรกเข้าไป อาจทำให้หลุดจากงานและแชร์ข้อมูลที่เป็นความลับโดยไม่ตั้งใจ

นี่เป็นเพียงสถานการณ์เฉพาะหนึ่ง ความทั่วไปที่ทำให้เอเจนต์เบราว์เซอร์มีประโยชน์ยังทำให้ความเสี่ยงกว้างขึ้น: เอเจนต์อาจพบคำสั่งที่ไม่น่าเชื่อถือในพื้นที่ที่ไม่มีขอบเขต—อีเมลและไฟล์แนบ คำเชิญในปฏิทิน เอกสารที่แชร์ ฟอรัม โพสต์ในสื่อสังคมออนไลน์ และหน้าเว็บที่ไม่จำกัด เนื่องจากเอเจนต์สามารถทำการกระทำหลายอย่างที่ผู้ใช้สามารถทำได้ในเบราว์เซอร์ ผลกระทบจากการโจมตีที่ประสบความสำเร็จอาจกว้างขวางได้เช่นกัน เช่น การส่งต่ออีเมลที่มีข้อมูลอ่อนไหว การโอนเงิน การแก้ไขหรือลบไฟล์ในคลาวด์ และอื่นๆ

เราได้ก้าวหน้าในการป้องกันการโจมตีด้วยพรอมต์ผ่านการป้องกันหลายชั้น ตามที่เราได้แชร์ในโพสต์ก่อนหน้านี้ อย่างไรก็ตาม การโจมตีด้วยพรอมต์ยังคงเป็นความท้าทายที่ยังไม่ได้รับการแก้ไขสำหรับความปลอดภัยของเอเจนต์ และเป็นสิ่งที่เราคาดว่าจะต้องทำงานต่อไปอีกหลายปีข้างหน้า

การค้นพบการโจมตีด้วยพรอมต์โดยอัตโนมัติผ่านการเรียนรู้แบบเสริมแรงที่ใช้การประมวลผลสูงและครบวงจร

เพื่อเสริมความแข็งแกร่งให้กับการป้องกันของเรา เราได้ค้นหาการโจมตีด้วยพรอมต์รูปแบบใหม่ๆ ต่อระบบเอเจนต์ในกระบวนการผลิตอย่างต่อเนื่อง การค้นหาการโจมตีเหล่านี้เป็นสิ่งจำเป็นสำหรับการสร้างมาตรการป้องกันที่แข็งแกร่ง ช่วยให้เราเข้าใจความเสี่ยงในโลกแห่งความเป็นจริง เปิดเผยช่องว่างในระบบป้องกันของเรา และผลักดันการแก้ไขที่เป็นรูปธรรม

เพื่อทำสิ่งนี้ในระดับที่ใหญ่ขึ้น เราได้สร้างผู้โจมตีอัตโนมัติที่ใช้ LLM และฝึกให้มันค้นหาการโจมตีด้วยพรอมต์ที่สามารถโจมตีเอเจนต์เบราว์เซอร์ได้สำเร็จ เราได้ฝึกผู้โจมตีนี้แบบครบวงจรด้วยการเรียนรู้แบบเสริมแรง เพื่อให้มันเรียนรู้จากความสำเร็จและความล้มเหลวของตัวเองในการพัฒนาทักษะการทำงานแบบ Red Teaming เรายังให้มัน "ลองก่อนที่จะส่ง" ซึ่งหมายความว่า ในระหว่างการให้เหตุผลตามลำดับความคิด ผู้โจมตีสามารถเสนอการฉีดที่เป็นไปได้และส่งไปยังเครื่องจำลองภายนอกได้ ตัวจำลองจะทำการจำลองการดำเนินการที่แตกต่างจากความเป็นจริงว่าเอเจนต์เหยื่อที่เป็นเป้าหมาย (ผู้ป้องกัน) จะมีพฤติกรรมอย่างไรหากพบการแทรกแซง และจะส่งคืนการให้เหตุผลและการกระทำของเอเจนต์เหยื่ออย่างครบถ้วน ผู้โจมตีใช้ร่องรอยนั้นเป็นข้อเสนอแนะ ปรับปรุงการโจมตี และรันการจำลองซ้ำ—ทำซ้ำวงจรนี้หลายครั้งก่อนที่จะตัดสินใจโจมตีครั้งสุดท้าย สิ่งนี้ให้ข้อเสนอแนะในบริบทที่สมบูรณ์ยิ่งขึ้นแก่ผู้โจมตีมากกว่าการส่งสัญญาณผ่านหรือไม่ผ่านเพียงอย่างเดียว นอกจากนี้ยังเพิ่มขนาดการประมวลผลในช่วงทดสอบของผู้โจมตีด้วย นอกจากนี้ การเข้าถึงร่องรอยการให้เหตุผลที่มีสิทธิพิเศษ (ซึ่งเราไม่เปิดเผยให้ผู้ใช้ภายนอก) ของผู้ป้องกันทำให้ผู้โจมตีภายในของเรามีความได้เปรียบที่ไม่สมดุล เพิ่มโอกาสที่มันจะสามารถเอาชนะคู่แข่งภายนอกได้

ภาพจำลองหน้าเว็บในโหมดแสงที่แสดงการเรียนรู้แบบเสริมแรง โดยมีแขนหุ่นยนต์ที่ออกแบบอย่างมีสไตล์กำลังโต้ตอบกับรูปร่างเรขาคณิตลอยบนพื้นหลังที่มีการไล่เฉดสีสดใส

ทำไมการเรียนรู้แบบเสริมแรง (RL) เราเลือกการเรียนรู้แบบเสริมแรงเพื่อสอนผู้โจมตีอัตโนมัติด้วยเหตุผลหลายประการ:

  1. การเพิ่มประสิทธิภาพวัตถุประสงค์ของผู้โจมตีที่มีระยะยาวและไม่ต่อเนื่อง เป้าหมายของเราคือการค้นหาการโจมตีด้วยพรอมต์ที่สามารถหลอกให้เอเจนต์ทำงานที่ซับซ้อน เช่น การส่งอีเมลหรือการทำธุรกรรมทางธนาคาร ซึ่งอาจเกิดขึ้นในโลกแห่งความเป็นจริง งานที่ท้าทายเหล่านี้มีลักษณะเป็นระยะยาว ต้องการหลายขั้นตอนของการให้เหตุผลและการโต้ตอบกับสภาพแวดล้อม โดยมีสัญญาณความสำเร็จที่หายากและล่าช้า การเรียนรู้แบบเสริมแรงเหมาะสมกับโครงสร้างรางวัลที่หายากและล่าช้านี้
  2. การใช้ประโยชน์จากความสามารถระดับแนวหน้าของ LLM เราได้ฝึกฝน LLM ระดับแนวหน้าให้เป็นผู้ทดสอบอัตโนมัติ ดังนั้นผู้โจมตีจะได้รับประโยชน์โดยตรงจากการพัฒนาทักษะการให้เหตุผลและการวางแผนในโมเดลระดับแนวหน้า เมื่อโมเดลพื้นฐานมีความแข็งแกร่งมากขึ้น ผู้โจมตีก็จะมีความสามารถเพิ่มขึ้นตามไปด้วย ซึ่งทำให้เป็นวิธีที่สามารถขยายได้ในการรักษาความกดดันต่อการป้องกันของเราในขณะที่โมเดลของเราพัฒนาไป
  3. การขยายการประมวลผลและการเลียนแบบผู้โจมตีที่ปรับตัวได้ การเรียนรู้แบบเสริมแรงเหมาะสำหรับการขยายการคำนวณที่ใช้ในการค้นหาการโจมตีในจำนวนการสุ่มตัวอย่างและขั้นตอนการเรียนรู้ที่มาก และยังสะท้อนถึงพฤติกรรมของผู้โจมตีที่ปรับตัวได้: การลองใช้กลยุทธ์ซ้ำๆ เรียนรู้จากผลลัพธ์ และเสริมสร้างพฤติกรรมที่ประสบความสำเร็จ

ผู้โจมตีอัตโนมัติของเราสามารถค้นพบการโจมตีด้วยพรอมต์ที่แปลกใหม่และสมจริงได้อย่างครบวงจรต่างจากงานทีมสีแดงอัตโนมัติส่วนใหญ่ก่อนหน้านี้ ซึ่งมักจะพบความล้มเหลวที่เรียบง่าย เช่น การสร้างสตริงเอาต์พุตเฉพาะหรือการเรียกใช้เครื่องมือแบบขั้นตอนเดียวที่ไม่ตั้งใจจากเอเจนต์ ผู้โจมตีที่ได้รับการฝึกฝนด้วย RL ของเราสามารถนำเอเจนต์ไปสู่การดำเนินการเวิร์กโฟลว์ที่ซับซ้อนและเป็นอันตรายที่มีระยะยาวซึ่งดำเนินไปหลายสิบ (หรือแม้กระทั่งหลายร้อย) ขั้นตอน เรายังสังเกตเห็นกลยุทธ์การโจมตีใหม่ที่ไม่ปรากฏในแคมเปญการทดสอบทีมสีแดงโดยมนุษย์หรือในรายงานภายนอก

การสาธิตด้านล่างแสดงการโจมตีด้วยพรอมต์ที่พบโดยผู้โจมตีอัตโนมัติของเรา ซึ่งเราได้นำมาใช้เพื่อเสริมความแข็งแกร่งให้กับการป้องกันของ ChatGPT Atlas ผู้โจมตีส่งอีเมลที่มีเจตนาร้ายไปยังกล่องจดหมายของผู้ใช้ โดยมีการฉีดคำสั่ง (prompt injection) ที่สั่งให้เอเจนต์ส่งจดหมายลาออกไปยังซีอีโอของผู้ใช้ ต่อมา เมื่อผู้ใช้ขอให้เอเจนต์ร่างอีเมลตอบอัตโนมัติ เอเจนต์จะพบอีเมลนั้นระหว่างงานตามปกติ และปฏิบัติตามพรอมต์ที่ถูกแทรกเข้ามาอย่างเคร่งครัด ข้อความแจ้งเตือนการไม่อยู่ที่สำนักงานไม่ได้ถูกเขียนขึ้น และเอเจนต์ลาออกแทนผู้ใช้

ลักษณะการโจมตีด้วยพรอมต์ทำให้การรับประกันความปลอดภัยแบบกำหนดแน่นอนเป็นเรื่องท้าทาย แต่ด้วยการขยายการวิจัยความปลอดภัยอัตโนมัติ การทดสอบเชิงรุก และการกระชับวงจรการตอบสนองอย่างรวดเร็ว เราสามารถปรับปรุงความทนทานและการป้องกันของโมเดลได้ ก่อนที่จะรอให้เกิดการโจมตีในสภาพแวดล้อมจริง 

เรากำลังแบ่งปันการสาธิตนี้เพื่อช่วยให้ผู้ใช้และนักวิจัยเข้าใจธรรมชาติของการโจมตีเหล่านี้ได้ดียิ่งขึ้น—และวิธีที่เรากำลังป้องกันพวกมันอย่างต่อเนื่อง เราเชื่อว่านี่เป็นแนวหน้าของสิ่งที่การทดสอบทีมสีแดงอัตโนมัติสามารถทำได้ และเรารู้สึกตื่นเต้นอย่างยิ่งที่จะดำเนินการวิจัยของเราต่อไป

การเสริมความแข็งแกร่งให้กับ ChatGPT Atlas ด้วยวงจรการตอบสนองเชิงรุกที่รวดเร็ว

การทดสอบทีมสีแดงอัตโนมัติของเรากำลังขับเคลื่อนวงจรการตอบสนองเชิงรุกอย่างรวดเร็ว: เมื่อผู้โจมตีอัตโนมัติค้นพบรูปแบบใหม่ของการโจมตีด้วยพรอมต์ที่ประสบความสำเร็จ มันจะสร้างเป้าหมายที่ชัดเจนทันทีเพื่อปรับปรุงการป้องกันของเรา

การฝึกสอนเชิงปฏิปักษ์เพื่อต่อต้านการโจมตีที่ค้นพบใหม่เราสอนโมเดลเอเจนต์ที่อัปเดตอย่างต่อเนื่องเพื่อต่อสู้กับผู้โจมตีอัตโนมัติที่ดีที่สุดของเรา โดยเน้นการโจมตีที่เอเจนต์เป้าหมายล้มเหลวในปัจจุบัน เป้าหมายคือการสอนเอเจนต์ให้เพิกเฉยต่อคำสั่งที่เป็นปฏิปักษ์และรักษาความสอดคล้องกับเจตนาของผู้ใช้ เพื่อเพิ่มความต้านทานต่อกลยุทธ์การโจมตีด้วยพรอมต์ที่ค้นพบใหม่ สิ่งนี้ “ฝัง” ความทนทานต่อการโจมตีรูปแบบใหม่ที่มีความรุนแรงสูงเข้าไปในจุดตรวจสอบของโมเดลโดยตรง ตัวอย่างเช่น การทดสอบทีมสีแดงอัตโนมัติล่าสุดได้สร้างจุดตรวจเอเจนต์เบราวเซอร์ที่ผ่านการฝึกอบรมเชิงโต้แย้งใหม่ ซึ่งได้ทยอยเปิดให้ใช้งานกับผู้ใช้ ChatGPT Atlas ทุกคนแล้ว สิ่งนี้ช่วยปกป้องผู้ใช้ของเราให้ดียิ่งขึ้นจากการโจมตีรูปแบบใหม่ ๆ

การใช้ร่องรอยการโจมตีเพื่อปรับปรุงระบบป้องกันโดยรวมเส้นทางการโจมตีหลายเส้นทางที่ค้นพบโดยทีมสีแดงอัตโนมัติของเรายังเผยให้เห็นโอกาสในการปรับปรุงนอกเหนือจากตัวโมเดลเอง เช่น การตรวจสอบ คำแนะนำด้านความปลอดภัยที่เราวางไว้ในบริบทของโมเดล หรือการป้องกันในระดับระบบ การค้นพบเหล่านั้นช่วยให้เราทำซ้ำและปรับปรุงสแต็กการป้องกันทั้งหมด ไม่ใช่แค่จุดตรวจสอบของเอเจนต์

การตอบสนองต่อการโจมตีที่กำลังดำเนินอยู่ วงจรนี้ยังช่วยให้สามารถตอบสนองต่อการโจมตีที่เกิดขึ้นจริงได้ดีขึ้น เมื่อเรามองไปทั่วโลกเพื่อหาการโจมตีที่อาจเกิดขึ้น เราสามารถนำเทคนิคและกลยุทธ์ที่เราสังเกตเห็นจากผู้ไม่หวังดีภายนอกมาใช้ ป้อนเข้าสู่กระบวนการนี้ จำลองกิจกรรมของพวกเขา และขับเคลื่อนการเปลี่ยนแปลงด้านการป้องกันทั่วทั้งแพลตฟอร์มของเรา

มุมมอง: ความมุ่งมั่นระยะยาวของเราในการรักษาความปลอดภัยของเอเจนต์

การเสริมสร้างความสามารถของเราในการใช้เอเจนต์ทีมเรด และการใช้โมเดลที่มีประสิทธิภาพสูงสุดของเราเพื่อทำให้งานบางส่วนเป็นอัตโนมัติ—ช่วยทำให้เอเจนต์เบราวเซอร์ Atlas มีความแข็งแกร่งมากขึ้นโดยการขยายวงจรการค้นพบและแก้ไข ความพยายามในการเสริมความแข็งแกร่งนี้ตอกย้ำบทเรียนที่คุ้นเคยจากด้านความปลอดภัย: เส้นทางที่ใช้บ่อยในการป้องกันที่แข็งแกร่งขึ้นคือการทดสอบความทนทานของระบบจริงอย่างต่อเนื่อง การตอบสนองต่อความล้มเหลว และการส่งมอบการแก้ไขที่เป็นรูปธรรม

เราคาดหวังว่าฝ่ายตรงข้ามจะยังคงปรับตัวต่อไป การโจมตีด้วยพรอมต์ เช่นเดียวกับการหลอกลวงและวิศวกรรมสังคมบนเว็บ ไม่น่าจะถูก "แก้ไข" ได้อย่างสมบูรณ์ แต่เรามองในแง่ดีว่าการตอบสนองที่รวดเร็วและเชิงรุกสามารถลดความเสี่ยงในโลกแห่งความเป็นจริงได้อย่างมีนัยสำคัญต่อไปเมื่อเวลาผ่านไป โดยการผสานการค้นพบการโจมตีอัตโนมัติเข้ากับการฝึกสอนเชิงปรปักษ์และมาตรการป้องกันในระดับระบบ เราสามารถระบุรูปแบบการโจมตีใหม่ได้เร็วขึ้น ปิดช่องโหว่ได้เร็วขึ้น และเพิ่มต้นทุนของการแสวงหาประโยชน์อย่างต่อเนื่อง

โหมดเอเจนต์ใน ChatGPT Atlas ทรงพลัง—และยังขยายพื้นผิวของภัยคุกคามด้านความปลอดภัย การตระหนักถึงการแลกเปลี่ยนนั้นอย่างชัดเจนเป็นส่วนหนึ่งของการสร้างอย่างมีความรับผิดชอบ เป้าหมายของเราคือการทำให้ Atlas มีความปลอดภัยมากขึ้นอย่างมีนัยสำคัญในทุกการพัฒนา ปรับปรุงความแข็งแกร่งของโมเดล เสริมสร้างระบบป้องกันโดยรอบ และเฝ้าระวังรูปแบบการละเมิดที่เกิดขึ้นใหม่ในสภาพแวดล้อมจริง

เราจะลงทุนต่อไปในด้านการวิจัยและการใช้งาน พัฒนาวิธีการทดสอบเจาะระบบอัตโนมัติที่ดียิ่งขึ้น เปิดตัวมาตรการบรรเทาผลกระทบแบบชั้น และปรับปรุงอย่างรวดเร็วเมื่อเราเรียนรู้ เราจะยังแบ่งปันสิ่งที่เราทำได้กับชุมชนในวงกว้างด้วย

คำแนะนำในการใช้งานเอเจนต์อย่างปลอดภัย

ในขณะที่เราต่อไปเสริมความแข็งแกร่งให้กับ Atlas ในระดับระบบ ผู้ใช้สามารถดำเนินการบางอย่างเพื่อลดความเสี่ยงเมื่อใช้เอเจนต์ได้ 

จำกัดการเข้าถึงเมื่อเข้าสู่ระบบเมื่อเป็นไปได้เรายังคงแนะนำให้ผู้ใช้ใช้โหมดออกจากระบบ(เปิดในหน้าต่างใหม่) เมื่อใช้ เอเจนต์ ใน Atlas ในกรณีที่ไม่จำเป็นต้องเข้าถึงเว็บไซต์ที่คุณลงชื่อเข้าใช้สำหรับงานที่ทำ หรือเพื่อจำกัดการเข้าถึงเว็บไซต์เฉพาะที่คุณลงชื่อเข้าใช้ระหว่างการทำงาน 

โปรดตรวจสอบคำขอยืนยันอย่างรอบคอบ สำหรับการกระทำที่มีผลสำคัญบางอย่าง เช่น การทำการซื้อให้เสร็จสมบูรณ์หรือการส่งอีเมล เอเจนต์ถูกออกแบบมาเพื่อขอการยืนยันจากคุณก่อนดำเนินการต่อ เมื่อเอเจนต์ขอให้คุณยืนยันการกระทำ โปรดใช้เวลาสักครู่เพื่อตรวจสอบว่าการกระทำนั้นถูกต้องและข้อมูลที่แชร์นั้นเหมาะสมกับบริบท

ให้คำสั่งที่ชัดเจนแก่เอเจนต์เมื่อเป็นไปได้ หลีกเลี่ยงการใช้พรอมต์ที่กว้างเกินไป เช่น "ตรวจสอบอีเมลของฉันและดำเนินการการกระทำที่จำเป็น" การมีความยืดหยุ่นมากทำให้เนื้อหาที่ซ่อนอยู่หรือเป็นอันตรายสามารถมีอิทธิพลต่อเอเจนต์ได้ง่ายขึ้น แม้ว่าจะมีมาตรการป้องกันอยู่ก็ตาม การขอให้เอเจนต์ทำงานที่มีขอบเขตชัดเจนจะปลอดภัยกว่า แม้ว่าสิ่งนี้จะไม่สามารถขจัดความเสี่ยงได้ แต่ก็ทำให้การโจมตียากขึ้น

หากเอเจนต์จะกลายเป็นพันธมิตรที่เชื่อถือได้สำหรับงานประจำวัน พวกเขาต้องมีความยืดหยุ่นต่อการจัดการที่เว็บเปิดการใช้งาน การเสริมความแข็งแกร่งต่อการโจมตีด้วยพรอมต์เป็นความมุ่งมั่นระยะยาวและเป็นหนึ่งในสิ่งที่เราให้ความสำคัญสูงสุด เราจะมีการแบ่งปันข้อมูลเพิ่มเติมเกี่ยวกับงานนี้ในเร็วๆ นี้

ผู้เขียน

OpenAI