持續強化 ChatGPT Atlas 以防禦提示詞注入攻擊

ChatGPT Atlas 的智能代理模式是我們至今推出的最為通用的代理功能之一，具有廣泛的應用性。在此模式下，瀏覽器智能代理會模擬你瀏覽網頁的操作，並在你的瀏覽器中執行點擊、鍵入等動作。這使得 ChatGPT 能夠在同一空間、情境和數據中，直接協助你處理日常工作流程。

瀏覽器智能代理幫助你完成更多工作，但也因此成為對抗性攻擊更具吸引力的目標。這讓 AI 安全變得更加重要。在推出 ChatGPT Atlas 之前，我們就已經持續不斷地加強防禦，以應對專門針對這種全新「瀏覽器智能代理」模式的新興威脅。提示詞注入⁠是我們積極防禦的其中一個重大風險，旨在確保 ChatGPT Atlas 在運行時能夠安全地為你服務。 

作為這項持續努力的一部分，我們最近針對 Atlas 的瀏覽器智能代理發佈了安全更新，新增對抗性訓練模型並加強了周邊安全防護措施。這次更新是為應對我們內部自動化紅隊演練發現的全新提示詞注入攻擊類型。

在這篇文章中，我們—將以這次的安全更新為例，說明網頁智能代理如何遭遇提示詞注入風險，並介紹我們正在建立的快速反應機制，該機制能夠持續發現新攻擊並迅速部署防禦措施。

我們將提示詞注入視為一個長期的 AI 安全挑戰，需要不斷加強防禦措施來應對（就像以人類為攻擊目標的網絡詐騙一樣，這些詐騙始終在不斷演化）。我們最新建立的快速反應機制顯示出早期潛力，並已成為關鍵工具：我們能夠在攻擊出現於外界之前，首先在內部發現應對攻擊的全新策略。我們的長期願景是充分利用 (1) 對模型的白盒存取權限；(2) 對防禦措施的深入了解；以及 (3) 計算能力的規模優勢，保持在外部攻擊者之前，—更早發現漏洞、更快部署防禦措施，並不斷提升反應機制的效率。結合應對提示詞注入攻擊的前沿科技研究和增加對其他安全防護措施的投資，這個不斷加強的循環將使發動攻擊變得愈加困難且代價昂貴，顯著降低實際中的提示詞注入風險。我們的最終目標是讓你能夠像信任一位非常出色、注重安全的同事或朋友那樣，信任 ChatGPT 智能代理，放心地讓它使用你的瀏覽器。

提示詞注入攻擊透過在 AI 智能代理處理的內容中嵌入惡意指令，來對其發動攻擊。這些指令旨在覆蓋或重新定向智能代理的行為—，讓它按照攻擊者的意圖執行，而非用戶的。

對於像 ChatGPT Atlas 內的瀏覽器智能代理，提示詞注入帶來一個全新的威脅向量，這超出了傳統的網絡安全風險（如用戶錯誤或軟件漏洞）。攻擊者不再針對人類發起釣魚活動或利用瀏覽器的系統漏洞，而是將目標轉向在其中運行的智能代理。

舉個假設的例子，攻擊者可能會傳送一封惡意電郵，試圖欺騙智能代理忽視用戶的請求，並將敏感的稅務文件轉寄至由攻擊者控制的電郵地址。如果用戶請求智能代理查看未讀電郵並總結重點，在此過程中，代理可能會將那封惡意郵件納入處理範圍。如果代理按照注入的指令執行，可能會偏離原本的任務—，並錯誤地外洩敏感資訊。

這只是其中一個特定的場景。正是這種使瀏覽器智能代理具有通用性的特點，也讓風險變得更為廣泛：智能代理可能會在一個幾乎無限制的範圍內接收不受信任的指令—包括電郵和附件、日曆邀請、共享文件、論壇、社交媒體帖子以及來歷不明的網頁。由於智能代理能夠執行用戶在瀏覽器中執行的各種操作，成功的攻擊所帶來的影響可能同樣廣泛：例如轉寄敏感電郵、轉賬、編輯或刪除雲端文件等。

透過多層防護措施，我們已在防禦提示詞注入攻擊方面取得進展，詳情可見早前的文章⁠中所分享的內容。然而，提示詞注入仍然是智能代理安全面臨的一個公開挑戰，我們預計將在未來幾年內繼續致力於解決這個問題。

為加強防禦措施，我們一直在持續尋找針對生產環境中智能代理系統的新型提示詞注入攻擊。找到這些攻擊是建立有效防禦的必要前提：它幫助我們了解現實中的風險、發現防禦措施的漏洞，並推動具體的修復工作。

為了更好地實現這個目標，我們開發了一個建基於大語言模式 (LLM) 的自動化攻擊者，並對其進行訓練，讓它專門尋找能成功攻擊瀏覽器智能代理的提示詞注入攻擊。我們使用強化學習對這個攻擊者進行端到端訓練，使其能從自身的成功與失敗中學習，並提升紅隊技能。我們還讓它在「正式執行前先進行測試」，這意味著：攻擊者可以運用邏輯推理，提出一個候選的提示詞注入，並將其傳送到外部模擬器進行測試。模擬器進行反事實推理，模擬目標智能代理（防禦者）在遇到入侵後的行為，並返回被攻擊的代理的完整推理和行為記錄。攻擊者將該行為記錄作為反饋，對攻擊進行迭代，並重新運行模擬—在最終發動攻擊前，反覆進行多次測試。這為攻擊者提供了比通過或失敗的結果更為詳細和豐富的情境反饋。它同時增加了攻擊者用於測試的計算資源。此外，內部攻擊者擁有對防禦者推理記錄的特權存取（我們不向外部用戶公開該等記錄），這賦予其不對稱的優勢—大大提高它超越外部攻擊者的機會。

為甚麼選擇強化學習 (RL)？我們選擇強化學習來訓練自動化攻擊者，基於多個原因：

1. 最佳化長期和非連續的攻擊者目標。我們的目標是尋找那些能夠欺騙智能代理執行複雜對抗性任務（例如傳送電郵、銀行交易）的提示詞注入攻擊，這些任務在現實世界中可能會由攻擊者下達。這些對抗性任務本質上屬於長期任務，需要多次推理並與環境互動，回報稀疏且有所延遲。強化學習能夠很好地應對這種回報稀疏且延遲的情況。
2. 發揮前沿 LLM 技術的優勢。我們將前沿 LLM 訓練為自動紅隊演練成員，這讓攻擊者能夠直接從前沿模型在推理和計劃上的進步中受益。隨著基礎模型不斷強化，攻擊者的能力也會相應提升—這讓它成為一種可擴展的方式，可以在模型不斷發展的過程中，持續對防禦施加壓力。
3. 擴展運算資源和模仿具有適應性的攻擊者。強化學習非常適合用於擴展計算資源，在大量抽樣和學習步驟中搜尋攻擊，它也與人類攻擊者的適應性行為高度相符：反覆嘗試不同策略，根據結果學習並強化成功的行為。
   

我們的自動化攻擊者可以端到端地發現新型且真實的提示詞注入攻擊。與大多數先前的自動化紅隊演練工作不同，這些工作通常揭示簡單的錯誤，例如引出特定的輸出字串或觸發智能代理進行非預期的單步工具調用，我們的強化學習訓練攻擊者能夠引導智能代理執行複雜的、長期的有害工作流程，這些流程可能涉及數十步，甚至數百步。我們還發現一些新型的攻擊策略，這些策略在我們的人工紅隊演練行動或外部報告中並未出現。

下面的演示呈現了我們的自動化攻擊者發現的具體提示詞注入攻擊，然後我們利用此攻擊來進一步加強 ChatGPT Atlas 的防禦。攻擊者向用戶的收件箱傳送一封帶有提示詞注入的惡意電郵，該電郵指示智能代理向用戶的行政總裁發送辭職信。稍後，當用戶要求智能代理草擬一封不在辦公室的自動回覆時，代理在執行常規任務過程中收到那封電郵，將注入的提示詞視為正確並照此執行。最終，不在辦公室的回覆並未撰寫，智能代理卻代表用戶提交了辭職信。

提示詞注入的特性讓確定性的安全保證變得難以實現，但透過擴大自動化安全研究、對抗性測試，並加強我們的快速反應機制，我們可以在攻擊發生之前，主動提升模型的穩健性和防禦能力，無需等待攻擊發生。 

我們分享這個演示，希望幫助用戶和研究人員深入了解這些攻擊的本質—以及我們如何積極應對這些攻擊。我們認為這代表了自動化紅隊演練的前沿成就，並且我們對未來的研究充滿期待。

我們的自動化紅隊演練推動建立了一個主動的快速反應機制：當自動化攻擊者發現一類新的成功提示詞注入攻擊時，它會立即設立具體目標來加強我們的防禦。

針對新發現的攻擊進行對抗性訓練。我們持續使用最強的自動化攻擊者訓練更新後的智能代理模型，並優先針對目標代理目前未能防禦的攻擊進行訓練。目標是教導智能代理忽略對抗性指令，確保與用戶的意圖保持一致，並加強對新發現的提示詞注入攻擊策略的防禦能力。這樣能將對新型高強度攻擊的防禦能力直接「嵌入」模型防火牆中。例如，最近的自動化紅隊演練測試直接生成了一個新的對抗性訓練瀏覽器智能代理防火牆，並已推送給所有 ChatGPT Atlas 用戶。這最終有助我們更好地保護用戶，免受新類型攻擊的威脅。

借助攻擊記錄來強化應對攻擊的整體防禦能力。我們的自動化紅隊演練發現的許多攻擊路徑也揭示了模型自身以外的改進空間—例如在監控、模型情境中的安全指令，或系統層級的防護措施等。這些發現幫助我們提升整體防禦能力，而不只限於改進智能代理防火牆。

應對活躍攻擊。這個機制還有助更好地應對外部的活躍攻擊。當我們在全球範圍內尋找潛在攻擊時，可以將外部攻擊者使用的技術和策略納入這個機制中，模擬其活動，並推動我們平台防禦措施的改進。

透過加強紅隊演練智能代理的能力，並使用最強的模型來自動化部分工作—我們能夠縮短從發現到修復的過程，提升 Atlas 瀏覽器智能代理的防禦能力。這項強化工作再次印證安全領域的一個重要教訓：加強保護的有效途徑是持續對真實系統進行壓力測試，對防禦失敗作出反應，並實施具體的修復措施。

我們預期攻擊者會不斷調整策略。提示詞注入，就像網絡詐騙和社交工程一樣，可能永遠無法完全「解決」。但我們對主動且高效率的快速反應機制充滿信心 ，認為它能隨著時間的推移，顯著降低現實世界的風險。 透過將自動化攻擊偵測、對抗性訓練與系統級防護措施結合，我們能更早識別新的攻擊模式，更快修補漏洞，並不斷提高發動攻擊的成本。

ChatGPT Atlas 的智能代理模式功能強大—但同時也擴大了安全風險的範圍。在這個權衡上保持清醒的認識是負責任構建的一部分。我們的目標是透過每次更新讓 Atlas 變得更安全：提升模型的穩健性，加強防禦體系的能力，並監控現實中新興的濫用模式。

我們將繼續在研究和部署方面進行投資，開發進階的自動化紅隊演練方法，實施分層防護措施，並在學習過程中快速迭代。我們還會與更廣泛的社區分享我們所能提供的資源。

儘管我們不斷在系統層面加強 Atlas 的防禦能力，用戶仍然可以採取措施來減少使用智能代理時的風險。 

儘可能限制登入後的存取。我們仍然建議用戶在使用 Atlas 智能代理時，當執行任務無需存取已登入的網站時，使用登出模式⁠（在新視窗中開啟），或者在執行任務過程中，限制登入後存取特定網站。 

仔細檢查確認請求。對於一些重要的操作，如完成購買或傳送電郵，智能代理會在繼續之前請求你的確認。當智能代理請求你確認某個操作時，請花點時間驗證該操作是否正確，並檢查分享的資訊是否適合目前情境。

盡可能給予智能代理明確的指令。避免使用過於寬泛的提示詞，例如「查看我的電郵並採取任何必要的行動」。即使設有防護措施，過於寬泛的指令仍能使隱藏或惡意內容輕易影響智能代理。讓智能代理執行具體且範圍明確的任務會更安全。雖然這無法完全消除風險，但它使攻擊更難實施。

如果智能代理要成為日常任務的可信賴夥伴，它們必須能夠抵禦開放網絡所帶來的各種操縱。加強應對提示詞注入攻擊的能力是一項長期承諾，也是我們的首要優先事項之一。我們很快將會分享有關這項工作的更多資訊。