設計能抵禦提示注入的 AI 智慧體

AI 智慧體越來越擅長瀏覽網路、擷取資訊，並代表使用者採取行動。這些能力非常實用，但也為攻擊者提供了能夠試圖操控系統的新途徑。

這類攻擊通常稱為「提示注入⁠」：攻擊者將指令嵌入外部內容，試圖令模型執行使用者並未要求的操作。根據我們的觀察，在現實世界中最有效的攻擊形式，越來越接近社交工程，不再只是單純覆寫提示詞。

這種轉變十分關鍵。如果問題不僅止於辨識惡意字串，而是要在特定情境中抵禦誤導或操控性的內容，那麼防禦方式就不能只依賴輸入過濾。系統設計也必須限制操控可能造成的影響，即使部分攻擊成功，也能將風險控制在可接受範圍內。

早期的提示注入攻擊有時非常簡單，例如在維基百科文章中加入直接指示，誘導造訪該頁面的 AI 智慧體依照指示行動。若模型在訓練期間未曾接觸過這類對抗環境，往往會直接遵循這些指令¹。隨著模型能力提升，也越來越不容易受到這類暗示影響。我們同時觀察到，提示注入攻擊也開始加入更多社交工程元素：

在整個 AI 安全生態系中，常見建議包括所謂「AI 防火牆」，也就是在 AI 智慧體與外部世界之間設置中介系統，嘗試分辨輸入內容，並分類為惡意提示注入或一般內容。但這類系統在面對已發展成熟的攻擊手法時，未必能完全成功攔截。對於這類系統而言，偵測惡意輸入幾乎和辨別謊言或錯誤資訊一樣困難，而且往往是在缺乏必要脈絡的情況下進行判斷。

隨著現實世界中的提示注入攻擊愈發複雜，我們發現最有效的攻擊方式時常結合了社交工程手法。因此，我們並未把這些結合社交工程的提示注入攻擊當成一種全新或獨立的問題，而是用其他領域管理人類社交工程風險時採用的同一套思路來理解。在這類系統中，目標不只是完美識別惡意輸入，而是要重新設計智慧體與系統，這樣一來，即便系統受到操控，造成的影響也有限。這類系統已證明能同時減輕提示注入與社交工程帶來的風險。

從這個角度來看，可以把 AI 智慧體想像成與客服人員類似，處在一個三方互動的情境中：智慧體需要代表雇主行動，同時也會持續接觸來自外界、可能帶有誤導性的資訊。無論是真人或 AI 客服專員，都必須在能力上設有限制，才能降低在這種充滿惡意行為的環境中可能帶來的風險。

想像一個情境：某位真人客服操作客戶支援系統，能夠在客戶遇到不便時發放禮品卡或退款，例如配送延誤、產品因故障受損等情況。這是一個多方互動的問題：公司必須信任客服人員只會在合理情況下退款，客服人員則同時也需要與第三方溝通協商，而對方可能試圖誤導，甚至施壓。

在現實世界中，客服人員會依照一套既定規則行事，但在充滿惡意行為的環境中，仍難免受到誤導。例如，客戶可能傳訊表示退款從未成功處理，或以威脅方式要求退款。客服系統本身會設置各種限制，例如限制可退款的金額、標示可疑的釣魚郵件，並提供其他保護措施，藉此降低個別客服帳號出錯時可能造成的影響。

這樣的思維也促使我們部署一整套防護措施，用來保障使用者對安全的期望。

在 ChatGPT 中，我們將這套社交工程模型與更傳統的安全工程方法結合，例如 source-sink 分析。

在這個框架下，攻擊者必須同時具備兩個條件：來源 (source)，也就是影響系統的方式；以及匯點 (sink)，也就是在錯誤情境下可能變得危險的能力。對於智慧體系統而言，這通常意味著把不可信的外部內容與某個動作結合，例如把資訊傳送給第三方、點擊連結，或使用工具。

我們的目標是一項核心安全原則：具有潛在風險的操作，或可能傳送敏感資訊的行為，皆不應在使用者不知情的情況下發生，也不應在缺乏適當防護措施時進行。

我們觀察到，針對 ChatGPT 的攻擊，大多是試圖說服助理把對話中的機密資訊傳送給惡意第三方。在我們所知的大多數情況下，這些攻擊之所以失敗，是因為安全訓練會讓智慧體拒絕這類要求。在智慧體被說服的少數情況下，我們開發了一套名為 Safe Url 的緩解機制，用來偵測助理是否嘗試把在對話中取得的資訊傳送給第三方。在這些罕見情況下，我們會先向使用者顯示即將傳送的資訊並請求確認，或者直接阻止該操作，並要求智慧體改用其他方式繼續協助使用者完成要求。

相同的機制也適用於 Atlas⁠ 中的瀏覽與書籤功能，以及深度研究⁠中的搜尋與瀏覽。ChatGPT 畫布⁠與 ChatGPT 應用程式⁠也採用類似做法，允許智慧體建立並使用功能性應用程式。這些應用程式會在沙盒環境中執行，可偵測異常通訊，並在必要時徵求使用者同意⁠(在新視窗中開啟)。

如需進一步了解 Safe Url 的運作方式，以及其架構的相關論文，可參考專門介紹此機制的部落格文章《如何在 AI 智慧體點擊連結時保護使用者資料》⁠。

對於完全自主的智慧體而言，能在充滿惡意行為的外部環境中安全地互動，是不可或缺的能力。在將 AI 模型整合進應用系統時，我們建議先思考：若是人類專員在類似情境下，系統會設定哪些控管機制，然後把這些控管落實到系統設計中。我們預期，在理想情況下，具備高度智慧的 AI 模型能比人類更有效抵禦社交工程攻擊，但在某些應用情境中，這不一定可行，也未必符合成本效益。

我們持續研究社交工程對 AI 模型造成的影響，以及相應的防禦方法，並將研究成果納入應用程式安全架構與 AI 模型訓練中。