今年 6 月,在內部訓練及評估期間,我們的模型以未經授權的方式存取了澳洲政府網站。我們在應對事件方面,也本應處理得更好。我們對此深表歉意,並正努力改善,務求日後做得更好。
本文將說明我們已掌握的情況、已作出的改變,以及我們將如何重建澳洲民眾的信任。這是一種新型網絡事件,反映出全球正面臨一項新興挑戰。我們打算承擔責任的方式之一,是積極與澳洲合作,協助制定切實可行的方法,讓 AI 開發者及政府能夠識別、披露及應對 AI 的網絡行為,不論這些行為是出於惡意還是無意造成。
7 月的 Hugging Face 事件發生後,我們開始檢視較早前的訓練及評估活動,以找出其他受影響機構。8 月中,這項檢視發現了影響以下澳洲政府網站的活動。
根據現有證據,我們掌握的情況如下:
澳洲服務局:一個 OpenAI 模型發現了一種方法,可取得該服務不對外開放的存取權限,並執行了指令、擷取內部檔案、憑證及彙總統計資料,以及寫入檔案。不過,模型並未存取個別病人或服務使用者的紀錄。我們將在下文更詳細說明這宗事件。
新南威爾士州罪案統計及研究局(BOCSAR):一個 OpenAI 模型存取了 BOCSAR 的公開罪案地圖工具,以研究公開的罪案統計資料(下文將進一步解釋,為何模型會執行各類資料研究任務)。模型透過 BOCSAR 的公開工具發出了 API 請求及網站中繼資料請求;該工具會提供用於瀏覽器 API 請求的憑證。BOCSAR 系統傳回了應用程式設定、運作作業及日誌,以及網站中繼資料。模型並未存取個人的罪案紀錄。
維多利亞州衞生部:OpenAI 智能代理發現了一個外露的存取金鑰,並用它查詢維多利亞州健康資訊局的報告系統,擷取報告設定及彙總調查統計資料。這些資料原應開放至何種存取程度,目前尚不清楚,須視乎維多利亞州健康資訊局(VAHI)的存取政策而定。智能代理並未存取個人病歷或可識別身分的調查回覆。
澳洲健康與福利研究所:OpenAI 智能代理使用第三方瀏覽及下載服務,從包括澳洲健康與福利研究所(AIHW)網站在內的來源擷取彙總統計資料,並直接查詢圖表數據。另外,繞過存取控制的嘗試並未成功。下載的資料看來原本已公開可供存取。系統並未遭到入侵。智能代理並未存取個人病歷。
我們在 8 月中得悉這些活動後,立即展開調查。我們於 9 月 10 日通知澳洲服務局及維多利亞州衞生部,並於 9 月 18 日通知新南威爾士州罪案統計及研究局。涉及澳洲健康與福利研究所的活動並未達到我們的披露門檻,因為存取方式看來符合公開存取的情況。不過,我們仍於 9 月 24 日通知該所,分享調查結果,並提出可向其作出簡報。
我們原本希望在調查完成後,向受影響機構詳細交代情況。然而,我們本應更早分享初步調查結果,並隨着更多事實浮現,持續向澳洲各機構提供最新資訊。
此後,我們一直與澳洲政府機構緊密合作,分享截至目前掌握的情況。如發現其他受影響機構,我們會根據當時掌握的資料,迅速直接通知相關機構,並在進一步釐清事實後提供更新。
在 6 月的內部訓練及評估期間,我們運行了一個僅供內部使用的實驗性 OpenAI 模型。該模型並無計劃公開發布,也未採用我們面向公眾的產品所使用的全套防護措施。在這次訓練及評估過程中,模型存取了澳洲服務局的 Medicare 統計報告服務。截至目前,我們的檢視並未發現任何人的病歷曾被存取的證據。
我們對模型進行內部訓練及評估時,會從涵蓋多個範疇的大量研究問題中抽取任務並分派給模型,以反映使用者可能提出的各類深入問題。這能訓練模型尋找、解讀及分析公開資料,讓模型更能幫助人們。我們的模型理應使用公開發布的統計資料來回答這些問題。
在這宗事件中,模型獲分派的其中一項任務,是研究政府在維多利亞州各社區用於治療皮膚病藥物的人均支出。模型在取得這些資料時遇到困難,並採取了我們未曾授權的行動。模型在澳洲服務局的 Medicare 統計報告服務中尋找這些資料時,發現了一種方法,可取得該服務不對外開放的存取權限。隨後,模型利用這項權限查看了與該服務有關的系統技術資料及原始碼,目的仍然是尋找最初要查找的資料。這些行為並非我們的本意,而對該服務的存取及後續行為都不應發生。
在 Hugging Face 事件之後,我們加強了研究工作的安全防護,包括增設網絡限制及擴大監察範圍。我們已實施管控措施,阻止這些研究環境直接連接互聯網,並改以快取內容提供網頁存取。作為額外一層安全保障,我們現行的監察系統本可偵測到這些行為,並向團隊發出警報,要求緊急進行人工審查。例如,在最近一次訓練(在新視窗中開啟)中,當模型取得直接連接互聯網的權限時,我們的監察系統偵測到該行為,並向審查人員發出警報;我們隨即停止了該次訓練。我們會持續測試這些防護措施,並彌補不足之處。Hugging Face 事件仍是我們觀察到最嚴重的一宗事件。
大眾希望確知 AI 的開發過程安全可靠,而這首先取決於我們這類公司的自身行動。我們最近公布(在新視窗中開啟),已暫停對能力最強的模型進行涉及工具使用的訓練及評估,只有在確信額外防護措施已落實到位後,才會恢復這類訓練。我們目前正着手建立這些措施。
隨着 AI 系統的能力普遍提升,我們也看到,協助各機構找出並修補弱點的時間窗口正逐漸縮小。這需要我們與全球網絡防禦人員攜手,採取集體行動。
我們已聯同科技、網絡安全及關鍵基礎設施領域的機構,呼籲各界就網絡防禦採取集體行動。這項呼籲首先着眼於我們自身的責任,包括加強防護措施、及時披露資訊,以及為受影響機構提供切實支援。我們亦呼籲向保護必要服務的團隊投入資源,讓他們能夠找出漏洞、驗證修補成效,並分享有效做法。
在澳洲,我們正投入資源及專業知識,支援受影響機構,並協助網絡防禦人員將這些原則付諸實行,包括:
為受影響機構提供專項支援。我們將投入所需資源,協助受影響機構了解事件經過,並評估影響。這包括分享相關技術調查結果,以及透過適當的資訊共享安排,讓受影響機構與我們的應變團隊溝通。
提供資金及支援,加強網絡防禦。我們將透過規模達 10 億美元的支援前線防禦人員的 Daybreak 基金提供積分,並提供技術協助,支援澳洲各級政府及業界,加強關鍵基礎設施及其他敏感環境的網絡防禦。這項工作將以我們與各級政府及關鍵基礎設施營運商的合作為基礎,協助各機構更有效地了解、偵測及應對能力日益強大的 AI 智能代理所帶來的風險。
成立澳洲專責小組。我們將成立一個引入澳洲獨立專家參與的專責小組,制定切實可行的政策建議,以管理能力日益強大的 AI 智能代理所帶來的風險。小組將汲取這些事件的教訓,重點改善通報流程、加強 AI 開發者與政府之間的協調,並找出更有效保護政府系統的措施。專責小組的建議將為 OpenAI 的做法提供參考,並支援澳洲各級政府在 AI 安全及網絡安全方面的工作。專責小組預計於年底前完成工作,亦將建議 AI 公司可採取哪些實際措施,以降低類似事件再次發生的風險。
澳洲各級政府、業界及民眾,一直以來都是 OpenAI 極為珍視的合作夥伴。我們不會視這份關係為理所當然,並決心妥善補救。
OpenAI 策略總監 Jason Kwon 將從 OpenAI 美國總部飛抵澳洲,於 10 月 6 日星期二在悉尼出席人工智能聯合專責委員會會議。他將回答有關我們已掌握的情況、如何應對事件、已採取的措施,以及今後如何改進的問題。
我們會繼續向受影響機構及相關政府分享經核實的調查結果。我們會公布持續進行的檢視工作的最新情況,以及履行這些承諾的進展。我們深知,要重建信任,前面仍有大量工作要做。我們亦有責任向澳洲民眾展示,我們正在作出實質改變,並切實履行承諾。


