隨著我們的模型越來越聰明,在現實世界中採取的行動也越來越具影響力,模型不能只理解收到的具體指示,這一點日益重要。模型也需要理解人類的意圖與價值觀,才能在指示未明確涵蓋的情況下做出良好判斷,同時仍忠於人類意圖並接受人類監督。
今天,我們更新了模型規格(在新視窗中開啟),這份公開文件說明了我們期望模型如何行事。本次更新以五項根本價值為架構,重新編排指引:忠於人類意圖、盡可能減少傷害、誠實與透明、人類自主性及關懷。這反映了我們在價值對齊工作上的一項目標:讓模型在陌生情境中理解並運用人類價值觀,同時仍忠於人類意圖。此次修訂除了更清楚地解釋既有原則,也新增了情境、監督及自主性方面的指引,調整部分預設行為,並移除大部分詳細的風格指引。
上述五項價值闡明了模型規格各處早已體現的整體承諾:服務人類的目的、誠實以對、盡可能減少傷害、尊重人們形成自身觀點的自由,以及認真看待人們的處境。將這些承諾匯整在一起,有助於解釋規格為何對模型行為提出這些要求,也有助於我們在尚未充分表達這些承諾的地方,制定更清楚的指引。我們透過研究、部署模型的經驗、針對規格與模型行為的公眾意見回饋,以及與使用者和外部專家的討論,持續完善規格;本次更新是這項工作的又一步。
我們希望 AI 能造福世界各地的人們,無論他們有什麼需求、價值觀,以及對未來的期盼。
忠於人類意圖是這個做法的基礎:理解人們重視的事物,並幫助他們追求這些事物。OpenAI 撰寫規格、設定界線,並訓練模型遵守這些界線;開發者在界線內決定應用程式的運作方式;使用者則在這些限制下指引模型的工作。我們的模型應幫助人們理解世界、發現可能性,並追求自己選擇的目標,從而提升人們塑造自身生活的能力,同時認真考量這些協助對他人的影響。忠於人類意圖及其餘四項價值構成了規格的架構,並指引模型如何處理所面臨的一些最重要的取捨。這些價值並非要涵蓋模型應尊重並協助人們追求的所有人類價值。
忠於意圖意味著不僅要照字面遵循指示,更要深入理解 OpenAI、開發者與使用者的意圖及重視的事物,並在理解尚不完整時,仍能明智地行動。這也意味著承認人們的信念與價值觀可能改變,並以他們認可的方式幫助他們反思與成長,而不是暗中引導他們或推翻他們的選擇。例如,協助某人比較工作邀約時,模型可以參考對方先前分享過的優先考量,例如固定的工時,同時清楚說明這些假設,讓對方容易修正。
我們的使命是確保通用人工智慧造福全人類。這不僅需要考量一個人當下的意圖,也要顧及其長遠利益,以及對他人的影響。其餘四項價值明確闡述了這些考量:
盡可能減少傷害意味著遵守不可逾越的安全界線,並考量模型行動可能造成的可預見後果。
誠實與透明意味著如實說明模型知道什麼、做了什麼,以及有哪些不確定之處,讓人們能夠理解並評估其推理與工作成果。
促進人類自主性意味著增強人們自行理解、選擇與行動的能力。
關懷意味著關注受影響者的處境、遵循相關的社會與專業規範,並提供值得信賴的工作成果。
規格將這些價值轉化為實用指引,在必要時設定不可逾越的界線,以保護人們與社會;其餘大多採用預設原則的形式,使用者與開發者可以調整。
在更新模型規格的同時,我們也一直在探索新的訓練方法,幫助模型學習這些核心價值,並更深入理解及遵循規格中的具體行為原則。目標是讓模型理解這些原則為何重要,以及如何在新情境中運用:基於正確的理由,做正確的事。我們希望這份理解能幫助模型在重大決策中做出穩健的判斷,並在日常決策中體現關懷,逐步累積對人們與社會的長遠益處(在新視窗中開啟)。我們將在未來的更新中,分享這項訓練工作的成果與心得。
這次架構調整也幫助我們找出需要補充指引之處,制定新原則加以處理,並視需要修訂或移除既有指引。
新增的「忠於人類意圖」章節以這個理念為起點:人們重視的事物才是根本,而指示通常是表達這些價值最清楚、最重要的訊號。這個做法借鑑了以協助博弈探討對齊問題的框架(參見早期研究(在新視窗中開啟)與後續概述(在新視窗中開啟))。本章節納入了更新版的指令層級(在新視窗中開啟),說明哪些指示適用,以及如何解決指示之間的衝突。新增的小節「審慎考量情境(在新視窗中開啟)」說明,模型應如何運用對話、記憶及其他情境線索,理解人們的意圖與偏好。
我們也新增了支持人類自主性(在新視窗中開啟)及遵循相關社會規範(在新視窗中開啟)的預設原則,並擴充了控制並說明附帶影響(在新視窗中開啟)的既有指引。這些原則進一步闡明了其餘價值應如何體現在模型行為中,其中許多做法雖然細微,卻很重要:在尊重使用者目標與指示的同時,考量工作對他人的影響、增強使用者的能力,並提供值得信賴的工作成果。
與此同時,我們正移除規格中大部分詳細的風格指引。風格應配合人們的偏好調整,無論是整體偏好、各語言與文化中的偏好,還是每個人的個別偏好;使用者回饋與情境則提供了了解這些偏好的依據。規格保留了約束力較強的預設原則,例如以客觀態度處理問題(在新視窗中開啟)。使用者與開發者可以明確要求模型採取特定觀點,但模型不應僅憑自己認為對方想聽什麼,就推斷對方有這樣的偏好。
最後,隨著模型的使用案例與部署環境日益多元,我們現在於規格中以「GPT」稱呼模型,不再使用「助理」。
隨著模型能力不斷提升,本次更新是我們更明確闡述規格背後價值與理據的第一步。模型規格描述了我們努力實現的行為;我們的模型目前尚未完全達到這些要求。我們將持續從研究、實際使用及回饋中學習,不斷改進規格與模型。
我們想了解:規格中哪些部分讓你認同?哪些取捨你不贊同?有哪些遺漏或說明不清之處?針對價值、取捨與具體用語的意見,都能幫助我們改進規格。我們邀請你閱讀更新版模型規格(在新視窗中開啟),並分享你的觀點(在新視窗中開啟)。


