API 客戶的預留層級
概覽
預留層級專為需要預先購買額外容量的客戶而設計。額外容量會加在原有速率限制之上,即使在需求高峰期也能使用。
預留層級可讓你為特定模型購買預配吞吐量。為方便你了解所需金額,這會以每分鐘美元為單位顯示。你的預留金額可靈活用於「標準」與「快速模式」、各種上下文長度及區域。預留層級不適用於批次或彈性處理使用量。超過你預留金額的用量會按實際用量收費,並依一般費用計算。
選擇預留層級,即可為我們需求最高的模型確保運算容量,並釋放更大的擴展能力。購買的預留容量會自動提高總速率限制,讓你在需求較高的期間仍有足夠容量。
運作方式
使用預留層級時,你會為特定模型購買以每分鐘美元計算的預留金額。只要你的用量未超過該預留金額,則針對該模型的「標準」和「快速模式」要求均會由你的預留容量涵蓋。
如果用量超過預留金額,額外用量會根據所選服務層級,按實際用量收費,並以一般費用計算。
例如:
- 如果你為 GPT‑5.6 預留每分鐘 2 美元,該模型符合資格的用量會按列明價格從你的預留金額中扣除。
- 在符合資格用量為 2 美元或以下的任何一分鐘內,該用量會由預留層級涵蓋,不會產生額外用量費用。
- 如果你在某一分鐘內的符合資格用量超過 2 美元,超出預留金額的部分會按實際用量收費。舉例來說,若你在某一分鐘內使用了 2.75 美元,其中的 2 美元會由預留層級涵蓋,0.75 美元的超額用量則根據按用量付費 (PAYG) 的方式收費。
用量會依模型的按用量收費列明價格計算。如需了解折扣如何套用於預留層級,請參閱下方常見問題。