Jade Bridge店主指南開設商店 →
認識06 / 18

模型

每位員工所用的模型、清單從何而來、由誰的帳戶付費、供應商額度用盡時會發生甚麼,以及模型支出的每日上限。

後台位置AI 員工 → 大腦 → 模型同金鑰AI 員工 → 員工 → 某位員工 → 設定AI 員工 → 大腦 → 模型開支財務 → AI 供應商帳單
負責同事TomVeraEmi

每位員工都用一個模型來思考,管理後台稱之為大腦。由你選擇用哪一個。一位員工最多有三個:「對話大腦」用於對話和決策,「批次大腦」用於大量內部工作,例如分類或擷取資料(大部分呼叫),以及一個「內容模型」用於大量產品文案和翻譯(「設定所有員工」選擇器稱之為「內容」)。Emi 另有一個「圖像模型」用於促銷圖像。

AI 員工 → 大腦 → 模型同金鑰

頁面名為「AI 大腦」。由上而下:

  • 模型主機。商店有自己的模型主機時顯示:它是否在運行,以及載入了哪個模型。
  • 這家店可使用的模型。你商店所在地區允許哪些供應商,按每個供應商自己公佈的條款判定。在此不提供的供應商會連同原因列出,在每個選擇器中呈灰色,而且無法儲存。「我們的大腦在此提供。」代表平台自家的模型在你的地區運行。
  • 設定所有員工。一次過為每位員工設定同一個供應商和模型。
  • 「設定所有員工」下方的卡片是商店的預設大腦。供應商、模型、API 金鑰、批次配對,以及進階欄位:端點(Base URL)、推理強度和最大 token 數。每位沒有自選的員工都使用它。
  • 任務路由。哪些內部任務在「對話大腦」上運行,哪些在「批次」上。「預設」把任務留在平台設定的位置;更改過的任務會顯示「已覆寫」。

清單中的供應商有 Anthropic(Claude)、OpenAI(或相容服務)、Qwen(阿里巴巴)、DeepSeek、Moonshot(Kimi),以及平台自家的模型,選擇器稱之為「我哋自家模型(已包)」。它不需要金鑰;它的金鑰方框寫着「唔使金鑰 — 已包」。

/admin/agents/brainsAI 大腦。這家店在所屬地區可使用的模型、一次過設定所有員工的控制、商店的預設大腦及其金鑰,以及任務路由。
AI 大腦。這家店在所屬地區可使用的模型、一次過設定所有員工的控制、商店的預設大腦及其金鑰,以及任務路由。

一次過移動所有員工:

  1. 在「設定所有員工」之下,選擇「哪個大腦」:對話、批次或內容。
  2. 選擇「供應商」和「模型」。
  3. 如果 Vera 應該保留比來找她的人更強的大腦,保持「讓 Vera(主管)留在她目前的大腦」勾選。
  4. 按「套用去全部」。頁面會列出誰移動了、誰沒有。

一位員工的大腦

每位員工自己的選擇在他們的「設定」頁:AI 員工 → 員工 → 該員工 → 設定。那裏的「大腦」卡片顯示「供應商」、「模型」、「批次供應商」和「批次模型」,以及該員工有的話,「內容」或「圖像」模型。「使用預設模型」和「與主模型相同」會跟隨商店的預設。

  1. 打開員工的「設定」頁。
  2. 選擇「供應商」,然後選擇「模型」。
  3. 選擇批次配對,或保留「與主供應商相同」。
  4. 按「儲存」。它在員工的下一次請求生效。「重設為預設」會把員工放回商店的預設大腦。

卡片下方有兩個開關。「不受每日支出上限約束」讓這位員工在當日預算用盡時仍留在自己的大腦上;每次呼叫仍會計算。請保留給少數必須隨時回應的崗位。「獨占模型連線」在商店的模型主機上為這位員工單獨保留一條連線。

你自己的金鑰,或經由平台

輸入到「API 金鑰」方框的金鑰屬於你在該供應商的帳戶。你儲存的一刻就會向供應商核實,卡片會顯示「金鑰已於」某日期「在供應商核實」,或「供應商拒絕了此金鑰:」連同供應商的原話。使用你自己金鑰的用量由供應商向你收費,平台不會收取。金鑰留在你的商店;平台永遠看不到它。

在「設定 → 整合」為同一供應商儲存的金鑰計算方式相同:該用量是你與供應商之間的事,與平台無關。沒有自己金鑰的供應商會在平台與該供應商的帳戶上運行,該用量會出現在平台的發票上,列於你的訂購表之下。平台自家的模型已包含在內:它的用量會計算以供你查看,但永遠不會開發票。

Qwen 可以從阿里巴巴在你所在地區的端點呼叫。「大腦」頁會說明今日使用哪個端點,以及要在「設定 → 整合 → Qwen」加入甚麼(該地區的 Model Studio 工作區及其金鑰)以把提示留在當地。

清單由平台為你維護

每個供應商提供的模型來自平台的目錄,目錄每天讀取各供應商的清單。新模型只有在被判定值得採用、通過一組固定的測試任務(員工所做的每一種工作各一項:為產品分類、翻譯時保留佔位符、把帳單讀到分毫不差、裁定超過上限的款項、撰寫短文案、準確讀取一份簡短的狀態清單)、全部通過並獲定價之後,才會提供。

供應商撤回的模型會從清單中消失。沒有人會替你移動員工:把員工移到較新的模型是你的事,在他們的「設定」頁或用「設定所有員工」進行。

供應商額度用盡時

如果供應商因額度不足而拒絕,員工會繼續工作。被拒絕的請求會在其他地方重新執行,次序如下:員工自己的批次大腦,如果那是平台的模型;否則商店的預設大腦,如果那是平台的模型;否則「AI 員工 → 大腦 → 設定」中指定的替代模型。帳戶充值後員工會回到自己的大腦;「模型開支」會顯示工作去了哪裏。只是繁忙或無法連線的供應商會被等待,不會被取代。

Tom 在「財務 → AI 供應商帳單」監察各帳戶的餘額。每個供應商顯示其餘額、「可用天數」、每日「預計消耗」和讀取時間,或「缺少憑證」或「無法連線」。下方是兩次讀取之間的變動,以及與各供應商自己帳單記錄的核對。當餘額低於下限、可用天數少於七天,或無法讀取某個供應商時,Tom 會在「AI 員工 → 大腦 → 問題」的「需要人來決定」之下發出警報。連接了 Slack 的話,你也會收到私訊,說明是哪個帳戶、哪些員工在它上面運行,以及到哪裏充值:如果 Yuka 是你的助理則由她發出,否則由 Tom 發給商店的每位店主。無人回應的話,兩天後會再說一次。沒有 Slack 時,它會像任何需要真人處理的問題一樣,以電郵送達店主(見「與他們對話」)。恢復後他會說明並關閉警報。充值是你的事:Tom 只會提出,從不付款。他的門檻是他規則編輯器上的一條平台規則(「團隊不會在無人知會的情況下用盡額度」):餘額下限、可用天數警報,以及無人回應的警報多久重複一次,全部可調整,永不關閉。

/admin/finance/provider-billingAI 供應商帳單。Tom 最近一次讀取時各供應商的餘額、可用天數和每日消耗,以及兩次讀取之間的變動。
AI 供應商帳單。Tom 最近一次讀取時各供應商的餘額、可用天數和每日消耗,以及兩次讀取之間的變動。

AI 員工 → 大腦 → 模型開支

外部供應商的付費模型今日花了多少,對照兩個上限。商店附帶的模型已包含在內,永遠不會計入上限,所以只用它運行的商店在這裏沒有需要留意的。這裏的一天以 UTC 計算。

  • 今日已用,連同軟上限和硬上限、一條進度條,以及一句說明你所在的位置。超過軟上限後,昂貴的模型會換成較平的。超過硬上限後,當日餘下時間的付費呼叫會被拒絕,員工在有平台自家模型的情況下會在其上運行;豁免於上限的員工則繼續。
  • 我們無法定價的模型。過去七天內用過而沒有價格的,在各處都按 $0.00 計算,包括對照上限時,直至你為它定價。
  • 今日,按模型和今日,按工作,連同各自的成本。
  • 上限設定:「每日模型支出上限(美元)」(出廠設定為 5)、「硬上限 = 此數 × 每日上限」(2),以及每百萬輸入 token 的價格超過多少就算作高價模型(0.5)。
  • 較平的替代模型。對每個供應商,它的昂貴模型在超過軟上限後會變成哪個模型,或「沒有較平的模型 — 改為停止」。
  • 價格。每百萬 token 的輸入、輸出和快取輸入價格,標示為「估算」或「已核對」,旁邊是內建價格。
/admin/agents/spend模型開支。今日支出對照軟上限和硬上限、花在甚麼地方、各個上限、較平的替代模型,以及每個模型的價格。
模型開支。今日支出對照軟上限和硬上限、花在甚麼地方、各個上限、較平的替代模型,以及每個模型的價格。

提高每日上限:

  1. 在「上限設定」之下,在「每日模型支出上限(美元)」輸入新數字。
  2. 按 Enter。它會立即儲存並顯示「已覆寫」;「重設」會回到預設值,0 會關閉上限。

帳單與價格不符時,要修正價格,在「價格」表格的方框中輸入數字,然後點擊其他地方。清空方框會回到該數字的內建價格;「回復內建」會重設整行。