Grok 2.5 (OSS Ver.)

這次釋出的重點就是取用權。xAI 把訓練好的 Grok 2 檢查點以可下載權重的形式發布，你可以放在自己的機器上跑，不必呼叫託管端點。儲存庫含 42 個檔案、約 500 GB，你要用推論引擎在本機載入，而非透過網頁。對需要把模型留在自家的團隊來說，這就是全部的價值。

Grok 2.5 採混合專家架構，每一層存放多個專家網路，每個字符只啟動其中幾個。這讓每次請求的運算量低於同樣總規模的稠密模型，當你按小時付 GPU 費用時，這一點很關鍵。這是 xAI 在整個 Grok 系列用的同一套大致做法，也是檢查點能這麼大、卻還不至於難以使用的原因。

模型接受 128K 字符的上下文，足以在一段對話裡容納一份長文件。你可以丟進一份冗長的報告、一個程式碼檔案或一份逐字稿，直接對整份內容提問，不必先切塊。對於文件審閱或長文撰稿這類工作，這個視窗省掉不少你本來得繞著小模型搭的周邊工程。

xAI 引導使用者用 SGLang 來提供模型服務，儲存庫裡的步驟很具體。你要把張量平行處理分散到 8 張 GPU，每張記憶體超過 40 GB，並套用 FP8 量化來塞進權重。說明假設你有一台具備這種硬體的 Linux 伺服器，所以模型針對的是本來就在跑推論基礎設施的人，不是新手。

因為權重公開，你可以評測模型、檢視它的專家如何路由，並用自家資料微調。這跟託管聊天機器人不同，後者你只拿到輸入的文字與輸出的文字。這次釋出給了研究人員一個來自具名實驗室的檢查點可供比對，當公開的基準數字難以從其他途徑重現時，這點很有用。

自己跑 Grok 2.5，意味著提示與回覆永遠不會離開你的網路。沒有對外 API 呼叫，也沒有供應商看得到你的流量。對於處理敏感資料、受監管資料或內部程式碼的團隊，這種掌控往往是託管模型與開放模型之間的決定性因素，即使託管服務更便宜也一樣。