AI產品

llama.cpp 站上 v1.0.0,這次改的是承諾不再偷偷動介面

一個很多人每天在用、卻很少人直接打開的推論引擎,終於有了版本號。這次公告沒有新模型也沒有速度數字,講的全是別人的程式碼會不會被無聲改壞。

陳柏宇陳柏宇
熱度:1,200
一層層函式庫堆在基座上,頂端扣著版本標籤鎖,資料流從上方灌入

一個很多人每天在用、卻很少人直接打開的推論引擎,終於有了版本號。這次公告沒有新模型也沒有速度數字,講的全是別人的程式碼會不會被無聲改壞。

llama.cpp 與 ggml 一起站上 v1.0.0

ggml-org 團隊在 11 月 13 日於 Hugging Face 部落格公布,llama.cpp 與 ggml 兩個函式庫同時進到 v1.0.0,公開標頭分別是 libllama 與 libggml,放在 llama.cpp/include 與 ggml/include。專案從開始到現在走了三年半。

公告署名三位作者,包括 Georgi Gerganov。整篇沒有提到新模型,也沒有跑分成績,內容集中在介面與打包方式。

local inference 是什麼:模型跑在你自己的機器上

llama.cpp 是一套用 C 與 C++ 寫的推論引擎,把量化過的模型載進來,在筆電、手機、樹莓派等級的板子或伺服器上執行。它支援多模態模型,靠量化、針對硬體調整的後端與可攜的實作,讓同一個模型能放進大小差很多的機器。

量化在這裡是關鍵字。它把模型權重從高精度壓成較小的數字格式,檔案變小、記憶體需求下降,代價是精度會掉一點。這個取捨讓 7B 等級的模型有機會跑在家用硬體上,也讓「離線」這兩個字變得實際。

沒有這類工具,同樣的模型要在家用硬體上執行會困難許多。台灣與香港的開發者對這件事不陌生:把模型塞進桌面 App、在 Mac 上跑推論、讓工廠廠區在沒有外網的情況下也能用,靠的都是同一層東西。

v1.0.0 的規則:MAJOR、MINOR、PATCH 各管什麼

語意化版本從現在開始適用。MAJOR 代表 ./include 裡的公開 C API 出現破壞性變更,MINOR 是向後相容的新功能、後端更新、模型支援或 API 新增,PATCH 只修錯誤、不動 API。兩個函式庫用同一套規則。

這條規則把「什麼時候會壞」變成可預期的。以前下游只能盯 commit,或等編譯失敗再回頭找原因。

為什麼要等到三年半才編號,公告沒有給理由。合理的推測是專案早期變動太快,任何版本約定都撐不住;等到介面穩下來,承諾才有東西可以附著。這句話是我的判斷,不是官方說法。

為什麼 v1.0.0 對下游 App 是大事

llama.cpp 被包進大量桌面與行動 App、語言綁定與工具鏈,這些專案都是對著標頭編譯的。沒有版本約定時,一次介面調整會在毫無預警的週二變成建置失敗,維護者只能在自己的程式碼裡猜哪裡出了問題。

現在多了一個可以寫進依賴檔的數字。升級前看一眼主版號有沒有動,就知道要不要預留時間改程式。這類專案通常由一兩個人維護,更新節奏跟著上游跑。上游一動,他們就得重新編譯、跑測試、改版號,然後祈禱使用者不會在下載之後才發現崩潰。有了版本號,這件事至少有了先後順序:主版號沒動的更新排進例行維護,動了就得當成一次小型遷移來處理。

GGUF 與打包:從 Docker 到 XCFramework

先分清楚三個名字。ggml 是底下的張量函式庫,負責把運算鋪到不同硬體上;llama.cpp 把 ggml 包成一支可以載入模型、跑推論的程式;GGUF 則是它讀的檔案格式。這次兩個函式庫一起升版,因為標頭互相依賴,只升一個會讓下游對不上。

GGUF 這次沒有改動,公告也沒有說它會變。實際的變化在配送:Linux、macOS、Windows、Android 與 iOS 都有預先發布的產物,另外還有 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 與 XCFramework。

對負責出貨的人,這份清單比任何基準測試都有用。它決定你要自己編譯,還是抓一個現成的包裝進安裝程式。發行版維護者看到的則是另一件事:總算有一個可以寫進依賴描述、也可以拿來對使用者交代的數字。

舊教學會不會因此失效?多數指令與參數沒動,變的是對外承諾的範圍。

llama.cpp 敢給承諾的底氣:CI 與自架 runner

要承諾 API 穩定,前提是每個後端都有人在測。團隊用 Hugging Face Buckets 與 HF Jobs 擴充 CI 容量,自架 runner 跑在 NVIDIA、AMD、Qualcomm、Arm、IBM 與 Intel 的硬體上。

這段讀起來像致謝名單,其實是整篇公告最務實的部分。沒有跨硬體的測試,版本號只是一張貼紙。

llama.cpp 的夜版沒停,b12445 在 16 日發布

發布三天後,GitHub 上出現 b12445。這是重點,不是例外。一個把開發凍結住的穩定承諾沒有價值,夜版持續出貨,說明版本號管的是介面,不是開發的節奏。

v1.0.0 是對別人程式碼的承諾

真正的測試在第一個 MAJOR 出現那天。那時會有人發現自己的建置流程壞了,然後看團隊怎麼處理:給遷移說明、留一段重疊期,還是只發一則公告。在那之前,這份公告的價值只落在一個地方。下次你看到依賴版本從 0.x 跳到 1.x,你知道可以開口要一份遷移說明,而不是自己一行一行讀 diff。

如果你手上有一個跟著 llama.cpp 走的專案,現在可以做兩件事。把依賴釘在 v1.0.0,讓排程與部署不用每天提心吊膽。再在 CI 裡留一個追夜版的 job,讓你在下一個介面變動公開之前,就先看到它長什麼樣。

分享這則新聞

來源

相關 AI 新聞

一條搜尋列,左側滑出助理側欄,下方是一排捷徑標籤
AI產品

Google Search homepage 改版:搜尋框還在,Gemini 對話搬進左側欄

Google 把桌面版首頁重新排了一次。搜尋框底下那顆按鈕換成一排 Gemini 捷徑,左側多出一個可以收合的對話欄,改變的是你進站後的第一個動作。

熱度:1,790
前景是一個線條勾勒的應用程式視窗,後方有第二個視窗正在工作,一條游標路徑在兩者之間延伸
AI產品

Gemini computer use 登上 Mac:背景視窗替你把工作跑完

Google 在 11 月 19 日把 computer use 放進 macOS 版的 Gemini app。它在一個獨立背景視窗裡替你點選單、填表單,你的螢幕與游標可以留在原來的工作上。

熱度:1,740
對話泡泡封在金庫門內,旁有保留期旋鈕與兩個淡去的 72 小時計時器
AI產品

Gemini 把聊天記錄和 AI 訓練拆成兩個開關,保留期同時變成兩個月

以前在 Gemini 裡,刪掉聊天記錄是拒絕 AI 訓練的唯一辦法。現在這兩個決定分開了,但另一項保留期同時變長。

熱度:1,500
藍色應用面板上有 @ 符號、一個圓與小型長條圖,旁邊寫著 Gemini 讀取 Wallet
AI產品

Gemini 讀得到 Google Wallet 的帳,卻一塊錢都動不了

Google 把錢包的消費紀錄接進 Gemini,你在對話裡 tag 一下就換來一張收支圖。它是唯讀的:看得見你的錢怎麼跑,卻不能轉帳、不能下單,也不能替你投資。

熱度:1,400