一個很多人每天在用、卻很少人直接打開的推論引擎,終於有了版本號。這次公告沒有新模型也沒有速度數字,講的全是別人的程式碼會不會被無聲改壞。
llama.cpp 與 ggml 一起站上 v1.0.0
ggml-org 團隊在 11 月 13 日於 Hugging Face 部落格公布,llama.cpp 與 ggml 兩個函式庫同時進到 v1.0.0,公開標頭分別是 libllama 與 libggml,放在 llama.cpp/include 與 ggml/include。專案從開始到現在走了三年半。
公告署名三位作者,包括 Georgi Gerganov。整篇沒有提到新模型,也沒有跑分成績,內容集中在介面與打包方式。
local inference 是什麼:模型跑在你自己的機器上
llama.cpp 是一套用 C 與 C++ 寫的推論引擎,把量化過的模型載進來,在筆電、手機、樹莓派等級的板子或伺服器上執行。它支援多模態模型,靠量化、針對硬體調整的後端與可攜的實作,讓同一個模型能放進大小差很多的機器。
量化在這裡是關鍵字。它把模型權重從高精度壓成較小的數字格式,檔案變小、記憶體需求下降,代價是精度會掉一點。這個取捨讓 7B 等級的模型有機會跑在家用硬體上,也讓「離線」這兩個字變得實際。
沒有這類工具,同樣的模型要在家用硬體上執行會困難許多。台灣與香港的開發者對這件事不陌生:把模型塞進桌面 App、在 Mac 上跑推論、讓工廠廠區在沒有外網的情況下也能用,靠的都是同一層東西。
v1.0.0 的規則:MAJOR、MINOR、PATCH 各管什麼
語意化版本從現在開始適用。MAJOR 代表 ./include 裡的公開 C API 出現破壞性變更,MINOR 是向後相容的新功能、後端更新、模型支援或 API 新增,PATCH 只修錯誤、不動 API。兩個函式庫用同一套規則。
這條規則把「什麼時候會壞」變成可預期的。以前下游只能盯 commit,或等編譯失敗再回頭找原因。
為什麼要等到三年半才編號,公告沒有給理由。合理的推測是專案早期變動太快,任何版本約定都撐不住;等到介面穩下來,承諾才有東西可以附著。這句話是我的判斷,不是官方說法。
為什麼 v1.0.0 對下游 App 是大事
llama.cpp 被包進大量桌面與行動 App、語言綁定與工具鏈,這些專案都是對著標頭編譯的。沒有版本約定時,一次介面調整會在毫無預警的週二變成建置失敗,維護者只能在自己的程式碼裡猜哪裡出了問題。
現在多了一個可以寫進依賴檔的數字。升級前看一眼主版號有沒有動,就知道要不要預留時間改程式。這類專案通常由一兩個人維護,更新節奏跟著上游跑。上游一動,他們就得重新編譯、跑測試、改版號,然後祈禱使用者不會在下載之後才發現崩潰。有了版本號,這件事至少有了先後順序:主版號沒動的更新排進例行維護,動了就得當成一次小型遷移來處理。
GGUF 與打包:從 Docker 到 XCFramework
先分清楚三個名字。ggml 是底下的張量函式庫,負責把運算鋪到不同硬體上;llama.cpp 把 ggml 包成一支可以載入模型、跑推論的程式;GGUF 則是它讀的檔案格式。這次兩個函式庫一起升版,因為標頭互相依賴,只升一個會讓下游對不上。
GGUF 這次沒有改動,公告也沒有說它會變。實際的變化在配送:Linux、macOS、Windows、Android 與 iOS 都有預先發布的產物,另外還有 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 與 XCFramework。
對負責出貨的人,這份清單比任何基準測試都有用。它決定你要自己編譯,還是抓一個現成的包裝進安裝程式。發行版維護者看到的則是另一件事:總算有一個可以寫進依賴描述、也可以拿來對使用者交代的數字。
舊教學會不會因此失效?多數指令與參數沒動,變的是對外承諾的範圍。
llama.cpp 敢給承諾的底氣:CI 與自架 runner
要承諾 API 穩定,前提是每個後端都有人在測。團隊用 Hugging Face Buckets 與 HF Jobs 擴充 CI 容量,自架 runner 跑在 NVIDIA、AMD、Qualcomm、Arm、IBM 與 Intel 的硬體上。
這段讀起來像致謝名單,其實是整篇公告最務實的部分。沒有跨硬體的測試,版本號只是一張貼紙。
llama.cpp 的夜版沒停,b12445 在 16 日發布
發布三天後,GitHub 上出現 b12445。這是重點,不是例外。一個把開發凍結住的穩定承諾沒有價值,夜版持續出貨,說明版本號管的是介面,不是開發的節奏。
v1.0.0 是對別人程式碼的承諾
真正的測試在第一個 MAJOR 出現那天。那時會有人發現自己的建置流程壞了,然後看團隊怎麼處理:給遷移說明、留一段重疊期,還是只發一則公告。在那之前,這份公告的價值只落在一個地方。下次你看到依賴版本從 0.x 跳到 1.x,你知道可以開口要一份遷移說明,而不是自己一行一行讀 diff。
如果你手上有一個跟著 llama.cpp 走的專案,現在可以做兩件事。把依賴釘在 v1.0.0,讓排程與部署不用每天提心吊膽。再在 CI 裡留一個追夜版的 job,讓你在下一個介面變動公開之前,就先看到它長什麼樣。






