AI 模型

不想把資料交給雲端?開源 LLM 的選型與實測

開源 LLM 的核心價值在隱私、成本與掌控權,但選錯一款可能硬體跑不動或誤觸授權限制。這篇說明開放權重的真正含意、硬體預算怎麼估、幾款代表模型的適用場景,以及混合部署的做法。

陳柏宇陳柏宇
熱度:1,150
不想把資料交給雲端?開源 LLM 的選型與實測

資料不想上傳到別人的伺服器,又不想被單一廠商綁死,開源模型是很多人第一個想到的出路。但「開源」兩個字底下藏著不少細節,選錯一款,硬體買了跑不動、授權用了才發現不能商用。這篇把選型該看的東西講清楚。

開源模型到底是什麼意思

先釐清一個常被混用的詞:嚴格來說,多數所謂的「開源 LLM」其實是「開放權重」(open weights)。意思是模型訓練完成後的參數檔開放下載,你能在自己的機器上跑;但訓練資料、訓練方法未必一併公開。

這個差別對使用者的實際影響,主要在於能不能自由改造與商用。開放權重讓你可以本地部署、微調、整合進自家產品;但授權條款各家不同,有些寬鬆到接近完全自由,有些則限制商業用途或使用者數量。

所以看開源模型時,第一件事不是看分數,而是看授權。Apache 2.0 這類最寬鬆,拿去做商業產品基本沒問題;有些社群授權則附帶月活躍使用者門檻或商用限制,簽約前得看清楚。

為什麼有人寧可自己架

自己架模型的理由,大致不脫三個。

一是隱私。金融、醫療、法律這類行業,客戶資料動輒涉及法規,根本不能送出公司網路。把模型放在自己的伺服器上,資料不出門,這是硬需求。

二是成本。雲端 API 按用量收費,量大時帳單很可觀。自架雖然前期要買顯卡,但長期邊際成本低,用越多越划算。使用量大的團隊算過帳之後,常常發現自架更省。

三是掌控權。雲端模型會改版、會下架、會調價,你依賴的版本說不定哪天就消失。自架讓你鎖定一個版本長期使用,不必隨廠商起舞。

選型前先看你的硬體

這是新手最容易踩的坑:先挑了最強的模型,才發現自己的機器跑不動。開源模型能不能跑,記憶體預算往往比排行榜名次更關鍵。

經驗法則是記憶體越大能跑的模型越大。以常見的消費級配置來說,16GB 記憶體大約能舒服地跑動 12B 等級的模型,當日常助理夠用;32GB 則可以挑戰 30B 上下的中等模型,整體表現明顯上一階。

如果要跑 70B 以上的大模型,通常得靠較高階的顯示卡或把多張卡串起來,成本直接跳一個量級。這也是為什麼「最強開源模型」對多數人來說其實跑不動,反而中等規模的模型才是實用選項。

幾款值得認識的開源模型

依用途分,目前幾個常被點名的選擇各有主場。

想要一台全能助理,Qwen3 系列是熱門起點,多語言能力強,社群資源也多。偏好筆電或邊緣裝置,Gemma 4 的輕量版本對硬體友善,跑起來負擔小。

需要超長上下文,Llama 4 Scout 的容量在開源陣營裡數一數二,能一次吞下超大量文字。要拼高階推理與程式能力,DeepSeek 的 V4 系列是很多人自架時的首選,效能逼近前沿。

想找低 API 成本又不想完全自架,DeepSeek V4 的輕量版本是常見的過渡選項。想拿 OpenAI 血統的開放權重推理模型,gpt-oss 系列走的是 Apache 2.0 授權,商用限制少。

怎麼挑才不會白花錢

把上面的資訊收斂成順序,可以這樣走。

第一步,先確定你的硬體上限,算出記憶體與顯示卡能撐到多大的模型。這一步沒做,後面都是空談。

第二步,按用途挑型號。日常助理挑中等規模、表現均衡的;重度程式挑推理強的;長文件處理挑上下文大的。別追單項第一,追「你的任務上的第一」。

第三步,把授權條款讀過一遍。確定你要做的用途(內部使用、商用產品、對外服務)在授權範圍內。這一步最容易被跳過,也最貴。

第四步,實測再定案。用你的真實案例跑一遍,感受速度與品質,比看別人的跑分可靠得多。

別忽略工具鏈這一塊

模型只是半套,能不能順手用還得看周邊工具。多數人不會直接跟命令列打交道,而是透過 Ollama、LM Studio 這類本地執行工具來跑模型,它們把下載、啟動、對話介面都包好了。

搭配的推論引擎也影響速度。同樣一個模型,換不同的後端,每秒能吐出的詞元數可以差好幾倍。對互動式使用來說,這個差異直接決定體感順不順。

社群活躍度同樣是隱形指標。選一個討論熱絡、範例多的模型,遇到問題上網一搜就有答案;冷門模型卡住時,可能得自己硬啃。選型時把這一項算進去,省下的是往後的時間。

開源與閉源,不一定二選一

最後要破除一個迷思:用了開源,就不能用閉源了嗎?其實兩者可以混搭,而且這是很多團隊的實際做法。

常見的組合是:日常、量大、敏感度高的任務,交給自架的中等開源模型處理,資料不出門、成本也可控;真正困難、需要最強推理的題目,再外包給雲端的頂規模型。用一層簡單的路由邏輯,把任務分派到合適的模型上。

這種混合架構兼顧了隱私、成本與能力,也是這幾年企業導入生成式 AI 的主流路線之一。你不用一開始就選邊站,先從一個小場景試起,慢慢找出最適合自己的組合。

從一個小場景開始就好

開源 LLM 的門檻這幾年降了不少,但真正的難點從來不在「有沒有得選」,而在「選對那一款」。記住順序:先看硬體、再看授權、再看用途,最後實測。

如果你還沒用過開源模型,最務實的起點是挑一款中等規模的模型,用本地工具跑起來,找一個你每天都在做的小任務試試看。跑得順,再談要不要擴大;跑不順,至少你已經知道自己的硬體上限在哪。下一步,就是動手裝起來試一次。

分享這則新聞

來源

相關 AI 新聞

由紫轉琥珀的膠卷影格抽象圖
AI 模型

Gemini Omni 1.2 Flash 單段拉到 15 秒,價格再降三成

Google 把 Gemini Omni 1.2 Flash 的單段長度從 10 秒拉到 15 秒,價格再降三成。對拍 15 秒社群廣告的人,這兩個改動直接改的是預算表。

熱度:1,420
鋼藍色盾牌輪廓疊在掃描線上的抽象插圖
AI 模型

GPT-6 Cyber 找出 81 個 Firefox 漏洞,但只有 Daybreak Red 碰得到

OpenAI 在 11 月 5 日公開 GPT-6 Cyber,這支模型會找漏洞、寫出可用的攻擊程式,再附上修補建議。它在 Firefox 與 Linux 核心留下的數字很具體,但多數開發者碰不到。

熱度:1,580
Indigo lattice forming a hexagon to represent an open-weight model release
AI 模型

Kimi K3.1 Pro 權重開放下載,兩兆八千億參數不是給你我跑的

Moonshot AI 在 11 月 5 日把 Kimi K3.1 Pro 的完整權重放上 Hugging Face,兌現 10 月 24 日發表時的承諾。檔案公開了,能不能跑是另一回事。

熱度:1,150
智元 GO-3 預覽版:機器人在模擬世界自己練功,還提了算工作量的新指標
AI 模型

智元 GO-3 預覽版:機器人在模擬世界自己練功,還提了算工作量的新指標

智元發表具身智慧基礎模型 GO-3 Preview,採 WRAM 架構串接推理、預測與動作,並以約 100 台實體機器人搭配模擬環境後訓練,計畫年底開源。

熱度:1,450