資料不想上傳到別人的伺服器,又不想被單一廠商綁死,開源模型是很多人第一個想到的出路。但「開源」兩個字底下藏著不少細節,選錯一款,硬體買了跑不動、授權用了才發現不能商用。這篇把選型該看的東西講清楚。
開源模型到底是什麼意思
先釐清一個常被混用的詞:嚴格來說,多數所謂的「開源 LLM」其實是「開放權重」(open weights)。意思是模型訓練完成後的參數檔開放下載,你能在自己的機器上跑;但訓練資料、訓練方法未必一併公開。
這個差別對使用者的實際影響,主要在於能不能自由改造與商用。開放權重讓你可以本地部署、微調、整合進自家產品;但授權條款各家不同,有些寬鬆到接近完全自由,有些則限制商業用途或使用者數量。
所以看開源模型時,第一件事不是看分數,而是看授權。Apache 2.0 這類最寬鬆,拿去做商業產品基本沒問題;有些社群授權則附帶月活躍使用者門檻或商用限制,簽約前得看清楚。
為什麼有人寧可自己架
自己架模型的理由,大致不脫三個。
一是隱私。金融、醫療、法律這類行業,客戶資料動輒涉及法規,根本不能送出公司網路。把模型放在自己的伺服器上,資料不出門,這是硬需求。
二是成本。雲端 API 按用量收費,量大時帳單很可觀。自架雖然前期要買顯卡,但長期邊際成本低,用越多越划算。使用量大的團隊算過帳之後,常常發現自架更省。
三是掌控權。雲端模型會改版、會下架、會調價,你依賴的版本說不定哪天就消失。自架讓你鎖定一個版本長期使用,不必隨廠商起舞。
選型前先看你的硬體
這是新手最容易踩的坑:先挑了最強的模型,才發現自己的機器跑不動。開源模型能不能跑,記憶體預算往往比排行榜名次更關鍵。
經驗法則是記憶體越大能跑的模型越大。以常見的消費級配置來說,16GB 記憶體大約能舒服地跑動 12B 等級的模型,當日常助理夠用;32GB 則可以挑戰 30B 上下的中等模型,整體表現明顯上一階。
如果要跑 70B 以上的大模型,通常得靠較高階的顯示卡或把多張卡串起來,成本直接跳一個量級。這也是為什麼「最強開源模型」對多數人來說其實跑不動,反而中等規模的模型才是實用選項。
幾款值得認識的開源模型
依用途分,目前幾個常被點名的選擇各有主場。
想要一台全能助理,Qwen3 系列是熱門起點,多語言能力強,社群資源也多。偏好筆電或邊緣裝置,Gemma 4 的輕量版本對硬體友善,跑起來負擔小。
需要超長上下文,Llama 4 Scout 的容量在開源陣營裡數一數二,能一次吞下超大量文字。要拼高階推理與程式能力,DeepSeek 的 V4 系列是很多人自架時的首選,效能逼近前沿。
想找低 API 成本又不想完全自架,DeepSeek V4 的輕量版本是常見的過渡選項。想拿 OpenAI 血統的開放權重推理模型,gpt-oss 系列走的是 Apache 2.0 授權,商用限制少。
怎麼挑才不會白花錢
把上面的資訊收斂成順序,可以這樣走。
第一步,先確定你的硬體上限,算出記憶體與顯示卡能撐到多大的模型。這一步沒做,後面都是空談。
第二步,按用途挑型號。日常助理挑中等規模、表現均衡的;重度程式挑推理強的;長文件處理挑上下文大的。別追單項第一,追「你的任務上的第一」。
第三步,把授權條款讀過一遍。確定你要做的用途(內部使用、商用產品、對外服務)在授權範圍內。這一步最容易被跳過,也最貴。
第四步,實測再定案。用你的真實案例跑一遍,感受速度與品質,比看別人的跑分可靠得多。
別忽略工具鏈這一塊
模型只是半套,能不能順手用還得看周邊工具。多數人不會直接跟命令列打交道,而是透過 Ollama、LM Studio 這類本地執行工具來跑模型,它們把下載、啟動、對話介面都包好了。
搭配的推論引擎也影響速度。同樣一個模型,換不同的後端,每秒能吐出的詞元數可以差好幾倍。對互動式使用來說,這個差異直接決定體感順不順。
社群活躍度同樣是隱形指標。選一個討論熱絡、範例多的模型,遇到問題上網一搜就有答案;冷門模型卡住時,可能得自己硬啃。選型時把這一項算進去,省下的是往後的時間。
開源與閉源,不一定二選一
最後要破除一個迷思:用了開源,就不能用閉源了嗎?其實兩者可以混搭,而且這是很多團隊的實際做法。
常見的組合是:日常、量大、敏感度高的任務,交給自架的中等開源模型處理,資料不出門、成本也可控;真正困難、需要最強推理的題目,再外包給雲端的頂規模型。用一層簡單的路由邏輯,把任務分派到合適的模型上。
這種混合架構兼顧了隱私、成本與能力,也是這幾年企業導入生成式 AI 的主流路線之一。你不用一開始就選邊站,先從一個小場景試起,慢慢找出最適合自己的組合。
從一個小場景開始就好
開源 LLM 的門檻這幾年降了不少,但真正的難點從來不在「有沒有得選」,而在「選對那一款」。記住順序:先看硬體、再看授權、再看用途,最後實測。
如果你還沒用過開源模型,最務實的起點是挑一款中等規模的模型,用本地工具跑起來,找一個你每天都在做的小任務試試看。跑得順,再談要不要擴大;跑不順,至少你已經知道自己的硬體上限在哪。下一步,就是動手裝起來試一次。






