Dream 7B
HKU NLP Group and Huawei Noah's Ark Lab · 商業 · 其他
Dream 7B 是由香港大學與華為打造的免費開源擴散語言模型。它一次平行生成整段文字，而不是逐字輸出，面對複雜任務的規劃能力也勝過同尺寸模型。
關於 Dream 7B
About
什麼是 Dream 7B
Dream 7B 又稱 Dream LLM，是由香港大學與華為諾亞方舟實驗室推出的 70 億參數文字擴散模型，也是一款開源語言模型。多數聊天機器人，包括 GPT-4 與 Claude，都是從左到右、一次一個詞元地輸出文字。Dream 7B 的做法不同。它從一段完全雜訊的序列出發，用多個步驟平行修整整段文字，因此每個位置都能同時看見完整脈絡。
這樣的設計在兩個地方發揮效果。在一般寫作、數學與程式上，Dream 7B 能與同尺寸的強力自迴歸模型平起平坐，甚至超越 Qwen2.5 7B 與 LLaMA3 8B。在 Countdown、Sudoku 這類規劃謎題上，它跑在這些模型前面，有時還贏過參數量高出許多的 DeepSeek V3。它也支援填空，你可以要求它補上一段文字的缺口，或保留指定的結尾句。
代價是，這是一份研究釋出，不是打磨過的應用程式。沒有代管聊天服務，權重沒有商用授權，團隊也不提供 API。想自己跑，第一步就是 Dream 7B 下載權重，而且要有一張至少 20GB 記憶體的繪圖卡才能起步。
開始使用
- 安裝正確的函式庫：transformers 4.46.2 與 torch 2.5.1，因為 Dream 依賴 torch 內建的 SdpaAttention。
- 從 Hugging Face 下載檢查點，要微調就選 Dream-v0-Base-7B，要對話就選 Dream-v0-Instruct-7B。
- 用 AutoModel 與 AutoTokenizer 載入模型，開啟 trust_remote_code，再移到 CUDA 裝置上。
- 呼叫 model.diffusion_generate 並帶入你的提示，調整 steps 就能在速度與品質之間取捨。
- 若要微調，複製儲存庫並在 8 張繪圖卡的節點上執行 SFT 腳本。
產品資訊
快速了解 Dream 7B 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 研究者：權重、訓練程式與評估腳本全部開放，你可以研究擴散訓練或在其上繼續開發，不必簽商用合約。
- 測試非自迴歸模型的開發者：只要幾行程式就能在單張 20GB 顯示卡上跑起來，嘗試擴散路線的成本幾乎只等於一次下載。
- 想弄懂擴散語言模型的學生：模型卡、官方部落格與論文用平實的說法解釋自迴歸初始化與雜訊重排。
任務
- 文字填空：你給一個開頭與一句明確的結尾，Dream 補上中間，適合修改草稿或修補斷裂的段落。
- 限制條件繁多的規劃謎題：它能處理同時有多條規則的問題，例如排程或邏輯遊戲，表現勝過同尺寸模型。
- 針對特定領域微調：儲存庫內含訓練程式，你可以把基礎模型調整成貼合自家資料的版本，不必依賴代管 API。
情境
- 想試擴散語言模型又不想付費買商用服務：權重免費、程式公開，你可以在自己的硬體上完整跑一遍。
- 研究從左到右生成之外的替代方案：你可以調整步數與重新遮罩策略，觀察品質與速度怎麼變動。
- 預算有限也想做程式或數學助理：專攻程式、只用公開資料訓練的 7B 夥伴模型 Dream-Coder，能在普通硬體上運行。
主要功能
平行文字生成
Dream 7B 每一步產出多個詞元，而不是一次一個。序列一開始全部被遮罩，接著平行修整，模型每一輪都能取用完整脈絡。這正是它與自迴歸模型的核心差異，也是它規劃能力好的原因。
規劃與多重限制任務
面對同時擠進多個限制的問題，這個模型特別突出。在 Countdown 與 Sudoku 上，它勝過 Qwen2.5 7B 與 LLaMA3 8B，有時還能追近尺寸大得多的 DeepSeek V3。港大團隊表示，擴散更適合有多個目標與限制的問題。
填空與任意順序
你不需要被綁在從左到右的輸出。Dream 7B 能在給定開頭與固定結尾句之間補齊內容，也能依你指定的順序生成。對於保留某一行、改寫中間的編輯工作來說，這點很實用。
品質與速度的取捨
擴散步數決定每個答案分到多少工夫。步數少，回覆更快但更粗糙；步數多，品質更好但成本更高。這等於給你一個自迴歸模型沒有的速度旋鈕，而且每次請求都能調整。
開放權重與訓練程式
基礎與指令檢查點都放在 Hugging Face，訓練、評估與 SFT 程式則在 GitHub。你可以用自己的資料微調 Dream 7B，而不是租用它。團隊另外釋出專攻程式的 Dream-Coder 與處理變動長度生成的 DreamOn。
重新遮罩策略
diffusion_generate 呼叫讓你選擇詞元如何定案。你可以完全隨機，也能用 maskgit_plus、topk_margin、entropy 這類信心策略，再加溫度製造變化。語言模型推論的品質會隨這些選擇改變，講求精準時信心策略就很重要。
2048 詞元脈絡與單卡運行
Dream 7B 的輸入加輸出脈絡長度為 2048 個詞元，足以應付多數單次提示的任務。它只需要一張至少 20GB 記憶體的繪圖卡，因此一台工作站就能負擔，不必動用叢集。
優缺點
優點
- 基礎與指令模型的權重都免費開放，沒有綁付費方案的商用授權。
- 在一般寫作、數學與程式的評測上，能與同尺寸自迴歸模型平起平坐甚至超越。
- 在 Countdown、Sudoku 等規劃任務上領先，有時還贏過參數多得多的模型。
- 原生填空與任意順序生成，開啟了從左到右模型做不到的編輯流程。
- 可調的擴散步數，讓每次請求都有明確的速度與品質取捨。
缺點
- 沒有代管產品，你必須自己運行，並準備一張至少 20GB 記憶體的繪圖卡。
- 2048 詞元的脈絡偏短，長文件與長篇對話都用不上。
- 團隊沒有提供 API，要接進應用程式就得自己架模型、自己寫推論路徑。
- 預設的隨機解碼策略可能拉低準確度，認真使用時得調整重新遮罩設定。
- 作為研究釋出，它缺少商用模型具備的打磨、安全層與技術支援。
常見問題
可以。基礎與指令檢查點在 Hugging Face 上都免費，訓練程式也在 GitHub 公開。沒有付費方案，也沒有代管訂閱，只是硬體得自己負擔。
相關內容
探索與 Dream 7B 相關的工具、技能與文章。
Dream 7B 替代方案
Knocket
Knocket (Tencent RTC team) · 生產力 · 商業 · 聊天機器人Knocket 是免費的線上客服與聯絡頁面工具，訪客可從網站、App 或一條分享連結傳訊息，你在 Telegram 或單一收件匣就能回覆。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
Ayven
Alknoma · 生產力 · 商業Ayven 是 Alknoma 推出的 AI 控制中心，能把一句話描述的目標變成有日期的計畫，把任務分派給團隊成員與 AI 代理，只在決定權屬於你時請你核准。