Seed Diffusion
ByteDance Seed · 程式設計
Seed Diffusion 是字節跳動實驗性的擴散語言模型，用來生成程式碼。它一次平行寫出多個詞元，而非逐個產生，速度達每秒 2,146 個詞元。
關於 Seed Diffusion
About
Seed Diffusion 是什麼
Seed Diffusion 是字節跳動的語言模型，用擴散方式生成文字，而非一般逐字接龍的做法。幾乎所有語言模型，包括日常聊天機器人背後的那些，都是一個詞元接一個詞元、由左到右產生回答。Seed Diffusion 走的是另一條路：從雜訊出發，一次把一整塊詞元修得清晰。
它以 Seed Diffusion Preview 之名推出，是一份聚焦程式碼的公開研究。字節跳動 Seed 團隊與清華大學 AIR 實驗室合作開發，想驗證離散擴散模型在語言任務上是否站得住腳，而不只是在圖像與影片領域，因為後者這套方法早就成效不錯。作為字節跳動程式碼生成模型，它把由左到右的解碼器換成平行解碼。在 H20 GPU 上，它生成程式碼的速度達每秒 2,146 個詞元，團隊稱比同規模的自迴歸模型快 5.4 倍。
重點在於，這是一個預覽版，不是產品。沒有定價、沒有公開 API，也沒有一般聊天介面。目標是證明這條路線可行，團隊把速度定位為一條更長研究路上最顯眼的成果。
開始使用
- 打開 studio.seed.ai/exp/seed_diffusion 的展示頁，用程式碼指令試試這個模型。
- 閱讀 seed.bytedance.com/seed_diffusion 的專案頁面，了解技術背景。
- 查看 arXiv 上的論文（編號 2508.02193），掌握方法、基準測試與訓練細節。
- 把你目前使用的程式碼模型，跟這裡公布的速度與品質比一比，再判斷它是否適合你的流程。
產品資訊
快速了解 Seed Diffusion 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 研究者：這是離散擴散應用在語言上的一份可運作參考，方法與基準測試一併公開。
- 程式碼框架與工具開發者，以及用 AI 寫程式的人：能觀察平行解碼如何改變生成與編輯程式碼的延遲。
- 關注模型設計的技術讀者：這是一個非自迴歸架構的實例，速度與品質的取捨清楚，值得研究。
任務
- 程式碼生成：依指令產出程式碼區塊，也是這個預覽版設計與評估的核心任務。
- 程式碼編輯：改寫並修復現有程式碼，在這種任務上，整塊視野勝過逐步生成。
- 在展示頁快速試作：不需安裝任何東西，就能觀察擴散模型怎麼回應程式碼指令。
情境
- 在擴散語言模型進入生產環境前先研究它：展示頁與論文提供了實際衡量成熟度的方式。
- 評估速度在程式碼流程中重不重要：每秒 2,146 個詞元這個數字，是判斷這題的具體依據。
- 追蹤字節跳動的研究方向：這次發布透露 Seed 團隊下一步要投入哪裡。
主要功能
平行生成詞元
Seed Diffusion 一次起草大量詞元，而不是一個接一個。速度就來自這個設計選擇：模型把算力花在填滿一整塊，而不是等每個詞元輪流產生。面對冗長的程式碼輸出，使用者等待的時間也因此不同。
每秒 2,146 個詞元的實測速度
在 H20 GPU 上，這個預覽版生成程式碼的速度是每秒 2,146 個詞元，團隊稱比同規模的自迴歸模型快 5.4 倍。這是最大賣點，論文也把它定位成程式碼模型在速度與品質權衡上的新標竿。Seed Diffusion 速度就是這份研究最核心的發現。
程式碼基準測試的競爭力
如果程式碼品質差，速度快也沒什麼意義。字節跳動表示，這個模型在標準程式碼基準測試上追平同規模的自迴歸模型，在需要通盤看待檔案的編輯任務上還更勝一籌。
兩階段訓練
字節跳動指出，模型分兩趟學習。第一趟填補被遮罩的詞元，打好基本的補全能力；第二趟插入與刪除詞元，逼模型評估整個序列，團隊認為這讓它在 CanItEdit 程式碼修復上比自迴歸模型高 4.8%。
結構化順序與同策略調校
語言與程式碼都有規律，例如變數要先宣告再使用。Seed Diffusion 用受約束的順序訓練，尊重這些依賴關係，之後再調整自己，用更少步驟收斂，品質卻不掉。
優缺點
優點
- 生成速度極快：每秒 2,146 個詞元，遠高於同規模的自迴歸程式碼模型。
- 公布的品質不俗：在標準程式碼基準測試上追平同級自迴歸模型。
- 擅長程式碼編輯：整塊視野讓它在需要通盤閱讀檔案的任務上吃香。
- 參考資料公開：展示頁與論文都公開，任何人都能檢視這些說法。
缺點
- 只有預覽版：沒有定價、沒有產品、沒有一般介面，因此無法用於正式環境。
- 沒有確定的 API：官方未說明可用性，團隊暫時無法據此開發。
- 聚焦程式碼：這個預覽版是為程式碼調校的，其他文字任務的表現尚未確立。
- 速度取決於硬體：這個數字來自 H20 GPU，實際吞吐量會有落差。
常見問題
它是字節跳動實驗性的擴散語言模型。它不逐個寫詞元，而是一次平行修整整塊詞元，用於驗證擴散在程式碼生成上的可行性。
相關內容
探索與 Seed Diffusion 相關的工具、技能與文章。
Seed Diffusion 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。