AI 模型

NVIDIA 開源 Nemotron 3.5 Super VL:能看圖讀文件的多模態代理模型

NVIDIA 發布 Nemotron 3.5 Super VL 並開源權重,這是一款 1200 億參數、120 億激活的混合專家多模態模型,支援文字、圖像、文件與影片理解,主打企業常駐代理,可在單台 DGX Spark 執行。

陳柏宇陳柏宇
熱度:1,520
NVIDIA 開源 Nemotron 3.5 Super VL:能看圖讀文件的多模態代理模型

NVIDIA 端出一款能看圖、讀文件、看影片,還會自己動手用工具的多模態模型,全部開源。企業想養一個「一直開著」的 AI 代理,又不想把資料送出去,這款就是衝著這個需求來的。

NVIDIA 開源 Nemotron 3.5 Super VL

10 月 15 日,NVIDIA 發布 Nemotron 3.5 Super VL,並開放模型權重。這是一款多模態模型,主打企業用的「常駐代理」(always-on agent)場景,也就是幫公司長時間盯著任務、自己判斷下一步該做什麼的 AI 助手。

規格上,它是一個 1200 億參數的混合專家(mixture-of-experts,MoE)模型,每個詞元只啟用其中 120 億個。混合專家可以理解成一個分工很細的團隊,每次只叫最相關的幾個人上場,既能保有龐大的知識量,又不會拖慢速度。上下文視窗達 100 萬個詞元,足以一次吞下好幾份長文件。

這款模型屬於 NVIDIA 的 Nemotron 家族。家族裡還有負責大量文字處理的 Nemotron 3.5 Lightning,以及負責規劃與調度的 Nemotron 3 Ultra。Super VL 補上的,是需要「看」的環節。

一款模型同時處理文字與影像的理由

NVIDIA 這次主打的賣點,是別再分開部署兩種模型。過去企業若要讓代理看圖,通常得同時架一套文字模型與一套視覺語言模型,中間還要把對話內容傳來傳去。Super VL 把兩件事併進同一個模型,好處是它能一邊看懂圖表,一邊對照文件另一處的表格,再把兩者串起來回答。

它的視覺訓練涵蓋圖表、表格、光學字元辨識(OCR,把圖片裡的字讀出來)、多頁文件與影片。NVIDIA 在技術部落格裡用一個情境說明:客服代理先讀一份政策文件,接著再看一張收據照片,這些動作最好由同一個模型包辦。

實際能派上用場的地方,官方點名了寫程式、網路研究、文件理解、資安與影片分析。

Nemotron 3.5 Super VL 的效能主張

NVIDIA 說,在單一張 GPU 上,這款模型處理代理任務的吞吐量最高可達同級開源模型的 5 倍。他們引用 Artificial Analysis Intelligence Index 的代理任務測試,說在 Baseten 的服務端點上每秒能產生超過 600 個詞元。

速度快的底層原因有幾個。一是推測解碼(speculative decoding),先由一個輕量網路草擬一整批詞元,再交給主模型一次驗證,在 DGX Spark 上能讓生成速度提升到 2.3 倍。二是 NVFP4 量化,也就是把模型權重壓成 4 位元,同時用訓練來補回精度落差,藉此省下記憶體又不太掉準確率。三是上下文重用,代理每一輪都會重送系統提示與工具定義,這套機制能避免重複計算。

NVIDIA 還提到,獨立評測機構 EXO Labs 在一台 128GB 的 DGX Spark 上,把這款模型放上了「準確率對任務完成時間」的帕雷托前沿,意思是在這兩個指標的取捨上表現突出。

廠商公布的成績

  • CharXiv 圖表推理 80.8%
  • Hermes Bench 代理測試 63.44%
  • 單 GPU 吞吐最高 5 倍於同級

需要注意的地方

  • 數字多出自 NVIDIA 自家測試
  • 兩項比較是對自家更大的 Nemotron 3 Ultra
  • 第三方獨立複現尚未公布

兩款邊緣模型與 Nemotron 生態

除了 Super VL,NVIDIA 同步推出兩款體積更小的邊緣模型,掛在 Nemotron 3.5 Bolt 系列下,一個約 4GB、一個約 24GB。這類模型適合放在終端裝置或邊緣伺服器上,處理不需要動用大型模型的即時任務。

整體來看,NVIDIA 賣的不只是模型。它同時釋出權重、約 2.8 兆詞元的訓練資料(涵蓋 22 種印度語言,與印度理工學院馬德拉斯分校的 AI4Bharat 實驗室合作開發),以及可客製化的工具鏈,讓企業能用自己的資料再訓練。這種「開源加全套配方」的做法,是 Nemotron 家族的招牌。

想取用這款模型,可以在 Hugging Face、ModelScope、OpenRouter 與 NVIDIA 自家的 NIM 平台上找到。

對企業導入的實際意義

對正在評估 AI 代理的團隊來說,一款模型同時處理文字、圖表與影片,能少掉拼接兩套系統的工程負擔。代理讀文件、看圖表這類任務,過去常卡在「模型看不懂圖,得另外找工具解讀」的環節,現在有機會一次解決。

能不能跑在本機也值得注意。NVFP4 版本針對 DGX Spark 最佳化,代表企業若在意資料主權,可以選擇在自家硬體上執行,不必把敏感文件送上外部雲端。

需要保留態度的是效能數字。NVIDIA 的吞吐量與準確率主張,目前幾乎都來自自家測試環境,兩項代理比較還是拿自家更大的模型當對照。第三方獨立複現還沒出來。導入前的試跑,還是免不了。

分享這則新聞

來源

相關 AI 新聞

Reflection 開源 Beam:501B MoE 模型以 Apache 2.0 釋出權重
AI 模型

Reflection 開源 Beam:501B MoE 模型以 Apache 2.0 釋出權重

Reflection 在 Hugging Face 以 Apache 2.0 釋出首個開放權重模型 Beam,501B 總參數的稀疏 MoE、支援 100 萬詞元上下文,主打軟體工程與長程代理任務,權重可自由商用。

熱度:1,440
快手可靈 Kling 4.0 上線:單次 30 秒、支援 4K HDR
AI 模型

快手可靈 Kling 4.0 上線:單次 30 秒、支援 4K HDR

快手的可靈 AI 推出 Kling 4.0,單次影片生成時長從 15 秒翻倍到最長 30 秒,支援 4K 與 10-bit HDR,並把多模態參考輸入拉到 15 項,獨立評測前先看官方規格。

熱度:1,360
Gemini 4 Argon 開放付費訂閱者:誰能用、API 為何 12 月漲價
AI 模型

Gemini 4 Argon 開放付費訂閱者:誰能用、API 為何 12 月漲價

Google 把 Gemini 4 Argon 從少數網路安全人員的測試名單,推向付費訂閱者與開發者。這款主打複雜多步任務的模型終於大範圍放量,但推送分批進行,付了錢不代表馬上就看得到入口。

熱度:1,620
Meta 開源 Muse Spark Open:8160 億參數模型能在 Mac Studio 本地跑
AI 模型

Meta 開源 Muse Spark Open:8160 億參數模型能在 Mac Studio 本地跑

Meta 發布 Muse Spark Open 的模型權重,稱是美國最強開源權重模型。8160 億總參數、420 億激活參數,100 萬詞元上下文,能透過 Apple MLX 在兩台 M5 Ultra Mac Studio 本地執行,寫程式與代理任務為主。

熱度:1,780