Phi-4-multimodal and Phi-4-mini
Microsoft · 程式設計
Phi-4-multimodal 與 Phi-4-mini 是微軟的小型開源模型：一款同時讀取文字、音訊與影像，另一款以 3.8B 參數快速進行文字推理。
關於 Phi-4-multimodal and Phi-4-mini
About
什麼是 Phi-4-multimodal 與 Phi-4-mini
Phi-4-multimodal 與 Phi-4-mini 是微軟研究院推出的兩款小型語言模型。它們在 2025 年 2 月加入 Phi 家族，作為 14B 版 Phi-4 的輕量夥伴。Mini 是文字主力，參數為 3.8B。Multimodal 沿用同一套骨幹，再加上視覺與語音，參數來到 5.6B。
這兩款微軟 Phi 模型是為裝置而設計，不是資料中心。兩者都能塞進記憶體吃緊的手機、筆電或車機，回應延遲也低。這正是這個家族的用意：不必租用雲端 GPU，就能得到堪用的多模態 AI 模型。
限制說得清楚。它們是小型模型，能記的事實知識比大型模型少。Mini 完全讀不了圖片。Multimodal 能處理文字、影像與音訊，但無法在同一個提示裡同時送入三者。兩款都採 MIT 授權，屬於開源 SLM，你可以微調後商業發布。
開始使用
- 從 Hugging Face 或 Azure AI Foundry 取得權重，若鎖定邊緣硬體則可選 ONNX 版本。若偏好呼叫託管端點，也可使用 Phi-4 API。
- 用 transformers 函式庫載入模型，或透過 Azure AI Foundry、GitHub 與 NVIDIA API 目錄呼叫。
- 送出對話提示。Mini 接受文字。Multimodal 另外接受影像與音訊，可處理 OCR 或語音轉文字等任務。
- 用 Phi Cookbook 的配方在自己的資料上微調，再部署到裝置上或從雲端提供服務。
產品資訊
快速了解 Phi-4-multimodal and Phi-4-mini 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 應用開發者：想在手機或筆電上加入 AI 功能、又不想繞一趟雲端的團隊。這兩款模型都小到能嵌入，MIT 授權也允許商業發布。
- 研究者：研究高效率訓練與多模態融合的實驗室。模型完全開放，你可以檢視 Mixture-of-LoRAs 設計並在其上延伸。
- 語音與視覺開發者：要為應用加上轉錄、翻譯或 OCR 的人。Multimodal 用單一模型就能涵蓋，不必串接多個模型。
任務
- 語音轉錄與翻譯：Multimodal 支援 20 多種語言的自動語音辨識與語音翻譯，還能摘要聽到的內容。
- 讀取文件與圖表：多模態模型能從影像擷取文字、解讀表格並對文件推理，適合收據、表單與掃描頁面。
- 數學與邏輯題：Mini 在同級模型中的推理測試表現不錯，能處理文字題、程式協助與逐步邏輯。
- 函式與工具呼叫：兩款模型都內建函式呼叫，可以接到 API 上、讓它們觸發動作。
情境
- 打造離線助理：網路不穩時，裝置端模型能讓語音與文字功能繼續運作。兩者都在本機執行，資料不會離開裝置。
- 低成本原型開發：新創與學生測試多模態功能時不必按次付 API 費，因為權重可免費下載與執行。
- 邊緣與物聯網專案：小巧體積與 ONNX 支援適合導覽機、攝影機與嵌入式硬體，這些地方根本跑不動 70B 模型。
主要功能
單一模型整合文字、視覺與音訊
Phi-4-multimodal 用一個網路處理文字、影像與音訊，不必把轉錄模型接上視覺模型。這代表只要載入一個元件、維護一條流程。當輸入彼此交錯時優勢最明顯，例如一邊讀圖表、一邊聽口述提問。
Mixture-of-LoRAs 架構
微軟讓基礎語言模型保持凍結，再掛上各模態專屬的 LoRA 轉接器，並用路由器挑選正確的一個。這正是模型能加入語音與視覺、又不破壞文字能力的原因。對開發者來說，基礎模型保持完整，每個模態分開訓練。
128K 詞元上下文視窗
兩款模型都支援最多 128K 詞元，足以處理長文件或長對話。分組查詢注意力壓低長上下文的記憶體成本，這在記憶體有限的裝置上很重要。
扎實的語音辨識與翻譯
根據微軟的說法，Multimodal 以 6.14% 的字詞錯誤率登上 Hugging Face OpenASR 排行榜首位。它是第一個能進行語音摘要的開源模型，微軟表示其表現已接近 GPT-4o。
內建函式呼叫
兩款模型都開箱支援函式與工具呼叫，能觸發外部 API、在工作流程中扮演代理。Mini 的指令遵循正是為此調校，因此很適合拿來做自動化。
20 萬詞元詞彙量與多語言支援
詞彙量從 Phi-3.5 提升到 20 萬詞元，多語言處理更精準。文字涵蓋 20 多種語言，音訊支援八種，視覺則以英文為主。
優缺點
優點
- 採 MIT 授權，可免費下載與執行，自行架設就沒有 API 費用。
- 體積小到能跑在手機、筆電與邊緣硬體上，功能可離線運作並留在裝置內。
- Multimodal 用單一模型就能處理語音辨識、翻譯、OCR 與影像推理。
- 根據微軟的說法，Mini 在數學與程式測試上能與大上好幾倍的模型相比。
- 開放的權重與技術報告讓研究者能全面檢視與微調。
缺點
- 體積小代表事實知識有限，冷門主題的答案若沒有搜尋或 RAG 層把關就可能出錯。
- Multimodal 無法在同一個提示裡同時送入文字、音訊與影像，部分混合輸入的流程需要變通做法。
- 視覺僅支援英文，處理非英文影像任務時受限。
- 雲端價格取決於 Azure AI Foundry 的方案，費用會依地區與用量級別變動。
常見問題
不一定。這兩款模型小到能在 CPU 與邊緣硬體上執行，微軟也為此提供 ONNX 版本。GPU 能加快速度，尤其在多模態模型與長上下文時，但不是必要條件。
相關內容
探索與 Phi-4-multimodal and Phi-4-mini 相關的工具、技能與文章。
Phi-4-multimodal and Phi-4-mini 替代方案
Forefront
Forefront · 程式設計Forefront 是一個用來打造開源 AI 的網頁平台。你可以用自己的資料微調主流的開源語言模型、評估它們的表現，再透過 API 執行，或匯出後自行架設。想要封閉式平台的便利、卻堅持要自己擁有模型與資料的開發者，就是這裡的目標客群。
Startkit
StartKit.AI · 程式設計Startkit 是一套用來打造 AI SaaS 與 AI 包裝產品的樣板。可以把它想成一個 AI 新創樣板，把枯燥的部分都先接好了：驗證、Stripe 與 Lemon Squeezy 付款、用量限制、交易型電子郵件，以及一套能與 OpenAI、Anthropic、Groq 或 Llama 溝通的 AI API 啟動套件。你複製儲存庫、設定價格，然後專心在產品中使用者真正願意付費的部分。它建構於 React 與 Tailwind 之上的 Next.js，所以大部分的樣板程式碼對你來說並不陌生。
Testim
Tricentis · 程式設計Testim 是專為網頁、行動與 Salesforce 應用程式打造的 AI 測試自動化平台，用來建立並執行端到端測試。它靠機器學習在介面變動時維持測試穩定，團隊因此少花時間修補壞掉的定位器。對於一款今天就能開始使用的自動化測試工具來說，這表現不算差。你透過在瀏覽器錄製動作來建立測試，需要更多控制時再補上 JavaScript。對忙碌的 QA 團隊來說，這是個可靠的選擇。