
Llama MacOS Desktop Controller
duduyiq2001 (GitHub) · 語音與語言
Llama MacOS Desktop Controller 是一套開源桌面控制器,能把自然語言指令轉成執行 macOS 動作的 Python 程式碼,前端用 React,後端用 Flask 與 LlamaStack,全部跑在你自己的 Mac 上。

關於 Llama MacOS Desktop Controller
What Is Llama MacOS Desktop Controller
Llama MacOS Desktop Controller 是一套跑在自己電腦上的桌面應用程式,讓你用自然語言操作 macOS。你輸入或說出「開啟某個 App」「把視窗排好」這類指令,工具就請本機的 Llama 模型寫出對應的 Python 程式碼來完成動作。前端以 React 打造,負責接收輸入;後端是 Flask,負責與 LlamaStack 溝通,由它產生程式碼。
這個專案在 GitHub 上發表,原本是 LlamaStack 的示範作品。LlamaStack 是 Meta 用來執行 Llama 模型的開放堆疊。它鎖定開發者與愛動手的人,想看小型本機模型能把日常指令轉成多少真正的系統呼叫。由於一切都在本機執行,不必來回雲端,也不用註冊帳號。
問題在於它是示範,不是完成品。它只在 macOS 上跑,開工前得先備妥 Python、Node.js、Ollama 與一個執行中的 LlamaStack 容器,而且安全檢查很單薄,一行寫壞的程式碼就可能動到整個系統。
Getting Started
- 安裝前置工具:Node.js 16 以上與 npm、Python 3.8 以上與 pip、Ollama,並下載 Llama 3.2 3B Instruct 模型。
- 用 Docker 在 5001 埠啟動 LlamaStack,指向你本機的 Ollama 伺服器。
- 進入後端資料夾,安裝 Python 相依套件並執行 server.py,讓 Flask API 在 5066 埠監聽。
- 在專案根目錄執行 npm install 與 npm run dev,把 React 前端開在 5173 埠。
- 用瀏覽器打開 localhost:5173,確認狀態指示燈變綠,接著輸入或口述指令,看產生的程式碼實際跑起來。
產品資訊
快速了解 Llama MacOS Desktop Controller 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 探索本機模型的開發者:他們能看到 Llama 模型把指令轉成可執行的 Python,適合想實測小型開源模型在桌面上有多少能耐的人。前提是要熟悉終端機與 Docker。
- Mac 進階使用者:每天重複同樣系統動作的人,可以用白話描述取代背指令,只要讓 LlamaStack 服務持續開著即可。
- LlamaStack 愛好者:這個專案是可參考的範例,正在學這套堆疊的人可以讀 Flask 與 React 的程式碼,看各部件怎麼拼起來。
任務
- 開啟 App 與整理視窗:一句說出或打出的指令會變成 Python,用來開啟應用程式或重新排列畫面。
- 快速的系統雜事:調整設定、查系統資訊或執行一行 shell 指令,都能用日常說法交代。
- 測試自然語言操控:正在評估語音或文字操控的團隊,可以先在真的 Mac 上試想法,再決定要不要自己做一套。
情境
- 安裝過程中試玩本機 AI 操控:一個下午就能把整套堆疊架起來,看指令在不上傳資料的情況下跑動。
- 自動化重複的桌面例行工作:流程通了之後,慣用的指令可以重複使用,不必再一層層點選單。
- 理解 LlamaStack 怎麼接上應用程式:分成兩半的程式碼,展示了前端、Flask API 與模型伺服器如何協同運作。
主要功能
用自然語言操控 macOS
你用白話描述想要什麼,應用程式就產生呼叫 macOS API 的 Python 程式碼來完成。模型被引導去使用 PyObjC 與 AppKit、透過 subprocess 呼叫 AppleScript,或直接用 shell 指令,因此能為每個指令挑一條可行的路。
文字與語音輸入
React 前端接受手打的指令,或透過瀏覽器語音辨識口述的指令。手不方便時用語音,兩種方式都會進到同一個地方,所以你可以交替使用,不必改動其他設定。
即時狀態與指令紀錄
指示燈會顯示後端與 LlamaStack 是否連得上,讓你送出指令前就知道系統準備好了。每個指令都會留下成功或失敗的結果,方便回查跑了什麼、有沒有成功。
本機 LlamaStack 流程
Flask 後端把每個指令送進 LlamaStack,預設使用 Llama 3.2 3B Instruct 模型。由於模型透過 Ollama 在你電腦上執行,整條流程都留在本機,不需要 API 金鑰,資料也不會離開裝置。
執行產生的程式碼
模型回傳程式碼後,後端會清掉多餘格式、解析並執行,再把輸出交給前端。這條從一句話到實際動作的完整路徑,正是這個示範想展示的重點。
開放且可檢視的原始碼
專案以一份小型公開程式碼發布,內含 React 與 Vite 前端、Flask API,以及 LlamaStack 與 Ollama 的安裝說明。你可以讀每一部分、改提示詞,或指向另一個本機 Llama 模型來實驗。
優缺點
優點
- 免費且開源,前後端程式碼都公開可檢視
- 完全在你自己的 Mac 上執行,提示詞與結果都不會離開裝置
- 把自然語言與語音轉成實際的 macOS 動作
- 狀態指示燈與指令紀錄讓每個結果一目了然
- 同時是一份實例,示範如何把 LlamaStack 接上桌面應用程式
缺點
- 它是示範,因此對產生程式碼的安全檢查很有限,出錯可能影響系統
- 安裝偏重:Python、Node.js、Ollama 與 Docker 容器都得先跑起來才能用
- 只支援 macOS,Windows 與 Linux 使用者用不到
- 沒有打包好的安裝檔、沒有付費方案,也沒有給外部應用程式用的公開 API
常見問題
它是一套桌面應用程式,讓你用自然語言操控 macOS。你輸入或說出指令,本機的 Llama 模型會寫出對應系統呼叫的 Python 程式碼,後端再執行它,動作就會在你的 Mac 上發生。
相關內容
探索與 Llama MacOS Desktop Controller 相關的工具、技能與文章。
Llama MacOS Desktop Controller 替代方案
Off the Record
Weird Machines · 語音與語言 · 生產力Off the Record 是 Weird Machines 的 macOS 應用程式,會即時改變你的聲音來阻擋 AI 轉錄:別人聽你說話一切正常,AI 會議紀錄卻拿不到任何可用內容。
Cekura Bench
Cekura · 語音與語言 · 商業Cekura Bench 是公開的評測計畫,讓語音對語音模型與已上線的語音代理跑完 82 通模擬電話,每種情境各三次,再公布通過率、延遲與每分鐘成本。
Griffin by Tavus
Tavus · 語音與語言 · 影片 · 聊天機器人Griffin by Tavus 是第一個稱為人類互動模型的系統,採全雙工、影片對影片架構,在 AI 視訊通話中即時觀察、聆聽並回應。
