Llama MacOS Desktop Controller

Llama MacOS Desktop Controller

duduyiq2001 (GitHub) · 語音與語言

Llama MacOS Desktop Controller 是一套開源桌面控制器,能把自然語言指令轉成執行 macOS 動作的 Python 程式碼,前端用 React,後端用 Flask 與 LlamaStack,全部跑在你自己的 Mac 上。

Llama MacOS Desktop Controller 的介面預覽

關於 Llama MacOS Desktop Controller

What Is Llama MacOS Desktop Controller

Llama MacOS Desktop Controller 是一套跑在自己電腦上的桌面應用程式,讓你用自然語言操作 macOS。你輸入或說出「開啟某個 App」「把視窗排好」這類指令,工具就請本機的 Llama 模型寫出對應的 Python 程式碼來完成動作。前端以 React 打造,負責接收輸入;後端是 Flask,負責與 LlamaStack 溝通,由它產生程式碼。

這個專案在 GitHub 上發表,原本是 LlamaStack 的示範作品。LlamaStack 是 Meta 用來執行 Llama 模型的開放堆疊。它鎖定開發者與愛動手的人,想看小型本機模型能把日常指令轉成多少真正的系統呼叫。由於一切都在本機執行,不必來回雲端,也不用註冊帳號。

問題在於它是示範,不是完成品。它只在 macOS 上跑,開工前得先備妥 Python、Node.js、Ollama 與一個執行中的 LlamaStack 容器,而且安全檢查很單薄,一行寫壞的程式碼就可能動到整個系統。

Getting Started

  1. 安裝前置工具:Node.js 16 以上與 npm、Python 3.8 以上與 pip、Ollama,並下載 Llama 3.2 3B Instruct 模型。
  2. 用 Docker 在 5001 埠啟動 LlamaStack,指向你本機的 Ollama 伺服器。
  3. 進入後端資料夾,安裝 Python 相依套件並執行 server.py,讓 Flask API 在 5066 埠監聽。
  4. 在專案根目錄執行 npm install 與 npm run dev,把 React 前端開在 5173 埠。
  5. 用瀏覽器打開 localhost:5173,確認狀態指示燈變綠,接著輸入或口述指令,看產生的程式碼實際跑起來。

產品資訊

快速了解 Llama MacOS Desktop Controller 的定價、支援平台與效能。

免費方案是
付費方案N/A
平台macOS
開發者duduyiq2001 (GitHub)
類別語音與語言
發布日期Mar 2025
最近更新Feb 2026
網站訪問量649.3M
網站全球排名50
API 提供狀態否

適合對象

這項工具最適合的使用者、任務與情境。

使用者

  • 探索本機模型的開發者:他們能看到 Llama 模型把指令轉成可執行的 Python,適合想實測小型開源模型在桌面上有多少能耐的人。前提是要熟悉終端機與 Docker。
  • Mac 進階使用者:每天重複同樣系統動作的人,可以用白話描述取代背指令,只要讓 LlamaStack 服務持續開著即可。
  • LlamaStack 愛好者:這個專案是可參考的範例,正在學這套堆疊的人可以讀 Flask 與 React 的程式碼,看各部件怎麼拼起來。

任務

  • 開啟 App 與整理視窗:一句說出或打出的指令會變成 Python,用來開啟應用程式或重新排列畫面。
  • 快速的系統雜事:調整設定、查系統資訊或執行一行 shell 指令,都能用日常說法交代。
  • 測試自然語言操控:正在評估語音或文字操控的團隊,可以先在真的 Mac 上試想法,再決定要不要自己做一套。

情境

  • 安裝過程中試玩本機 AI 操控:一個下午就能把整套堆疊架起來,看指令在不上傳資料的情況下跑動。
  • 自動化重複的桌面例行工作:流程通了之後,慣用的指令可以重複使用,不必再一層層點選單。
  • 理解 LlamaStack 怎麼接上應用程式:分成兩半的程式碼,展示了前端、Flask API 與模型伺服器如何協同運作。

主要功能

用自然語言操控 macOS

你用白話描述想要什麼,應用程式就產生呼叫 macOS API 的 Python 程式碼來完成。模型被引導去使用 PyObjC 與 AppKit、透過 subprocess 呼叫 AppleScript,或直接用 shell 指令,因此能為每個指令挑一條可行的路。

文字與語音輸入

React 前端接受手打的指令,或透過瀏覽器語音辨識口述的指令。手不方便時用語音,兩種方式都會進到同一個地方,所以你可以交替使用,不必改動其他設定。

即時狀態與指令紀錄

指示燈會顯示後端與 LlamaStack 是否連得上,讓你送出指令前就知道系統準備好了。每個指令都會留下成功或失敗的結果,方便回查跑了什麼、有沒有成功。

本機 LlamaStack 流程

Flask 後端把每個指令送進 LlamaStack,預設使用 Llama 3.2 3B Instruct 模型。由於模型透過 Ollama 在你電腦上執行,整條流程都留在本機,不需要 API 金鑰,資料也不會離開裝置。

執行產生的程式碼

模型回傳程式碼後,後端會清掉多餘格式、解析並執行,再把輸出交給前端。這條從一句話到實際動作的完整路徑,正是這個示範想展示的重點。

開放且可檢視的原始碼

專案以一份小型公開程式碼發布,內含 React 與 Vite 前端、Flask API,以及 LlamaStack 與 Ollama 的安裝說明。你可以讀每一部分、改提示詞,或指向另一個本機 Llama 模型來實驗。

優缺點

優點

  • 免費且開源,前後端程式碼都公開可檢視
  • 完全在你自己的 Mac 上執行,提示詞與結果都不會離開裝置
  • 把自然語言與語音轉成實際的 macOS 動作
  • 狀態指示燈與指令紀錄讓每個結果一目了然
  • 同時是一份實例,示範如何把 LlamaStack 接上桌面應用程式

缺點

  • 它是示範,因此對產生程式碼的安全檢查很有限,出錯可能影響系統
  • 安裝偏重:Python、Node.js、Ollama 與 Docker 容器都得先跑起來才能用
  • 只支援 macOS,Windows 與 Linux 使用者用不到
  • 沒有打包好的安裝檔、沒有付費方案,也沒有給外部應用程式用的公開 API

常見問題

它是一套桌面應用程式,讓你用自然語言操控 macOS。你輸入或說出指令,本機的 Llama 模型會寫出對應系統呼叫的 Python 程式碼,後端再執行它,動作就會在你的 Mac 上發生。