LocalClicky
Dikshant Rajput · 語音與語言
LocalClicky 是一款免費且開源的 macOS 語音助理，完全在你的硬體上執行。你說話，它辦事：開啟應用程式、移動游標、點擊它看見的東西、剪輯影片、讀取你的螢幕，還能送出 shell 指令。任何內容都不會上傳到雲端，沒有 API 金鑰要申請，也沒有訂閱要取消。聽起來不錯吧？這種工具屬於設定一次就忘記它的存在，直到你真正需要為止。
關於 LocalClicky
LocalClicky 是什麼
LocalClicky 是專門為 macOS 12 與後續版本打造的離線語音助理。多數語音助理用你的隱私換取便利：它們上傳你的音訊、把截圖送往伺服器，還會記錄你的指令。LocalClicky 把這筆交易反過來。轉錄透過 Whisper.cpp 執行。推理與視覺辨識在你機器上的 Ollama 模型上跑。語音合成則預設使用 macOS 的 say 指令。
訴求很簡單。你的語音、你的螢幕、你的指令，全都不離開這台機器。如果你在 Mac 上處理敏感工作，這點就很重要。如果你對雲端服務感到厭倦，或只是不想為基本的語音控制多付一筆月費，這點同樣重要。沒有帳號、沒有登入，也沒有資料政策要讀，因為根本沒有資料往外送。
它不是一款完成度高的消費級應用程式。你要從 GitHub 儲存庫安裝，設定 Python 與幾個 Homebrew 套件，還要授予三項 macOS 權限才能運作。這套設定就是入場費。一旦跑起來，助理會待在選單列，沒有 Dock 圖示，直到你喊出喚醒詞之前都不會干擾你。
開始使用
- 安裝前置需求：透過 Homebrew 安裝 Whisper.cpp 與 Ollama，若想剪輯影片再加裝 ffmpeg。
- 以
ollama pull qwen3:8b取得指令用的本機模型，並以ollama pull gemma4:e4b取得視覺辨識用的模型。 - 複製儲存庫、建立 Python 虛擬環境，並執行
pip install -r requirements.txt取得其餘相依套件。 - 對虛擬環境中的 Python 執行檔授予麥克風、螢幕錄製與輔助使用權限。
- 以
python main.py啟動，並說「Hey Jarvis」開始一段工作階段。
產品資訊
快速了解 LocalClicky 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 重視隱私的 Mac 使用者：所有運算都在本機進行，因此不會有敏感內容被上傳，而且沒有網路連線也能使用。把它想成一個從不回傳資料的私密語音助理。
- 想要不靠雲端的本機 AI 助理的人：LocalClicky 把每個指令都留在你的機器上，而這正是這個專案的核心目標。
- 開發者與愛動手的人：程式碼可讀且採 MIT 授權，你可以分支、改喚醒詞，或加入自己的技能。
- 想要免持操作的無障礙使用者：用語音移動游標與點擊，在打字或伸手找滑鼠很麻煩時特別有幫助。
任務
- 開啟與關閉應用程式：說出你想開什麼，LocalClicky 就處理，不必再翻找 spotlight。
- 剪輯影片片段：透過 ffmpeg 修剪、靜音、合併、加速、調整尺寸與加入文字，完全不需上傳任何一個畫格。
- 讀取你的螢幕：視覺模型會截圖並告訴你畫面上有什麼，當你想要快速摘要而不是瞇著眼看規格表時很實用。
- 執行快速的 shell 指令：zsh 指令會在具備確認機制的子程序中執行，處理你不想親自輸入的雜事很方便。
情境
- 在共用空間用筆電工作：低聲下個指令，不必點遍選單，而且所有內容都留在裝置上。
- 處理私密文件：由於截圖與音訊都留在本機，你可以討論敏感內容，而不會被雲端助理記錄下來。
- 連續串接一串動作：工作階段模式會讓助理保持清醒，你可以連續送出多個指令，不必每次都重複喚醒詞。
- 看你懶得從頭看完的影片：請它描述影片片段，它會取樣畫格來總結內容。
主要功能
完全離線處理
LocalClicky 以 Whisper.cpp 執行轉錄，以 Ollama 執行推理與視覺辨識，全都在你自己的機器上。沒有任何音訊、截圖或指令會被上傳。唯一的例外是可選的：如果你把預設語音換成 Fish Audio 的 TTS 模型，你的口頭回覆會送到他們的 API。保持原狀的話，助理就完全留在本機。
用語音控制你的 Mac
說「Hey Jarvis」，助理就會醒來。接著它可以開啟與關閉應用程式、調整音量、控制 Spotify、管理檔案並執行 shell 指令。多輪工具呼叫意味著它會執行指令、檢查結果，然後重試或確認。不是單發的盲目嘗試。
螢幕視覺與點擊
當任務需要時，gemma4 視覺模型會截圖，接著描述畫面上的內容，或根據它看見的東西移動游標並點擊。請它看看你的螢幕並點某個按鈕，它會試著去做。空間精準度是它的弱點。別期待在細小的介面元素上能有像素級的精確度。
用語音剪輯影片
LocalClicky 底層使用 ffmpeg，可以修剪、靜音、合併、加速、調整尺寸並為影片片段加入文字。任何內容都不會上傳。這讓它與那些想把你的素材放到自家伺服器的雲端剪輯工具有所區別。
影片片段描述
把它指向一個影片檔，它會取樣畫格來總結片段內容。當你想掌握某段內容的重點又不想整段看完時很方便。檔案永遠不會離開你的機器。
喚醒詞與工作階段模式
喚醒詞偵測透過 openWakeWord 離線執行，由「Hey Jarvis」這句話觸發。工作階段模式會讓助理保持運作，你可以連續串接指令，不必再說一次喚醒詞。語音活動偵測會在你停止說話時停止錄音，而不是依賴固定的逾時。
對話記憶
助理會記住單一工作階段中最近 10 次往來，因此後續指令能放進上下文理解。請它開啟某個資料夾，接著說「現在刪掉裡面最舊的檔案」，它會記得你剛剛在做什麼。
優缺點
優點
- 以 MIT 授權完全免費且開源，不需訂閱或 API 金鑰。
- 預設就真正私密，因為轉錄、推理、視覺辨識與語音全都在你自己的硬體上執行。
- 指令涵蓋範圍廣，從開啟應用程式、調整音量到剪輯影片與執行 shell 指令。
- 選單列設計讓它不佔空間，沒有 Dock 圖示來弄亂你的螢幕。
缺點
- 目前安裝只能在終端機進行，因此你需要 Homebrew、Python 3.11+，以及熟悉命令列操作才能讓它跑起來。
- 還沒有打包好的 `.app`，這表示一般使用者可能會覺得安裝是道門檻，而不是下載即用的體驗。
- 視覺模型的空間精準度有限，所以用語音點擊細小的介面元素時好時壞。
- 僅支援 macOS，所以 Windows 與 Linux 使用者目前無緣。
常見問題
LocalClicky 是一款免費且開源的 macOS 語音助理，完全在你的硬體上執行。它把口說指令轉換成對 Mac 的實際控制，從開啟應用程式、移動游標到剪輯影片與讀取螢幕內容都涵蓋在內。
相關內容
探索與 LocalClicky 相關的工具、技能與文章。
LocalClicky 替代方案
Foley
Hanamori Labs, LLC · 語音與語言 · 生產力 · AI 助理Foley 是一款語音待辦清單，把一句話變成歸檔好的任務，專案、日期與時間都先填好，接著再幫你依現有清單排出一整天的順序。
HireKey
HireKey · 語音與語言 · 生產力 · AI 學習HireKey 是由前科技業招募主管打造的 AI 求職副駕駛。它分析職缺契合度、客製化履歷、帶你練習面試，並把每份申請整理在同一處。
Fluence
Yay Software (Yannick Huchard) · 寫作 · 語音與語言 · 生產力Fluence 是 Android 上的文件閱讀器，能朗讀 PDF、EPUB、Word 檔與網路文章，逐句跟著語音標示，並在手機上直接回答你對內容的提問。