Clicky
Farza (Farzaa) · 語音與語言
Clicky 是一款 AI 桌面夥伴，住在 macOS 的選單列裡，並觀察你的螢幕。按下快速鍵，開口問一個問題，它就用語音回答你。更棒的是，一個藍色游標會飛過你的顯示器，指出你接下來該點的確切按鈕或選單。它是為那些卡在複雜應用程式裡、想要一位老師坐在旁邊、而不是再開一個聊天視窗的人打造的。
關於 Clicky
什麼是 Clicky
Clicky 是一款為 macOS 設計的語音驅動螢幕助理。它住在選單列，而不是 Dock，當你按住 Control 加 Option 時就會立刻啟動。這個快速鍵會擷取你目前顯示器的畫面、開始透過麥克風聆聽，並把畫面和你問題一起送給 AI 模型。答案以語音形式回來。
讓它與一般聊天機器人不同的地方在於指向。這種 AI 螢幕指引在桌面助理中相當少見。當模型判斷你需要點擊某個東西時，它會在回覆中嵌入一個座標標籤，Clicky 的覆蓋層就會送出一枚藍色游標飛到螢幕上的那個位置。所以，你不必讀著「點右上角的匯出按鈕」再到處找，而是看著游標落在那裡，跟著照做。
問題在於安裝。這是開源版本，它預期你得先做一番功課：Xcode、一個 Cloudflare 帳號、Node.js，以及你自己的 Anthropic、AssemblyAI 和 ElevenLabs API 金鑰。它只支援 Mac，需要 macOS 14.2 或更新版本，而且開發者已把積極開發移到私人儲存庫，所以公開的程式碼會凍結，實際的應用程式則在別處持續演進。
開始使用
- 確認你的 Mac 執行的是 macOS 14.2 或更新版本，然後安裝 Xcode 15 和 Node.js 18。
- 複製 Clicky 儲存庫，並建立一個免費的 Cloudflare 帳號，用來託管那個保管你 API 金鑰的小型代理 worker。
- 把 Anthropic（AI）、AssemblyAI（語音轉文字）和 ElevenLabs（語音）的金鑰加為 worker 的密鑰，然後部署 worker。
- 把 worker 網址貼到 Swift 原始碼中代理位址寫死的地方。
- 打開 Xcode 專案，選擇應用程式的 scheme，設定你的簽署團隊，然後按 Cmd + R 來建置並執行。
- 點選選單列圖示，授予麥克風、輔助使用和螢幕錄製權限，然後開始說話。
想少一點折腾嗎？最快的路徑是在儲存庫裡執行 Claude Code，讓它讀取架構文件，同時帶你走完整個流程。
產品資訊
快速了解 Clicky 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 正在學習複雜軟體的人：設計師、剪輯師和 3D 藝術家，他們知道自己要什麼，卻在密集的介面裡找不到正確的工具。如果你能自在操作一些終端機指令，效果最好。
- 偏好說話勝過打字的人：如果語音比撰寫提示更快，Clicky 的按住說話流程會很契合你的習慣。
- 愛動手的人和開發者：MIT 授權和 Swift 原始碼讓你 fork 它、新增功能，或研究一個有螢幕感知能力的助理是如何打造出來的。
任務
- 找出藏起來的選單選項：不必翻說明文件，讓游標指出你需要的設定。
- 不熟悉應用程式的引導導覽：當你第一次進入某個程式時，Clicky 會在螢幕上帶著你走過每一步。
- 螢幕上的疑難排解：顯示一個令人困惑的錯誤，用語音描述它，然後得到一段與眼前畫面相連的語音解釋。
情境
- 學習 Blender 或其他快速鍵密集、選單藏在分頁後面的工具：Clicky 指出你需要的面板，又不打斷你的專注。
- 跨第二個螢幕工作：游標指引可以瞄準特定顯示器，所以指標會落在你視線已經所在的地方。
- 跟不上某個教學時：暫停一下，問「那個設定在哪裡？」，然後看著游標秀給你看。
主要功能
即時螢幕感知
Clicky 在你觸發快速鍵的那一刻，就擷取你顯示器上的任何內容，然後把該畫面連同你的語音問題一起餵給 AI。你不必描述你的螢幕；它已經看見了。這正是把一個通用聊天機器人變成能對你眼前確切視窗發表意見的東西的關鍵。
語音優先的互動
按住 Control 加 Option、說話、放開。音訊會串流到 AssemblyAI 做即時轉錄，所以你永遠不必輸入提示。回覆透過 ElevenLabs 以聽起來自然的聲音播放，當你的雙手忙著操作滑鼠時，這讓免持學習真正可行。
透過座標標籤的游標指向
最亮眼的把戲。AI 可以在答案裡放入一個 [POINT:x,y:label:screenN] 標籤，Clicky 的透明覆蓋層就會送出一枚藍色游標飛到指定螢幕上的那個像素。它能處理多個顯示器，所以指引會跟著你跨螢幕移動，而不是只在主螢幕上運作。
建立在你自己的 API 金鑰上
Clicky 不轉售某個模型的存取權。你透過 Cloudflare Worker 代理，接上你自己的 Anthropic、AssemblyAI 和 ElevenLabs 憑證。這讓你的金鑰不會出現在應用程式二進位檔裡，也讓你控制助理背後是哪個模型和哪種聲音。
開源且可 fork
整個程式庫在 MIT 授權下公開，還附上一份為 AI 程式代理撰寫的架構文件。你可以複製它、重塑覆蓋層、換掉模型，或把它當作打造你自己桌面助理的起點。開發者明確邀請你用它來開一間公司。
選單列原生設計
沒有 Dock 圖示，沒有雜亂。Clicky 把兩個輕量面板放進你的工作流程：選單列裡的一個控制面板，以及給游標用的一個全螢幕透明覆蓋層。它在快速鍵呼叫它之前都保持低調，這讓桌面保持整潔。
多顯示器游標指引
指引不受限於單一螢幕。因為指向標籤帶著螢幕編號，游標知道你所問的元素在哪個顯示器上。裝兩台顯示器，指標依然會落在正確的位置。
優缺點
優點
- 指向的動作真的有用。告訴你「點這裡」再加上指出位置，每次都勝過一大片文字。
- 它天生自由，是 MIT 授權下的開源 AI 夥伴，所以你可以檢視、fork 或擴充它，不必先問過誰。
- 語音加上螢幕脈絡，代表你跳過了向 AI 描述問題那段冗長的部分。
- 多顯示器指向有被處理到，這是許多螢幕助理忽略的地方。
- 它運作在你已經在用的應用程式之上，所以在它幫上忙之前，沒有新工具要學。
缺點
- 安裝對初學者不友善。Xcode、Node.js、一個 Cloudflare 帳號和三組 API 金鑰，在問出第一個問題之前要付出的東西太多了。
- 只支援 macOS，而且需要 macOS 14.2 或更新版本，所以 Windows 和較舊的 Mac 都被排除。
- 底層 API 得由你自己付費，語音用量大時，Anthropic、AssemblyAI 和 ElevenLabs 的費用會累積。
- 積極開發已移到私人儲存庫，所以你在這裡建置的公開版本不會拿到最新的功能。
常見問題
Clicky 是一款語音助理，會觀察你的 macOS 螢幕並幫你在軟體裡找到方向。你開口問一個問題，它用語音回答，然後一個藍色游標會指出你接下來該用的特定按鈕或選單。
相關內容
探索與 Clicky 相關的工具、技能與文章。
Clicky 替代方案
Foley
Hanamori Labs, LLC · 語音與語言 · 生產力 · AI 助理Foley 是一款語音待辦清單，把一句話變成歸檔好的任務，專案、日期與時間都先填好，接著再幫你依現有清單排出一整天的順序。
HireKey
HireKey · 語音與語言 · 生產力 · AI 學習HireKey 是由前科技業招募主管打造的 AI 求職副駕駛。它分析職缺契合度、客製化履歷、帶你練習面試，並把每份申請整理在同一處。
Fluence
Yay Software (Yannick Huchard) · 寫作 · 語音與語言 · 生產力Fluence 是 Android 上的文件閱讀器，能朗讀 PDF、EPUB、Word 檔與網路文章，逐句跟著語音標示，並在手機上直接回答你對內容的提問。