Clicky
Farza (Farzaa) · 音声・言語
ClickyはmacOSのメニューバーに常駐し、画面を監視するAIデスクトップコンパニオンだ。ホットキーを押して声で質問すれば、音声で答える。さらに、青いカーソルがディスプレイを横切り、次にクリックすべき正確なボタンやメニューを指し示す。複雑なアプリで行き詰まり、もう一つのチャットウィンドウではなく、隣に座ってくれる先生が欲しい人のために作られている。
Clicky について
Clickyとは
ClickyはmacOS向けの音声駆動型画面アシスタントだ。Dockではなくメニューバーに常駐し、ControlとOptionを押し続けると動き出す。このショートカットは現在のディスプレイのスクリーンショットを撮り、マイクで聞き取りを始め、画像と質問の両方をAIモデルに送る。答えは音声として返ってくる。
普通のチャットボットと一線を画すのは、指し示す動作だ。この種のAI画面ガイドはデスクトップアシスタントでは珍しい。モデルが何かをクリックすべきだと判断すると、返答に座標タグを埋め込み、Clickyのオーバーレイが青いカーソルを画面のその地点まで飛ばす。だから「右上のエクスポートボタンをクリック」と読んで探し回る代わりに、カーソルがそこに着地するのを見て、そのまま真似できる。
問題はセットアップだ。これはオープンソース版で、手間を前提にしている。Xcode、Cloudflareアカウント、Node.js、そしてAnthropic、AssemblyAI、ElevenLabsの自分のAPIキーが必要だ。Mac専用でmacOS 14.2以降が要るうえ、開発者は活発な開発を非公開リポジトリへ移した。そのため公開コードは凍結され、実際のアプリは別の場所で進化し続けている。
はじめかた
- MacがmacOS 14.2以降で動いていることを確認し、Xcode 15とNode.js 18をインストールする。
- Clickyのリポジトリをクローンし、APIキーを保管する小さなプロキシworkerを載せるため無料のCloudflareアカウントを作る。
- Anthropic（AI）、AssemblyAI（音声からテキスト）、ElevenLabs（音声）のキーをworkerのシークレットとして追加し、workerをデプロイする。
- プロキシのアドレスがハードコードされているSwiftのソースにworkerのURLを貼る。
- Xcodeプロジェクトを開き、アプリのスキームを選び、署名チームを設定してCmd + Rでビルドと実行をする。
- メニューバーのアイコンをクリックし、マイク、アクセシビリティ、画面収録の権限を与えて話し始める。
手間を減らしたいなら、最短ルートはリポジトリでClaude Codeを走らせ、アーキテクチャ文書を読ませながら全体の流れを案内させることだ。
AIツール情報
Clickyの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 複雑なソフトを学ぶ人。デザイナー、編集者、3Dアーティストなど、やりたいことは分かっているのに密集したインターフェースで正しいツールが見つからない人向けだ。ターミナルコマンドをいくつか扱えると最も快適に使える。
- 入力より会話が好きな人。プロンプトを書くより声のほうが速いと感じるなら、Clickyの押して話す流れは習慣に合う。
- いじくり回すのが好きな人と開発者。MITライセンスとSwiftのソースがあるので、フォークして機能を足したり、画面を認識するアシスタントの作り方を学んだりできる。
タスク
- 埋もれたメニュー項目を探す。ヘルプ文書を延々とスクロールする代わりに、カーソルが必要な設定を指す。
- 不慣れなアプリのガイド付き操作。初めて入るプログラムで、Clickyが画面の上で各手順を説明する。
- 画面上のトラブルシューティング。紛らわしいエラーを見せて声で説明すれば、目に見えているものに結びついた音声の解説が返る。
シーン
- Blenderなど、メニューがタブの裏に隠れたショートカット主体のツールを学ぶとき。Clickyは集中を途切れさせずに必要なパネルを指す。
- 2台目のモニターで作業するとき。カーソルのガイドは特定のディスプレイを狙えるので、ポインタはすでに視線がある場所へ着地する。
- 追いつけないチュートリアルを見るとき。一時停止して「その設定はどこ？」と尋ねれば、カーソルが示してくれる。
主な機能
リアルタイムの画面認識
Clickyはホットキーを起こした瞬間にディスプレイの内容を取得し、そのスクリーンショットを声の質問と一緒にAIへ渡す。画面を説明する必要はない。すでに見ているからだ。これが汎用のチャットボットを、目の前の正確なウィンドウについて口を出せるものへ変える。
音声優先の操作
ControlとOptionを押し続け、話して離す。音声はAssemblyAIへ流れてリアルタイムに文字起こしされるので、プロンプトを打つことはない。返答はElevenLabsを通して自然な声で再生され、マウスで手が塞がっているときにハンズフリーの学習が本当に実用的になる。
座標タグによるカーソルの指し示し
目玉の技だ。AIは答えに[POINT:x,y:label:screenN]というタグを差し込める。Clickyの透明なオーバーレイはそのタグを読み、指定された画面のそのピクセルへ青いカーソルを飛ばす。複数モニターに対応するので、ガイドはメイン画面だけでなくディスプレイをまたいでついてくる。
自分のAPIキーの上に構築
Clickyはモデルへのアクセスを転売しない。Anthropic、AssemblyAI、ElevenLabsの自分の認証情報をCloudflare Workerプロキシ経由で接続する。これでキーがアプリのバイナリに残らず、アシスタントの裏にあるモデルと声を自分で選べる。
オープンソースでフォーク可能
コードベース全体がMITライセンスで公開され、AIコーディングエージェント向けに書かれたアーキテクチャ文書も付いている。クローンしてオーバーレイを作り直し、モデルを差し替え、あるいは自分だけのデスクトップアシスタントの出発点にできる。開発者はそれで会社を興すことまで明らかに歓迎している。
メニューバーにネイティブな設計
Dockアイコンも散らかりもない。Clickyは作業の流れに軽いパネルを二つ置く。メニューバーのコントロールパネルと、カーソル用の全画面透明オーバーレイだ。ホットキーが呼ぶまで邪魔をしないので、デスクトップは清潔に保たれる。
複数モニターのカーソルガイド
ガイドは1画面に限らない。ポイントタグが画面番号を運ぶため、カーソルは尋ねられた要素がどのディスプレイにあるかを知っている。モニターを2台並べても、ポインタは正しい場所に着地し続ける。
メリットとデメリット
メリット
- 指し示す動作が実際に働く。「ここをクリック」と言い、その場所を示すことは、毎回テキストの壁に勝る。
- MITライセンスのオープンソースAIコンパニオンとして自由に生まれたので、許可を求めずに中身を調べたりフォークしたり拡張したりできる。
- 音声と画面の文脈があれば、AIに問題を説明する面倒な部分を飛ばせる。
- 複数モニターへの指し示しに対応している。多くの画面アシスタントが見落とす点だ。
- すでに使っているアプリの上で動くので、役立つ前に覚える新しいツールがない。
デメリット
- セットアップは初心者向けではない。Xcode、Node.js、Cloudflareアカウント、3組のAPIキーは、最初の質問の前に求めるには多い。
- macOS専用で、macOS 14.2以降が要る。Windowsと古いMacは対象外だ。
- 土台のAPIは自分で払う。音声を多用するとAnthropic、AssemblyAI、ElevenLabsで費用がかさむ。
- 活発な開発は非公開リポジトリへ移ったので、ここでビルドする公開版には最新機能が入らない。
よくある質問
ClickyはmacOSの画面を監視し、ソフトの使い方を案内する音声アシスタントだ。声で質問すれば音声で答え、青いカーソルが次に使うべき具体的なボタンやメニューを指し示す。
関連コンテンツ
Clickyに関連するツール、スキル、記事を探す。
Clickyの代替ツール
Foley
Hanamori Labs, LLC · 音声・言語 · 生産性向上 · AIアシスタントFoleyは音声ToDoリストだ。話した一文をプロジェクト・日付・時刻まで入ったタスクとして整理し、その後はすでにあるリストを軸に一日の順番を組み立てる。
HireKey
HireKey · 音声・言語 · 生産性向上 · 学習HireKey は元テック業界リクルーターが作った AI 求職コパイロット。求人適合分析、職務経歴書のカスタマイズ、面接練習、応募管理を一つの画面にまとめる。
Fluence
Yay Software (Yannick Huchard) · ライティング · 音声・言語 · 生産性向上Fluence は Android 向けのドキュメントリーダーだ。PDF、EPUB、Word 文書、ウェブ記事を読み上げ、発話中の文を画面で追わせ、本文についての質問にも端末上で答える。