LocalClicky
Dikshant Rajput · 音声・言語
LocalClickyは、すべて自分のハードウェア上で動く、無料かつオープンソースのmacOS向け音声アシスタントだ。話しかければ動く。アプリを開き、カーソルを動かし、見えているものをクリックし、動画を編集し、画面を読み取り、シェルコマンドを打ち込む。クラウドには何も送られず、登録すべきAPIキーも、解約すべきサブスクリプションもない。そそられるだろうか。一度セットアップしたら、必要になるまで存在を忘れてしまう類のツールである。
LocalClicky について
LocalClickyとは
LocalClickyは、macOS 12以降のために作られたオフライン音声アシスタントだ。多くの音声アシスタントは、便利さと引き換えにプライバシーを差し出す。音声をアップロードし、スクリーンショットをサーバーへ送り、コマンドを記録する。LocalClickyはその取引をひっくり返す。文字起こしはWhisper.cppを通る。推論と画像認識は自分のマシン上のOllamaモデルで動く。音声合成はデフォルトでmacOSのsayコマンドを使う。
売り文句は単純だ。あなたの声、あなたの画面、あなたのコマンドは、どれもマシンの外に出ない。Macで機密性の高い作業をする人にとって、これは意味のある違いになる。クラウドサービスに疲れた人にも、基本的な音声操作のためだけに毎月の請求を増やしたくない人にも同じことが言える。アカウントもログインもなく、読むべきデータポリシーもない。どこにもデータが行かないからだ。
完成されたコンシューマーアプリではない。GitHubリポジトリからインストールし、PythonとHomebrewのいくつかのパッケージを用意し、動かす前にmacOSの権限を3つ許可する必要がある。このセットアップが入場料だ。一度動き出せば、アシスタントはメニューバーに住み、Dockアイコンを持たず、ウェイクワードを言うまで邪魔をしない。
はじめかた
- 前提ツールをインストールする。Homebrew経由でWhisper.cppとOllama、動画編集をしたいならffmpegも入れる。
ollama pull qwen3:8bでコマンド用のローカルモデルを、ollama pull gemma4:e4bで画像認識用のモデルを取得する。- リポジトリをクローンし、Pythonの仮想環境を作り、
pip install -r requirements.txtを実行して残りの依存関係を取ってくる。 - 仮想環境内のPythonバイナリに、マイク、画面収録、アクセシビリティの権限を与える。
python main.pyで起動し、「Hey Jarvis」と言ってセッションを始める。
AIツール情報
LocalClickyの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- プライバシーを気にするMacユーザー。すべてローカルで動くので、機密性の高いものはアップロードされず、インターネット接続なしでも機能する。外に一切データを送らないプライベートな音声アシスタントだと考えればいい。
- クラウドなしのローカルAIアシスタントを求める人。LocalClickyはすべてのコマンドを自分のマシンに留める。これはプロジェクトの狙いそのものだ。
- 開発者やいじくり好き。コードは読みやすくMITライセンスなので、フォークしてウェイクワードを変えたり、独自のスキルを追加したりできる。
- ハンズフリー操作を求めるアクセシビリティ利用者。タイピングやマウスへの手伸ばしが面倒なとき、音声によるカーソル移動とクリックが助けになる。
タスク
- アプリの起動と終了。開きたいものを言えばLocalClickyが処理する。spotlightを探し回る必要はない。
- 動画クリップの編集。ffmpegを通じてトリム、ミュート、結合、速度変更、リサイズ、テキスト追加を、1フレームもアップロードせずに行う。
- 画面の読み取り。画像モデルがスクリーンショットを撮り、何が映っているかを教える。仕様表を目を細めて見る代わりに手早く要約が欲しいときに役立つ。
- 手早いシェルコマンドの実行。zshコマンドは確認機能を備えたサブプロセスで実行され、自分で打ちたくない作業に便利だ。
シーン
- 共有スペースでノートパソコンを使う。メニューをクリックして回る代わりにコマンドをささやき、すべてを端末内に保つ。
- 私的な文書を扱う。スクリーンショットと音声がローカルに留まるので、クラウドアシスタントに記録されずに機密資料について話せる。
- 一連の動作を続けて実行する。セッションモードがアシスタントを起きたまま保つので、毎回ウェイクワードを言わずに複数のコマンドを連続で出せる。
- 最後まで見る気が起きない動画を眺める。クリップを説明するよう頼めば、フレームをサンプリングして内容を要約する。
主な機能
完全オフライン処理
LocalClickyは文字起こしにWhisper.cpp、推論と画像認識にOllamaを、すべて自分のマシン上で動かす。音声もスクリーンショットもコマンドもアップロードされない。唯一の例外は任意設定だ。デフォルトの音声をFish AudioのTTSモデルに差し替えると、読み上げる応答が同社のAPIに送られる。そのままにしておけば、アシスタントは完全にローカルに留まる。
Macの音声操作
「Hey Jarvis」と言えばアシスタントが起きる。そこからアプリの起動と終了、音量調整、Spotifyの操作、ファイル管理、シェルコマンドの実行までこなす。複数ラウンドのツール呼び出しにより、コマンドを実行し、結果を確認し、再試行や確認を行う。一発勝負の当て推量ではない。
画面認識とクリック
gemma4画像モデルは、タスクが必要とするときにスクリーンショットを撮り、画面上の内容を説明するか、見えたものに基づいてカーソルを動かしてクリックする。画面を見てボタンを押すよう頼めば、試してくれる。空間精度は弱点だ。小さなUI要素でピクセル単位の正確さは期待しないほうがいい。
音声による動画編集
内部でffmpegを使い、LocalClickyは動画クリップのトリム、ミュート、結合、速度変更、リサイズ、テキスト追加ができる。何もアップロードされない。素材を自社サーバーに置きたがるクラウド編集ツールとの違いはそこにある。
動画クリップの説明
動画ファイルを指定すれば、フレームをサンプリングしてクリップの内容を要約する。全部は見ずに要点を知りたいときに便利だ。ファイルは自分のマシンから出ていかない。
ウェイクワードとセッションモード
ウェイクワード検出はopenWakeWordを通じてオフラインで動き、「Hey Jarvis」というフレーズで起動する。セッションモードはアシスタントを起動状態に保ち、ウェイクワードを再び言わずにコマンドを連続で出すことができる。音声活動検出は、固定のタイムアウトに頼らず、話すのをやめた時点で録音を止める。
会話メモリ
アシスタントは1つのセッション内で直近10回のやり取りを覚えるので、続けて出すコマンドが文脈の中で意味を持つ。フォルダを開かせ、続けて「今その中で一番古いファイルを消して」と言えば、直前に行っていたことを把握している。
メリットとデメリット
メリット
- MITライセンスの完全無料かつオープンソースで、サブスクリプションもAPIキーも不要。
- 文字起こし、推論、画像認識、音声がすべて自分のハードウェアで動くため、デフォルトで本当にプライベート。
- アプリの起動や音量調整から動画編集やシェルコマンドの実行まで、幅広いコマンドを扱う。
- メニューバー設計で場所を取らず、Dockアイコンが画面を散らかさない。
デメリット
- 現時点ではインストールがターミナル限定なので、動かす前にHomebrew、Python 3.11以上、コマンドライン操作への慣れが必要。
- パッケージ化された`.app`がまだなく、カジュアルな利用者にはインストールがダウンロードしてすぐ使える体験ではなく障害に映るかもしれない。
- 画像モデルの空間精度は限られており、音声で小さなUI要素をクリックするのは当たり外れがある。
- macOS専用なので、WindowsとLinuxのユーザーは今のところ対象外。
よくある質問
LocalClickyは、すべて自分のハードウェア上で動く、無料かつオープンソースのmacOS向け音声アシスタントだ。話したコマンドをMacへの実際の操作に変える。アプリを開きカーソルを動かすことから、動画を編集し画面の内容を読み取ることまで含まれる。
関連コンテンツ
LocalClickyに関連するツール、スキル、記事を探す。
LocalClickyの代替ツール
Off the Record
Weird Machines · 音声・言語 · 生産性向上Off the RecordはWeird MachinesのmacOSアプリだ。音声をリアルタイムで加工してAI文字起こしを防ぐ。相手には普通に聞こえ、議事録ツールには使える内容が残らない。
Cekura Bench
Cekura · 音声・言語 · ビジネスCekura Benchは、音声対音声モデルと実運用中の音声エージェントに82件の模擬通話を各3回実行させ、成功率、遅延、1分あたりのコストを公開するベンチマークだ。
Griffin by Tavus
Tavus · 音声・言語 · 動画 · チャットボットGriffin by Tavus は最初のヒューマンインタラクションモデルだ。全二重の動画から動画へのシステムで、AIビデオ通話の最中に相手を見て、聞いて、即座に応答する。