Llama MacOS Desktop Controller

Llama MacOS Desktop Controller は、自分のマシン上で動くデスクトップアプリで、macOS を自然言語で操作できる。「アプリを開く」「ウインドウを並べる」といった指示を打ち込むか話しかけると、ローカルの Llama モデルに対応する Python コードを書かせる仕組みだ。フロントエンドは React で入力を受け取り、バックエンドの Flask が LlamaStack とやり取りしてコードを生成する。

このプロジェクトは GitHub で LlamaStack のデモとして公開された。LlamaStack は Meta が Llama モデルを動かすために用意したオープンな基盤だ。日常的な指示がどこまで実際のシステム呼び出しになるか、小さなローカルモデルで試したい開発者や工作好きに向く。すべてマシン上で完結するので、クラウドとの往復もアカウント登録も要らない。

難点は、これが完成品ではなくデモだという点にある。動くのは macOS だけで、起動前に Python、Node.js、Ollama、そして稼働中の LlamaStack コンテナをそろえる必要がある。安全チェックも薄いので、壊れたコードが1行あればシステム全体に影響しかねない。

Getting Started

1. 前提をそろえる。npm 付きの Node.js 16 以上、pip 付きの Python 3.8 以上、Ollama を入れ、Llama 3.2 3B Instruct モデルをダウンロードする。
2. Docker で LlamaStack をポート 5001 で起動し、ローカルの Ollama サーバーを指す。
3. バックエンドのフォルダで Python の依存関係を入れ、server.py を実行して Flask API をポート 5066 で待ち受ける。
4. プロジェクト直下で npm install と npm run dev を実行し、React フロントエンドをポート 5173 で立ち上げる。
5. ブラウザで localhost:5173 を開き、ステータス表示が緑になったのを確認して、コマンドを打つか音声で話し、生成されたコードが動くのを見る。