BrowserAI

BrowserAI は WebGPU と WebAssembly を通じてモデルを直接ブラウザへ読み込むので、推論は利用者のハードウェアで起きる。ライブラリには Llama、Qwen、Gemma、SmolLM2、Phi、DeepSeek 各ファミリーのすぐ使える重みが同梱され、検索用の埋め込みモデルもある。名前と量子化の設定を渡して loadModel を呼べば、あとはライブラリが面倒を見る。対応したマシンなら、重い処理を GPU が担うため、返答はほぼネイティブの速度で返ってくる。

音声はライブラリの中心であって、後付けの機能ではない。Whisper モデルが録音した音声を文字起こしし、Kokoro がテキストを再生可能な音声バッファに変える。声と速度も選べる。内蔵のレコーダーがマイクを捉えるので、別のサービスを挟まずに音声アシスタントを組める。どちらもローカルで走るため、音声もテキストと同じように端末に残る。

自由文を解析して運任せにする代わりに、JSON schema を渡して JSON オブジェクトを要求できる。モデルはその schema に沿ったデータを返し、そのままアプリに渡せる。これはエージェントやフォームで効いてくる。崩れた返答は流れを止めてしまうからだ。手に入るのは検証も保存もできる綺麗なオブジェクトだ。

ライブラリは単一の実行環境に縛らない。MLC、Transformers、Flare、Demucs の各エンジンを切り替えられ、それぞれ違う作業に向く。MLC と Flare が WebGPU と WASM でテキスト生成を担い、Transformers が音声と発話を扱い、Demucs が音声をトラックに分ける。API はエンジン間で同じままだから、バックエンドを替えてもコードを書き直さずに済む。

モデルがメインスレッドを占めるとタブが固まりかねないが、BrowserAI は推論を Web Worker で走らせてそれを避ける。モデルが考えている間も UI は反応し続け、出力はトークンごとに流れてくるので利用者は進み具合を見られる。Web Worker とストリーミングの組み合わせが、重いローカルモデルを普通の Web アプリのように感じさせる。

BrowserAI には IndexedDB と SQLite を土台にしたブラウザ内データベースがあり、会話、埋め込み、キャッシュしたモデルファイルを保持する。このストレージがあるからこそ、初回ダウンロードのあとはネットがなくてもページが動き続ける。チャットアプリなら、同期するサーバーなしで履歴が再読み込みを越えて残る。