RunAnywhere

すべての版の下には単一のC++コアがある。Swift、Kotlin、React Native、Flutter、Web、Electronのどれ向けにビルドしても挙動は同じだ。各言語はそのコアを包むネイティブのラッパーを受け取り、どのSDKも同じ名前空間をRunAnywhereの入口にぶら下げる。同じ呼び出しがどこでもほぼ同じ形で読めるので、プラットフォームごとにAPIを学び直す必要はない。

APIは名前空間で整理され、テキストだけにとどまらない。生成とストリーミングのllm、音声のsttとtts、会話全体を担うvoice、画像とプロンプトのvlm、自分の文書を検索するragがあり、その並びにembeddings、rerank、lora、images、diarization、segmentationが続く。ひとつのパッケージが全部を差し出すので、必要な部品だけ足せばいい。

RunAnywhereはCPUだけに頼らない。バックエンドには言語と視覚のllama.cpp、音声のONNXとSherpa、Apple MLX、MetalRT経由のApple Neural Engine、QHexRT経由のQualcomm Hexagon NPUが並ぶ。M4 Maxでは、同社がLLMデコードで毎秒658トークン、音声認識の遅延101ミリ秒を計測している。いずれも端末上で測った自社の数字だ。鍵になるのは対応範囲で、MLXはシミュレータでは決して動かず、QHexRTはarm64のSnapdragonチップだけを狙う。

推論は端末上で走り、求めない限り外へ出ない。プロンプトも音声も画像もローカルメモリに残る。プライバシーに敏感なアプリがクラウドAPIよりこのプライベートAIを選ぶ理由はそこにある。ホスト型の経路はノートPCには大きすぎるモデル向けに存在するが、それは意識して選ぶ別個の判断だ。既定ではデータは手元に残り、利用は明示のうえで行う。

wallyのコマンドラインは二役をこなす。ローカルではモデルを取得し、たとえば約640 MBのqwen3-0.6bをアカウントなしでオフライン実行する。クラウドへ向ければ、OpenAI互換APIを通じてRunAnywhereのハードウェア上の上位オープンモデルへ届き、前払いクレジットで精算する。取得したモデルをローカルのOpenAI互換URLで配信することもできる。同じ道具がサイズの両端を覆う。

SDKは、目の前の端末が実際に何をできるかを教えてくれる。RunAnywhere.capabilities()を呼べば、登録済みのバックエンドと利用不可の一覧が返るので、ユーザーが突き当たる前に機能を隠せる。models名前空間は重みの登録、ダウンロード、読み込み、アンロードを担う。地味な配管作業だが、これを欠くと、そもそも動かないハードウェアで音声機能を出してしまう。