BaseRT
Base Compute · コーディング · その他
BaseRTは、Apple Silicon向けにゼロから作られたローカルLLM推論ランタイムだ。Metalカーネルのレベルで調整し、MLXやllama.cppのような汎用エンジンよりMacのハードウェアから速度を引き出す。単一の`basert` LLM CLIとして提供され、HuggingFaceからモデルを取得して独自の`.base`形式に変換し、ローカルで対話したりOpenAI互換APIを配信したりできる。Mac上で高速かつプライベートなオンデバイスAIを求める開発者に最も向いている。クラウド依存もAPIキーもトークン課金もないからだ。
BaseRT について
BaseRTとは
BaseRTは、メルボルンとベルリンに拠点を分ける小規模AIラボ、Base Computeによるローカル推論ランタイムだ。既存エンジンに継ぎ足すのではなくゼロから作られており、チームが主張するprefillの高速化はそこから来ている。llama.cpp比で最大6.4倍、MLX比で3.9倍、Apple M5 ProでのdecodeはMLX比で最大1.33倍速い。これらの数値はBase Compute自身のベンチマークによるものなので、独立機関の結果ではなくベンダー数値として扱ってほしい。
このランタイムは、自分のMacでオープンソースモデルを動かすエンジニアや趣味の人を対象にしている。モデルを取得し、エンジンが素早く読み込める形式に変換し、あとは対話するかHTTPで公開するという流れ全体を担う。すべては手元のマシンに留まる。プロバイダーには何も送られない。
なぜそれが重要か。モデルがローカルにあれば、トークンあたりのコストが発生しないからだ。それだけのことだ。
主な制限は実務的なものだ。BaseRTは現時点でmacOS専用で、WindowsとLinuxは近日対応として挙がっている。中核エンジンはオープンソースコードではなくビルド済みバイナリとして出荷されるため、カーネルを自分で再ビルドすることはできない。Apple製以外のマシンを使っている場合や、シリコンまで完全にオープンなスタックを必要とする場合、これはまだ向いていない。少なくとも現時点では。
はじめかた
- ワンラインのスクリプトでCLIをインストールする：
curl -LsSf https://basecompute.co/install.sh | sh。 - ランチャーでHuggingFaceからモデルを取得する。例：
basert serve basecompute/gemma-4-E4B-it。 - モデルをランタイムが読む
.baseディスク形式に変換、またはその形式で読み込む。 - モデルと直接対話するか、サーバーが公開するOpenAI互換エンドポイントにアプリを向ける。
- 任意でコーディングエージェントのプラグイン（
pi install git:github.com/basecompute/pi-basert）を入れ、配信中のモデルに対してローカルのコーディングエージェントを動かす。
AIツール情報
BaseRTの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- Mac開発者：オープンソースモデルで開発し、高速なローカルランタイムを求めるなら理想的。ただしIntel MacではなくApple Siliconであることが条件だ。
- プライバシー重視のエンジニア：推論を自分のハードウェア上に留めたい人に合う。BaseRTはデータをクラウドプロバイダーに送らないからだ。
- AI愛好家：トークン課金なしでローカルモデルを試したい人に向く。コマンドラインの流れに抵抗がないことが前提だ。
タスク
- ローカルLLMの配信：対応する任意のモデルをOpenAI互換エンドポイントで公開し、既存のアプリやスクリプトがコード変更なしで呼び出せるようにする。
- ローカルコーディングエージェントの実行：コーディングエージェントを配信モデルに向け、コードとプロンプトをすべて手元のマシンに置く。
- Apple Siliconでのベンチマーク：同じMacハードウェアでprefillとdecodeのスループットをMLXやllama.cppと比較する。
シーン
- 飛行機や電車でのオフライン作業：モデルがデバイス上で動くため、ネットワーク接続なしでも使い続けられる。
- 機密プロンプトの取り扱い：モデルをローカルで動かし、非公開の文書や社内コードを第三者APIから遠ざける。
- 定期的なAPI請求の削減：モデルを一度ダウンロードすれば、すでに持っているハードウェア上で各トークンは実質無料だ。
主な機能
ネイティブMetal推論エンジン
BaseRTはCUDAやCPUのコードから移植したのではなく、Apple SiliconのMetalフレームワーク向けに土台から作られている。エンジンはMetalカーネルをビルド済みのlibbaseRT.dylibに埋め込み、ランタイムはAppleが意図する形でGPUとやり取りする。実のところ、速度の数値はここから来ている。Base Computeのベンチマークによれば、prefillはllama.cppより最大6.4倍速く、一部モデルではdecodeがMLXより最大33%速い。
OpenAI互換の配信
basert-serveツールは、読み込んだ任意のモデルをOpenAI API形式を話すHTTPサーバーに変える。つまり、すでにapi.openai.comを対象にしているツールやSDK、スクリプトは、設定を変えるだけでローカルのエンドポイントに向け直せる。書き直しを避けつつ慣れたインターフェースが手に入り、実際のモデルは手元のマシンに残る。
多言語バインディング
CLI以外に、BaseRTはbaseRT.hのC APIを公開し、Python、Node、Rust、Swift向けのバインディングを備える。サーバーを呼び出すのではなく推論をアプリに直接組み込みたい場合、これらのバインディングを使えばプロジェクトがすでに使っている言語からエンジンを呼べる。コマンドラインツールと、その上に築けるライブラリとの違いだ。
HuggingFaceモデルハブとコンバーター
basertコマンドはモデルハブとコンバーターを同梱する。重みをHuggingFaceから直接取得すると、ツールがランタイムの読み込む.baseディスク形式に変換する。これでセットアップは手作業のエクスポート連鎖ではなく数コマンドで済み、Q4やQ8といった一般的な量子化ビルドにも対応する。
ローカルコーディングエージェント連携
Base Computeは、コーディングエージェントをBaseRT配信のモデルに直接つなぐプラグイン（pi-basert）を提供する。コマンドを3つ実行する。それだけだ。最終的に、リモートAPIに何も送らずにコードを読み書きするエージェントが手に入る。ソースコードのホスト型プロバイダーへの漏えいを警戒するチームにとって、これが最大の用途だ。
コストゼロ、アカウント不要の運用
登録もAPIキーも使用量メーターもない。モデルがディスク上にあれば、消費する唯一の資源は自分のハードウェアなので、各トークンの生成コストはゼロだ。では落とし穴は何か。ほぼ存在しない。本来トークン課金を払うヘビーユーザーにとって、節約はすぐ積み上がる。
メリットとデメリット
メリット
- ベンダーのベンチマークによれば、同じMac上でMLXとllama.cppを上回るprefillとdecodeの速度。
- 完全にローカルな推論で、プロンプトとデータがデバイスから出ない。
- OpenAI互換サーバーにより、既存ツールが最小限の変更で動く。
- Python、Node、Rust、Swift向けのバインディングで多くのスタックに対応する。
- セットアップ後はアカウントもAPIキーもトークン課金もない。
デメリット
- 現時点ではmacOSのみで、WindowsとLinuxのユーザーは待つ必要がある。
- 中核エンジンはオープンソースではなくビルド済みバイナリで、カスタマイズの幅が限られる。
- ベンチマークはベンダー報告で、独立した結果はまだ出ていない。
- セットアップはターミナルへの慣れを前提とし、技術に詳しくないユーザーには敷居が高い。
よくある質問
BaseRTはApple SiliconのMac上で大規模言語モデルをローカル実行する。オープンモデルと対話したり、OpenAI互換APIで配信したり、C APIバインディングを通じてローカルLLM推論をアプリに組み込んだりする用途に使う。
関連コンテンツ
BaseRTに関連するツール、スキル、記事を探す。
BaseRTの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。