AIツール

llama.cppがv1.0.0に、APIを壊すときは先に番号を上げる

3年半動いてきたライブラリが、初めて自分のインターフェースに番号を付けた。約束の中身は速度ではなく、壊すときに先に言うという一点だ。

佐藤健太佐藤健太
人気度:1,200
台座に積まれたライブラリの層、その上に固定されたバージョンタグ、上から流れ込む入力

3年半動いてきたライブラリが、初めて自分のインターフェースに番号を付けた。約束の中身は速度ではなく、壊すときに先に言うという一点だ。

llama.cppとggmlがv1.0.0に到達した

11月13日、ggml-orgのチームがHugging Faceのブログで発表した。llama.cppとggmlが揃ってv1.0.0になった。著者としてDaniel Bevenius、Georgi Gerganov、merveの3人が挙がっている。プロジェクトが動き出してから3年半が経っている。

llama.cppはC/C++で書かれた推論エンジンで、ggmlはその下でテンソル演算を担うライブラリだ。量子化したモデルをノートPC、スマートフォン、Raspberry Pi級のボード、そしてサーバーで動かす。7Bクラスのモデルを手元の機械で回せるのは、この層があるからだ。その上に載るアプリや言語バインディングは、libllamaとlibggmlのヘッダーに依存している。

v1.0.0が約束したのはAPIの安定だ

今回の中身は新しい機能の追加ではない。semantic versioningを適用するという宣言である。MAJORは./includeにある公開C APIの破壊的変更。MINORは後方互換の機能追加、バックエンド追加、モデル対応、API追加。PATCHはAPIを変えない修正。llama.cppとggmlは同じ規則に従う。

趣味でアプリを作っている人には効く話だ。依存先のヘッダーが予告なく変わると、火曜日のビルドが突然落ちる。何が壊れたのかを探すところから一日が始まる。v1.0.0は、その種の事故に番号を付けた。

GGUFとlocal inferenceの現場

GGUFはモデルの重みを入れるファイル形式で、このリリースで仕様が変わったわけではない。エンジンが読み込む側の規格だ。local inference、つまり手元や社内の機械で推論を回す使い方は、この形式とllama.cppの組み合わせで広がった。

実務では、モデルの配布元がGGUFを出す。利用者は量子化の段階を選び、メモリに収まる形に落とす。変換の手順や量子化の種類が変われば、現場の手順書も書き換えになる。APIの約束は、その手順書が急に無効にならないことを意味する。

スマートフォン向けのアプリでは、エンジンを静的リンクして同梱する例がある。端末の更新に合わせて再ビルドするとき、同じ手順で同じ結果が出るかどうかが作業時間を左右する。では、何を固定すればよいのか? アプリ側はヘッダーの版を固定し、更新はまとめて試すのが現実的だ。

v1.0.0の配布チャネルとCI

配布は以前から広い。Linux、macOS、Windows、Android、iOS向けのプレリリース成果物に加え、Docker、Debian、Homebrew、conda-forge、MacPorts、Winget、XCFrameworkが名指しされている。導入手順の多さが、そのまま選択肢の広さになる。

約束を支えるのはテストの量だ。CIはHugging Face BucketsとHF Jobsで拡張し、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelのハードウェアを使うセルフホストランナーが動く。テストしていないバックエンドを抱えたままAPIの安定を約束することはできない。

開発は止まっていない。発表の3日後、11月16日にはビルドb12445がGitHubに出た。夜間ビルドが続いていること自体が、この約束の意味を補強する。

日本のlocal inferenceとv1.0.0

国内では、社内規程でクラウドへの送信を禁じている業務が一定数ある。契約書の読み込みや議事録の要約を、MacBookやMini PCの上で回す。日本語モデルのGGUFが公開されるたびに、現場は量子化の種類を選び直してきた。

v1.0.0は、その選び直しの頻度を下げる。壊れるときはMAJORが上がる、という予告になるからだ。Raspberry Pi 5のような小さい板で動かす実験も、同じ恩恵を受ける。

最初のMAJORが来たときが本当の試験だ。番号は他人のコードに対する約束であり、守るかどうかは次の破壊的変更で分かる。

このニュースを共有

出典

関連AIニュース

テスト
AIツール

削除テスト

テスト用の記事で、公開後に削除する。

人気度:100
検索バーと、左から滑り込むアシスタントのサイドバー、その下に並ぶショートカットのチップ
AIツール

Google検索のトップページにGemini sidebar、検索ボタンはショートカットに

google.comを開くと、検索バーの下にあった「Google Search」のボタンが消えている。代わりにGeminiの入口が並び、左からは自分のAI Modeの履歴が滑り込んでくる。検索の玄関が、静かに作り替えられている。

人気度:1,790
手前のアプリウィンドウの輪郭と、その背後で作業する2つ目のウィンドウ、両者を結ぶカーソルの軌跡
AIツール

Gemini for Macがcomputer useに対応、Macを別ウィンドウから操作

Macの前を離れている間に、別のウィンドウが勝手にアプリを操作している。GoogleがmacOS版のGeminiに足したcomputer useは、そういう機能だ。ただし使える人は限られ、届かない場所もはっきりしている。

人気度:1,740
金庫の扉に封じられたチャットの吹き出し、保持期間のダイヤル、薄れた二つの72時間タイマー
AIツール

Geminiは履歴を残したままAI学習を切れるようになった

保存するかどうかと、学習に使わせるかどうかは別の話だ。Geminiはその二つをようやく分けた。設定の意味と、延びた保持期間の中身を順に追う。

人気度:1,500