wafer

Waferのエージェントは単一の層ではなくサービング経路全体をプロファイリングし、レイテンシやスループットがスケジューリング、デコーディング、カーネル、メモリ圧迫、あるいは噛み合わないハードウェア相性のどこから来るかを pinpointする。この診断が後続のすべてを導くので、変更は当て推量ではなく本当のボトルネックを狙う。レイテンシの高原で足踏みするチームにとって、これは当て推量と実測の差だ。盲目的な微調整はもう終わりだ。

エージェントはバッチ処理、デコーディング、量子化、サービングエンジン、カーネル、ハードウェアにまたがる多数の候補構成を生成し、各々を実測する。理論だけで投入されるものはない。これがプラットフォームの存在理由の核だ。紙の上で速く見えるものは、実際には別の組み合わせに負けることが多い。直感ではなく数字を信じる。

Waferは特定のモデル形状とハードウェアターゲットに合わせた融合演算、アテンション経路、GEMM変種、デコードカーネルを書く。これらはCUDAカーネルとその等価物であり、同じ手法がHIP、Triton、NKIをカバーするので、NVIDIA、AMD、その他のアクセラレータスタックに及ぶ。カスタムカーネルは、既製の経路が性能を置き去りにしているときに最も効く。

サービングエンジンは、正確なモデル、トラフィックの形、メモリ圧迫、レイテンシ目標に合わせて調整され、スケジューラの挙動、KVキャッシュの扱い、ランタイム設定をカバーする。ここでの自動チューニングは、多くのチームが手作業で回すことになる手動スイープを省く。エンジンをワークロードの実際の挙動に合わせ続けもする。見張りが減り、スループットが増える。

Waferは投機的デコーディング、FP8とFP4の量子化、バッチ処理戦略、MoEモデルのエキスパートシャーディングを比較する。これらの選択は強く絡み合うので、個別に調整するより一緒に試すほうが勝る。大規模モデルをサービングする人にとって、デコード戦略は最大の利得が潜む場所であることが多い。これを飛ばせば、金を机に置き去りにする。

どの候補も投入される前に、正確さを保ち信頼性目標を満たさなければならない。最適化と量子化が出力をひそかに変えうるだけに、このガードレールは効く。ユーザーが頼る結果を黙って手放すことなく、高速化が得られる。そこが要だ。

プラットフォームはデプロイ後もループにとどまる。トラフィックが移り、モデルが更新され、新しいハードウェアが届くと、Waferは測り直して適応する。推論性能は漂流するので、一度きりの調整は古びやすい。継続的な再調整こそが、エンドポイントを数日ではなく数か月にわたって競争力のある状態に保つ。