Thunder Compute

Thunder Computeは、モデルを訓練する人、評価を回す人、あるいはエージェントに計算資源を使わせる人のためのクラウドGPUプロバイダーだ。数か月前にマシンを用意したり、ラックを予約したりする必要はない。GPUを要求すれば1分以内に手に入り、コードを走らせ、ジョブが止まれば課金も止まる。ひと言でいえばそういう売りだ。待ち行列なし、遊んでいるハードウェアなし。

同社はシステム研究ラボとして始まった。創業者たちはGeorgia Techで出会った。そこでは研究者が共有スプレッドシートで数週間先までGPU時間を予約しており、他の誰かが予約を握っている間は実験が止まっていた。そのボトルネックが製品になった。Thunder ComputeはGPUを仮想化し、予約と予約の間に遊ばせるのではなく、ハードウェアを動かし続ける。Y Combinatorは2024年夏のバッチでチームを支援した。

クラウドGPUの料金は、技術と同じくらい売り物だ。多くのプロバイダーは1時間単位に切り上げ、出ていくデータにも課金する。ここでは違う。では実際どれだけ節約になるのか。それは今どれだけの遊休時間を食っているかによる。

サービスは2つの製品に分かれる。インスタンスは接続して保持し続ける永続的なGPUマシンで、稼働中は分単位で課金される。サンドボックスは短命で分離されたジョブで、数行のPythonで数百個まで広げられる。課金は秒単位だ。どちらも同じフリート上で動く。必要なときにA100のレンタルとH100 GPUクラウドの容量が確保されているかを気にするなら、ここが効いてくる。主な制約は守備範囲だ。これはすでにコードを書ける人向けのインフラである。ドラッグ＆ドロップのノーコードビルダーはなく、ワークロードがノートPCのGPUに収まるなら、時間単位のレンタルはまず割に合わない。何を買うのかを知っておこう。

はじめ方

1. コンソールで登録し、支払い方法を追加する。GPUが起動した瞬間から課金が始まるためだ。
2. エディターかインターフェースを選ぶ。VS Code拡張、コマンドライン、Webコンソール、エージェントワークフロー向けのMCPサーバーがある。
3. tnr create --gpu a100 のような単一コマンドでインスタンスを作るか、thunder_sandbox ライブラリでPythonからサンドボックスを開く。
4. VS Code、CLI、ブラウザから接続し、既存のコードをGPU上で走らせる。
5. 環境を残したい場合は終了時にディスクのスナップショットを取り、その後インスタンスを停止してメーターを止める。