PyTorch

テンソルはPyTorchの中心となるデータ構造だ。NumPy配列のようでいて、GPU上で動く。メソッドを1回呼ぶだけでテンソルをCUDAデバイスへ移せ、ノートPCで数値を計算していたコードが書き換えなしにマルチGPUサーバーへ拡張する。この差が、大規模モデルの訓練を理論ではなく実用にする。GPUがなくてもCPUの経路は動く。拡張もできる。小さなサンプルで結果を確認しても、全量の訓練を回しても、デバイスに依存しない同じコードが最後まで付き添う。チームが最初のモデルを出荷した後に残る大きな理由はここにある。

PyTorchはコードの実行中にグラフを組み立てるため、モデル内で普通のPython制御フローが使える。ループ、条件分岐、print文が順伝播の途中でも動く。デバッグは素のPythonを扱う感覚に近い。モデルの形を変えたいならコードを編集するだけだ。グラフをゼロから書き直す必要はない。

autogradエンジンはテンソル上のあらゆる演算を追跡し、勾配を計算してくれる。順伝播を定義し、逆伝播を呼ぶ。微積分はライブラリが自分で片づける。この機能ひとつで、ニューラルネットワークを手作業で実装する際の最も間違えやすい部分が消え、初心者が半日で動くモデルを訓練できる大きな理由になっている。

PyTorchには画像用のtorchvision、音声用のtorchaudio、言語データ用のtorchtextが付属する。公式セットの外でも、Hugging Face TransformersやPyTorch Lightningといったプロジェクトがその上に直接構築されている。だからゼロから始めることはほとんどない。事前学習済みモデルのライブラリだけでも、チームの訓練時間を数週間節約する。

TorchScriptを使えば、Pythonインタプリタなしで動く形式にモデルを変換できる。なぜわざわざそうするのか。予測可能な性能のためだ。配信用のTorchServeと組み合わせれば、フレームワークを離れずに研究ノートからライブのエンドポイントまで到達できる。

複数GPUや複数マシンでの訓練はtorch.distributedやDistributedDataParallelといったユーティリティを通じて組み込まれている。 わずかなコード変更でモデルやデータセットをデバイス間に分割できる。専用クラスタを持たないチームでも大規模な訓練を手の届く範囲に保てる。

訓練済みモデルをONNXへエクスポートしたり、ExecuTorchでモバイルや組み込み機器を対象にしたりできる。つまりLinuxワークステーションで訓練したモデルが、スマートフォンやマイコンで動くこともある。製品が実際のエンドユーザーに届くなら重要な点だ。