OctoAI
OctoAI (formerly OctoML, now part of NVIDIA) · コーディング
OctoAI は Llama や Stable Diffusion などのオープンモデルを OpenAI 互換 API で動かしていたクラウド型の AI推論API だ。NVIDIA が 2024 年に買収し、同年末に停止した。
OctoAI について
About
OctoAIとは
OctoAI はシアトルの企業で、オープンソースの AI モデルを速く安く使える形で売っていた。API にリクエストを送り、カタログからモデルを選べば、テキストか画像が返ってくる。売りは速度だ。同じ GPU からより多くの性能を引き出すよう各モデルを調整していたため、素のクラウド配備より応答が速く、費用も安く済んだ。
その強みはチャットbotではなくコンパイラから来ている。OctoAI は 2019 年に OctoML として始まった。ワシントン大学発のスタートアップで、手元のチップでモデルがきちんと動くよう書き換えるオープンソースのコンパイラ Apache TVM を核にしていた。この技術は後に、Llama や Stable Diffusion を自社製品に組み込みたいアプリ開発者向けのオープンモデルのホスティングとしてまとめられた。機械学習の基盤チームを抱えずに済む点が受けていた。
そのサービスはもう存在しない。NVIDIA が 2024 年 9 月に OctoAI を買収し、会社は全サービスへのアクセスを 2024 年 10 月 31 日で終了すると顧客に伝えた。アカウントは無効化され、API は止まった。チームは NVIDIA のソフトウェア部門に移っている。今 OctoAI を調べる人は、閉じた章を見ていることになる。実用的な問いは、代わりに何を使うかだ。
使い始め方
プラットフォームが廃止済みなので、登録手続きはもう辿れない。以下は稼働当時の流れで、古いチュートリアルを読むときや移行を計画するときに役立つ。
- OctoAI のプラットフォームでアカウントを作り、コンソールで API トークンを発行する。
- Llama、Mistral、Stable Diffusion XL などカタログのモデルを選ぶか、自分で微調整したモデルをアップロードする。
- コードの接続先を OpenAI互換API のエンドポイントにする。多くのクライアントライブラリはベース URL の差し替えだけで動いた。
- リクエストを送り、返ってきたテキスト、画像、JSON を読む。
- プライベート配備なら、自社のクラウドアカウントかオンプレミスで OctoStack を動かす。通信が共用の基盤を通らずに済む。
AIツール情報
OctoAIの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- オープンモデルで開発する人：ホスティングと調整は OctoAI 任せで、小さなチームでも GPU を持たずに Llama や Mistral の機能を出せた。この選択肢は 2024 年 10 月 31 日で終わった。
- OctoAI からの移行を進めるチーム：何をしていたサービスかを押さえておくと、移行先で同じ動きを再現しやすい。Fireworks AI、Together AI、Groq、Anyscale はいずれも同じオープンモデルを扱う。
- 規制産業の企業：OctoStack はデータ所在地の要件がある会社向けで、共用サーバーではなく自社のクラウドアカウントか拠点内のクラスタで動かす設計だった。
タスク
- 本番規模のテキスト生成を配信する：調整済みのエンドポイントが一般的なオープンモデルを OpenAI 形式のリクエストで処理したので、その標準で組んだアプリは統合作業が少なくて済んだ。
- Stable Diffusion XL で画像を作る：SDXL も同じ API から呼べ、自作の LoRA アダプタを添えられた。ゼロからモデルを学習しなくても、製品の画風を揃えられる。
- 微調整済みモデルを置く：自前の Llama 派生モデルを持つチームは、アップロードすれば管理されたエンドポイントを得られた。推論基盤を自作せずに済む。
- 古い依存関係を点検する：コードや契約更新の一覧に OctoAI の呼び出しがあれば、停止日と移行先を知ることで書き換えの緊急度が判断できる。
シーン
- OctoAI に頼っていた試作：OpenAI 互換のエンドポイント向けに組んだものは、URL とキーの差し替えで移せる場合が多い。作業の中心はロジックの書き直しより検証になる。
- 推論ベンダーの調達評価：買収されてサービスが続かなかった例として OctoAI は分かりやすい。本番通信をどこに置くかを決めるとき、この点は判断材料になる。
- 2024 年のチュートリアルを読む：OctoAI を勧める記事は過去の資料として扱う必要がある。手順は管理型推論の仕組みを今も説明しているが、エンドポイントは応答しない。
主な機能
OpenAI 互換のテキスト生成
Llama 2 を 7B、13B、70B で用意し、チャット向けの派生、Code Llama、Mistral 7B も揃えていた。API は OpenAI のリクエスト形式に従っていたため、その標準を使うチームはベース URL を変えるだけで移行できた。互換性のおかげで、新しい配信先の検証は数行の設定で済む。
Stable Diffusion XL の画像 API
画像側は Stable Diffusion XL を動かし、呼び出しの中で自作の LoRA アダプタを付けられた。ゲームスタジオや広告チームは、土台のモデルを学習せずに自社らしい画風の素材を生成できる。応答は画像そのもので、後から問い合わせる順番待ち番号ではない。
ハードウェアに依存しない最適化
強みの源は Apache TVM だ。特定のチップ向けに調整したコードへモデルを変換するコンパイラで、OctoAI はその調整を自社サーバー側で済ませていた。だから高速化の効果は、利用者が入れるパッケージではなく API の応答時間に出る。対応範囲は NVIDIA GPU、AMD のハードウェア、Intel CPU、AWS Inferentia まで広がっていた。市場が NVIDIA に集まるにつれ、この移植性の価値は薄れた。
OctoStack によるプライベート配備
2024 年 4 月に出た OctoStack は、同じ推論基盤を企業の環境内で動かす製品だ。AWS、Google Cloud、Azure、CoreWeave、Lambda Labs、自社データセンターのいずれでもよい。狙いは秘匿性と統制で、医療、金融、行政のチームがデータを OctoAI のサーバーに送らずにモデルを使える。GPU 利用率は自作構成の 4 倍、運用コストは 50% 減ると会社は主張した。
自前モデルの持ち込み
カタログ以外にも、微調整した Llama 2 の派生を載せて他のエンドポイントと同じように呼べた。独自モデル用の配信層を自作せずに済む。ただし微調整そのものは別の場所で作って検証する必要がある。
従量課金
固定の月額ではなく利用量で課金し、無料の試用枠、テキストはトークン単位、SDXL は画像単位、独自エンドポイントは GPU 時間単位の料金だった。節約幅が大きいのは調整済みモデルで、未処理の配備より最大 10 倍速く動くと会社は説明していた。
メリットとデメリット
メリット
- API が OpenAI 形式なので、既存アプリの移行はベース URL とキーの変更で足りた
- 調整済みモデルは素の GPU 配備より応答が速く、トークン単価も安い
- 自作 LoRA アダプタで、モデルを学習せずに画像の画風をブランドに揃えられる
- OctoStack があれば、規制産業でもデータを自社のクラウドアカウント内に保てる
- 無料の試用枠で、予算を決める前に遅延と品質を測れる
デメリット
- プラットフォーム全体が 2024 年 10 月 31 日に停止した。NVIDIA の買収発表から約 5 週間後のことだ
- 同じ処理を引き継ぐ NVIDIA 製品はなく、顧客は競合の推論サービスで作り直す必要があった
- モデルの追加は俊敏な競合より遅れ、新しいオープンモデルは数週間から数カ月ライバル側に留まった
- 市場が NVIDIA GPU に集まるにつれハードウェア非依存の訴えは弱まり、OctoAI を選ぶ理由も狭くなった
- 独自エンドポイントの料金は固定のトークン単価より読みにくく、流量の波が大きいチームは予算を立てにくかった
よくある質問
NVIDIA が 2024 年 9 月に OctoAI を買収し、会社は 2024 年 10 月 31 日にすべての商用サービスを終了した。CEO の Luis Ceze 率いるチームは NVIDIA に加わり、API とプラットフォームはもう通信を受け付けない。
関連コンテンツ
OctoAIに関連するツール、スキル、記事を探す。
OctoAIの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。