OpenFoundry

OpenFoundryとは

OpenFoundryを手がけるのはサンフランシスコの2人組で、2024年にArthur ChiとTyler Lehmanが立ち上げ、50万ドルの資金を得ている。問題意識は正しい。オープンモデルは無料で落とせるのに、動かす段になると面倒になる。オープンソースAIのデプロイは、多くの現場で手作業のまま止まっている。公式サイトは、用途に合うモデルを見つけ、数クリックでチューニングし、自社クラウドへ送り出すまでを約束した。ホスティング型APIが裏に隠している作業は、まさにその部分だ。

いま実際に入手できるのはModel Managerで、MITライセンスで公開されたPython製のコマンドラインツールである。Hugging Faceのモデル、SageMakerのカタログにあるモデル、あるいは手元の重みを受け取り、自社のAWSアカウントにSageMakerエンドポイントを立てる。設定はコマンド2つとキー1つで済み、Hugging FaceからAWSへの道のりは研究作業ではなくなる。

週末を投じる前に2点だけ押さえておきたい。デプロイ先はAWSのみで、リポジトリの最終コミットは2024年5月だ。openfoundry.aiは現在Overheardへ転送され、これは同じ創業者による別製品である。成果物はコードだと捉え、ホスティング版は停止状態と見たほうがいい。

使い始める

1. AWSアカウントを作り、SageMakerのアクセスキーを発行する。
2. model_managerリポジトリを複製し、bash setup.shを実行してキーを貼り、リージョンを確認する。既定はus-east-1だ。
3. Llama 2のようにアクセス制限のあるモデルを配備するなら、スクリプトが生成する.envにHUGGING_FACE_HUB_KEYを書き足す。
4. python3 model_manager.pyを走らせ、重みの取得元を選ぶ。Hugging Face、SageMaker、自前のS3パスかローカルフォルダのいずれかだ。小さいモデルなら2分ほどでエンドポイントが立つ。
5. エンドポイントはスクリプト、ローカルのFastAPIサーバー、SageMaker APIのどれからでも叩ける。/configsに出力されるYAMLを残しておけば、次の配備はコマンド1つで終わる。