Foundry
Foundry · コーディング · その他
Foundryは、webエージェントのシミュレーションと迅速なAIエージェント評価を組み合わせたAIブラウザエージェントのベンチマークプラットフォームで、自律型ブラウズエージェントを開発するチーム向けの製品だ。
Foundry について
Foundryとは
Foundryは、AI webエージェントを世に出す人たちのために作られたブラウザ自動化プラットフォームだ。エージェントが決済フローや多段階のフォームをこなせるかどうかを勘で判断する代わりに、模擬サイトと既知のタスクで実行させ、その結果をリーダーボードで比較する。開発チームはブラウザ自動化の畑の出身で、会社はY Combinatorの支援を受けている。
解決する中心的な問題は信頼性だ。ブラウザエージェントは雑然とした、再現しにくい形で失敗する。一度だけ成功したデモは、信頼性についてほとんど何も語らない。Foundryは反復可能なタスク、一貫したスコア、共有の基準点を与える。前回のプロンプト変更は本当に効いたのか。今なら分かる。
現時点で最大の制約はアクセスだ。Foundryはプライベートベータなので、完全なプラットフォームを解放する前にウェイトリストへ登録する。公開の料金ページもなく、中に入るまで予算を立てにくい。公開されたプランがあるセルフサービス型のツールを今すぐ必要とするなら、これはまだそれではない。エージェントを評価中で招待を待てるなら、中に入ってからのセットアップは速い。
はじめ方
- サイトからプライベートベータへのアクセスを申請し、招待を待つ。
- Python SDKをインストールし、Foundryを既存のエージェントワークフローに接続する。
- ナビゲーションからフォーム入力まで、エージェントの目的に合うベンチマークを選ぶ。
- エージェントを提出し、Foundryの模擬web環境でAIエージェントテストのタスクを実行させる。
- リーダーボードでスコアを読み、実行回数を比較して変化を確認する。
AIツール情報
Foundryの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- ブラウザエージェントを開発するAIエンジニア：一度きりのデモに頼らず、信頼性を反復して測る手段が得られる。
- QA・評価チーム：実行ごとに一貫したスコアが得られるため、エージェントの変更に伴う退行を追跡できる。
- web自動化を世に出すスタートアップチーム：セットアップ時間が短く、評価用のテスト環境を一から作いたくない小さなチームに合う。
タスク
- ナビゲーションエージェントを標準タスクで評価する：毎回同じスイートを回し、スコアを正直に比較する。
- 決済や登録など多段階のフローに負荷をかける：模擬サイトなら、実ユーザーが壊す前に安全にエージェントを壊せる。
- プロンプトやモデル変更後に2つのエージェント版を比べる：並べた結果が、実際にどちらが優れるかを示す。
- 結果を共有リーダーボードに公開する：エージェントの能力について外部の基準点が欲しいときに役立つ。
シーン
- リリース前の信頼性チェック：エージェントが本番トラフィックに触れる前に、不安定な挙動を捕まえる。
- webエージェントの能力研究：自前の非公開スイートではなく、共通のタスク群で手法を比較する。
- チームや投資家にエージェントの進捗を見せる：リーダーボードのスコアはログの山より読みやすい。
主な機能
模擬web環境
Foundryは、実在のページを模しつつライブwebの予測不能さを持たない模擬サイトでエージェントを動かす。タスクが失敗するか通るかは、点検できる理由による。キャプチャが割り込んだからでも、実行の途中でサイトが落ちたからでもない。この制御が要点そのものだ。追いかける不安定なテスト実行はない。
ベンチマークスイート
エージェントを採点できる標準タスクの一式があり、ナビゲーション、検索、フォーム入力といった一般的なブラウズ作業をカバーする。タスクが共通だからこそ、自分の数字を他人の数字と比べられる。それがブラウザエージェントのベンチマークの狙いだ。
Python SDK連携
Python SDKを通じてFoundryをワークフローに接続するので、テストのためにエージェントを書き直す必要はない。SDKがエージェントの提出と結果の取得を担う。エージェントがすでにヘッドレスで動くなら、セットアップは5分ほどだ。新しく覚えるスタックはない。
リーダーボードとスコアリング
結果はリーダーボードに載り、同じタスクを回す他のエージェントと比べて自分の位置が分かる。簡単な健全性チェックとしても、どのタスクが自分だけでなく全エージェントをつまずかせるかの発見にも役立つ。
高速な評価実行
Foundryは、自前のテスト環境を組むよりAIエージェント評価が最大10倍速いと述べる。主な理由は、環境とタスクが作り置きで提供されることだ。ループが速ければ、同じ午後にもっと反復できる。プロンプトを調整するとき、この差は効いてくる。
データとシミュレーションのエンジン
採点実行にとどまらず、Foundryはwebエージェント向けのデータ・シミュレーションエンジンだと自称する。売り文句はこうだ。現実的で制御可能な環境は、エージェントを採点するだけでなく、テストし改善するのにも役立つ。長いロードマップと、検証すべきエージェント変更の絶えないチームにとって、この広い約束こそが本命の売りだ。
メリットとデメリット
メリット
- 現実的な模擬サイトが、失敗を再現可能にし、デバッグしやすくする。
- 標準のベンチマークタスクが、実行間やチーム間で比較できる数字を与える。
- Python SDKが、最小限の書き直しで既存のエージェントワークフローに収まる。
- リーダーボードは、非公開テストスイートだけでは得られない外部の基準点をエージェント能力に加える。
- 報告によれば、評価ループは手作業で自前のテスト環境を組むより速い。
デメリット
- プライベートベータのため、完全なプラットフォームを使う前に招待を待つことになる。
- 公開料金がないため、まずチームに相談しないと予算もコスト比較もできない。
- 模擬環境は、本番サイトそれぞれの癖を完全には再現しない。
- Pythonの経験がない小さなチームは、最初の一歩が険しい。
よくある質問
FoundryはAI webエージェントをテスト・ベンチマークするプラットフォームだ。エージェントを模擬サイトと標準タスクで動かし、スコアをリーダーボードで比較する。そうやって信頼性を判断する。
関連コンテンツ
Foundryに関連するツール、スキル、記事を探す。
Foundryの代替ツール
Forefront
Forefront · コーディングForefrontはオープンソースAIで構築するためのウェブプラットフォームだ。主要なオープンソース言語モデルを自分のデータで微調整し、性能を評価し、API経由で実行したり、エクスポートして自分でホストしたりできる。クローズドなプラットフォームの手軽さを求めつつ、モデルとデータの所有権にはこだわる開発者が対象だ。
Startkit
StartKit.AI · コーディングStartkitは、AI SaaSとAIラッパー製品を作るためのボイラープレートだ。面倒な部分をあらかじめ配線済みにしたAIスタートアップボイラープレートと考えればいい。認証、StripeとLemon Squeezyの決済、利用制限、トランザクションメール、そしてOpenAI、Anthropic、Groq、Llamaと通信するAI APIスターターキットが含まれる。リポジトリをクローンして価格を設定し、ユーザーが実際にお金を払う部分に取りかかれる。ReactとTailwind上のNext.jsで作られているため、ボイラープレートコードの多くはすでに見慣れたものだ。
Testim
Tricentis · コーディングTestimは、Web・モバイル・Salesforceアプリ向けにエンドツーエンドテストを構築して実行するAIテスト自動化プラットフォームだ。機械学習を頼りに、インターフェースが変わってもテストを安定させ、チームが壊れたセレクターの修正に費やす時間を減らす。今日から使い始められる自動テストツールとしては悪くない。ブラウザで操作を録画してテストを作り、より細かい制御が必要なときはJavaScriptを足す。忙しいQAチームにとって堅実な選択肢である。