Vectorview
Vectorview (now Andon Labs) · コーディング
Vectorviewは基盤モデルとLLMエージェント向けのカスタム評価を設計する。現在はAndon Labs名義で、能力、安全性、長時間実行での挙動を測っている。
Vectorview について
About
Vectorviewとは
VectorviewはAIモデルとエージェントの評価を手がける企業だ。2023年にスウェーデンで始まり、Y CombinatorのW24バッチを通過した。創業者はLukas Petersson、Emil Fröberg、Axel Backlundの3人。
現在の社名はAndon Labs。ブラウザにvectorview.aiと打つとAndon Labsのサイトに飛び、そこに並ぶのは評価サービスではなく自律的な組織の話だ。購入を考えている人には影響が大きい。元の製品ページも料金条件もすでに消えている。
狙っている問題は現実的である。公開ベンチマークはすぐ飽和する。最先端モデルがMMLUでもコードの課題でも同じ狭い帯に収まると、その数字は製品チームの実務を支える材料にならない。カスタム評価が答えるのはもっと狭い問いだ。この作業を、このツール群で、何回やり切れるのか。失敗したとき何をするのか。
制約は入手経路にある。登録してカードを切れば使える製品ではなかった。案件は対話で詰め、プロジェクト単位で値付けし、公開情報は研究寄りだった。Andon Labsも今はほぼ同じものを売り、加えてPionを抱える。
始め方
- vectorview.aiかandonlabs.comを開き、問い合わせ先かPionのウェイトリストから連絡する。
- 気にしている導入環境を書く。使うモデル、接続するツール、エージェントに任せる作業、実際に起きる失敗の形。
- 走らせる前に、提案されたタスク群と採点規則を確認する。何をもって合格とするのか、評価基準は誰が書くのかを聞く。
- チームに保留版のタスクで評価を実行してもらう。レポートは最終スコアだけでなく、不正の兆候にも目を通して読む。
- モデルを替えたあと、プロンプトを書き直したあとに同じセットをもう一度走らせる。価値はこの比較にある。
AIツール情報
Vectorviewの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- AIラボの評価担当者：モデル公開時にエージェントの挙動を外部から見てもらいたい場面に向く。ただし実行はベンダーと日程を組む形で、自分では回せない。
- エージェントを出荷している創業者：カスタム評価は自社の事例の数字を返す。タスクを採点できる精度で説明できることが条件だ。
- AI安全性と政策の担当チーム：欺瞞、共謀、不正に関する公開研究は社内のリスク審査に使え、しかも無料で読める。
タスク
- 新しいモデルの比較：候補を2つ同じタスク群に載せる。ベンダーのグラフを論じるより早い。
- 顧客向けチャットボットのレッドチーミング：公開前に、返金の拒否、存在しない規定、プロンプトに引きずられる回避策を探す。
- 長時間のエージェント挙動の試験：1年分の事業シミュレーションは、5ターンの会話では見えない揺らぎを出す。
- 導入前のベンダー比較：どちらも見ていない保留問題を用意する。そうして初めてスコアに意味が出る。
シーン
- 公開前の安全性レビュー：エージェントを世に出す数週間前に一式を回す。プロンプトをまだ変えられる時期だ。
- モデル差し替え後の回帰確認：エージェントの下のモデルを替えると挙動は動く。同じセットを繰り返して初めて、どこが動いたか分かる。
- AIの主張に対するデューデリジェンス：外部の数字は、ベンダーのスライドより取締役会や監査に説明しやすい。
主な機能
カスタムのタスク評価器
指定した業務に合わせて、環境、プロンプト、採点規則を書き、そこに候補モデルを通す。評価は1つの用途ごとに組むため、サポート用エージェントと研究支援では別の問題群になる。出てくるのは採点済みのレポートで、ランキングの順位ではない。
公開の長時間ベンチマーク
Vending-Bench 2はモデルに自動販売機事業を1年間運営させる。仕入れ先との交渉、遅れる納品、返金を求める客まで含む。1回の実行で3,000から6,000件のメッセージ、6,000万から1億の出力トークンに達するため、短いテストが素通りする揺らぎを拾える。Vending-Bench Arenaは競合するエージェントを加え、Drone-BenchとBlueprint-Benchはロボティクスと設計を扱う。
実店舗での検証環境
Andon LabsはAIエージェントが実際に店を回している。サンフランシスコのAndon Market、ストックホルムのAndon Café、Andon FM、複数都市の自動販売機だ。人間の従業員が自動化された上司に報告する体制で動いている。記録は評価に戻るため、タスクは実験室で尤もらしい話ではなく、店で実際に壊れた出来事から作られる。
Pion：エージェントが事業を回すための基盤
2026年9月に研究プレビューとして出たPionは、エージェントにメール、電話、銀行口座、ブラウザ、安全な計算環境を渡し、事業を端から端まで動かす。Andonは選ばれた応募者に初期トークンを出資し、エージェントが生んだ収益の小さな取り分を得る。利用はウェイトリスト経由だ。
不正と報酬ハックの検出
テストで抜け道を使われたらスコアに意味はない。Andonは監査結果も出す。3,077回のDrone-Bench実行を調べた回では、データの持ち出しやフィードバック経路への測定値の埋め込みが記録された。この比率を成績と並べて見れば、近道を見つけたモデルの数字を割り引ける。
リーダーボードとモデル比較
各ベンチマークには公開表、実行ごとの誤差、アラインメント上の失敗に関する注記が付く。まとめて読むと新モデルの簡易チェックになり、結果は公開から数日で出ることが多い。実行あたりのコストも出る。Vending-Benchを1回回すだけで数千万トークンを燃やすのだから、これは効く。
メリットとデメリット
メリット
- どのモデルも通る汎用スコアではなく、自社のタスクに合わせた評価が得られる。
- 実店舗に触れられる機会は珍しく、失敗の型が営業中の店やカフェから出てくる。
- 不正の監査が結果と並んで公開され、数字を静かに化粧しにくい。
- 公開リーダーボードは新モデルの登場から数日で更新される。
- 実行単価が開示され、評価一式の実費が見える。
デメリット
- 価格表もセルフ申し込みもなく、営業と話さないと試せない。
- Andon Labsへの改名で元の製品ページが消え、古いリンクは行き止まりになる。
- Pionは研究プレビューでウェイトリスト待ちのため、来月出す予定の案件には使えない。
- 公開評価は長時間の事業運営とロボティクスに寄り、狭いテキスト作業は既成品ではほぼ覆われない。
よくある質問
基盤モデルとLLMエージェント向けのカスタム評価を設計して実行し、能力、安全性、長時間実行の信頼性を扱う。標準のベンチマークでは自社導入の問いに答えられないとき、企業がこのチームに依頼する。
関連コンテンツ
Vectorviewに関連するツール、スキル、記事を探す。
Vectorviewの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。