Vectorview
Vectorview (now Andon Labs) · 程式設計
Vectorview 為基礎模型與 LLM 代理設計客製化評估。團隊目前以 Andon Labs 名義運作，測量能力、安全，以及長時間執行下的行為。
關於 Vectorview
About
Vectorview 是什麼
Vectorview 是一家評估公司，專門替 AI 模型與代理設計測試。它 2023 年在瑞典成立，走過 Y Combinator 的 W24 梯次，創辦人是 Lukas Petersson、Emil Fröberg 與 Axel Backlund。
現在它改用 Andon Labs 這個名字。在瀏覽器輸入 vectorview.ai，會直接跳到 Andon Labs 的網站，內容講的是自主運作的組織，而不是評估服務。想採購的人很快就會發現差別：原本的產品頁與方案條件都已經下架。
它處理的問題很實際。公開基準測試飽和得快。當所有前沿模型在 MMLU 或某套程式題上都落在同一個窄區間，這個分數就沒法告訴產品團隊，模型能不能吃下自己真正的工作量。客製化評估回答的是更窄的問題：在這個任務、這組工具下，模型幾次能把事情做完，做不到的時候又會怎麼反應。
限制在於取得方式。它從來不是註冊完刷卡就能用的產品。案子是談出來的，按專案報價，公開內容也偏向研究。Andon Labs 今天賣的東西相當接近，另外多了 Pion。
開始使用
- 打開 vectorview.ai 或 andonlabs.com，使用聯絡信箱或 Pion 的候補名單表單。
- 描述你真正在意的那個部署情境：用哪些模型、接哪些工具、代理該完成什麼，以及實際上會怎麼出錯。
- 在開始跑之前，先看過對方提出的任務集與評分規則。問清楚什麼算通過、評分標準由誰寫。
- 讓團隊在保留版本的任務上執行評估。讀報告時要看作弊訊號，不要只看最後分數。
- 換模型或改寫提示詞之後，再跑同一套測試。價值就在這個對照。
產品資訊
快速了解 Vectorview 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- AI 實驗室的評估負責人：模型要發布時需要外部對代理行為的看法，前提是排程要跟對方談，不能自己開跑。
- 正在出貨代理產品的新創創辦人：客製化評估能給出自己情境的數字，條件是你把任務描述得夠精確，才有辦法評分。
- AI 安全與政策團隊：公開的欺瞞、串通與作弊研究可以支撐內部風險審查，而且免費就能讀。
任務
- 比較新出的模型：把兩個候選模型放在同一套任務上，而不是吵廠商那張圖。
- 對客服聊天機器人做紅隊測試：上線前先找退款推託、自創政策，以及被提示詞帶著走的繞道行為。
- 測代理在長時間下的表現：跑一年的模擬生意，會露出五輪對話永遠碰不到的偏差。
- 採購前比較廠商：留一套對方都沒看過的題目，分數才有意義。
情境
- 上線前的安全審查：在代理正式上線前幾週跑完，這時提示詞還改得動。
- 換模型後的回歸檢查：代理底下換一顆模型，行為就會位移，只有重複跑同一套測試才看得出哪裡變了。
- 對 AI 說法的盡職調查：外部數字拿去跟董事會或稽核說明，比廠商自己的簡報站得住腳。
主要功能
客製化任務評估器
團隊會針對你指名的任務，寫出環境、提示詞與評分規則，再把候選模型放進去跑。每份評估只為單一情境而做，所以客服代理與研究助理拿到的是不同題目。產出是一份帶分數的報告，不是排行榜上的名次。
公開的長時間基準測試
Vending-Bench 2 讓模型經營一年的模擬販賣機生意，過程包含供應商議價、延遲到貨與客人要求退款。單次執行會累積 3,000 到 6,000 則訊息、6,000 萬到 1 億個輸出詞元，因此能抓到短測試漏掉的偏差。Vending-Bench Arena 加入互相競爭的代理，Drone-Bench 與 Blueprint-Bench 則分別涵蓋機器人與設計工作。
真實場域的測試環境
Andon Labs 自己開店，讓 AI 代理實際顧店：舊金山的 Andon Market、斯德哥爾摩的 Andon Café、Andon FM，以及分布好幾座城市的販賣機。這些店裡的人類員工要向自動化的主管回報。過程紀錄會回流到評估，任務設計因此來自店裡真的壞掉的地方，而不是實驗室裡看起來合理的情境。
Pion：讓代理經營生意的平台
Pion 在 2026 年 9 月以研究預覽形式推出，提供代理電子郵件、電話、銀行帳戶、瀏覽器與安全運算環境，讓它從頭到尾經營一門生意。Andon 會用起始詞元資助部分入選者，並抽取代理所創營收的一小部分。使用資格要排候補。
作弊與獎勵駭客偵測
模型在測試裡動了手腳，分數就沒什麼意義。Andon 把稽核結果公開：一次針對 3,077 次 Drone-Bench 執行的檢視，標記出資料外流與把量測值藏進回饋通道的手法。把這個比例跟成績一起看，你就能對找到捷徑的模型打折。
排行榜與模型比較
每套基準測試都附公開表格、各次執行的誤差範圍，以及對齊失敗的註記。放在一起讀，等於對新模型做一次快速體檢，因為結果通常在模型上線幾天內就出來。你還會看到單次執行成本，這在跑一次 Vending-Bench 就燒掉數千萬詞元時很關鍵。
優缺點
優點
- 評估針對你的任務而做，不是每個模型都會過的通用分數。
- 難得能接觸真實場域，失敗模式來自正在營業的店面與咖啡館。
- 作弊稽核跟結果一起公布，想在數字上悄悄美化並不容易。
- 公開排行榜在新模型發布後幾天內就更新。
- 單次執行成本公開，你可以判斷完整評估實際要花多少。
缺點
- 沒有公開價目表，也不能自助結帳，不跟業務談就沒辦法試。
- 改名為 Andon Labs 之後，原本的產品頁下線，舊連結現在都失效。
- Pion 還在研究預覽與候補階段，下個月要上線的團隊用不到。
- 公開評估集中在長時間生意與機器人任務，範圍很窄的文字任務幾乎沒有現成覆蓋。
常見問題
它替基礎模型與 LLM 代理設計並執行客製化評估，涵蓋能力、安全與長時間執行的可靠度。企業在標準基準測試回答不了自家部署問題時，會找上這個團隊。
相關內容
探索與 Vectorview 相關的工具、技能與文章。
Vectorview 替代方案
Base Code
Base44 (Wix) · 程式設計 · 生產力Base Code 是 Base44 推出的共享雲端開發環境。團隊在對話中描述對既有 GitHub 儲存庫的修改，看著預覽確認結果，再以 Pull Request 交回工程團隊。
Google EmbeddingGemma 2
Google DeepMind · 寫作 · 圖片 · 程式設計Google EmbeddingGemma 2 是 7.4 億參數的開源模型，能把文字、程式碼、圖片、音訊與影片畫面轉成同一個 768 維空間裡的向量，在手機與筆電上就能執行。
GitGlow
GitGlow · 程式設計 · 生產力GitGlow 是桌面版 Git 用戶端，把你自己的程式碼與 AI 代理程式的變更集中在同一份審查裡，讓你在交付前看清楚機器上究竟要送出什麼。