Bethge Lab
University of Tübingen (Tübingen AI Center) · 商業
Bethge Lab 是圖賓根 AI 中心的 AI 研究團隊，由 Matthias Bethge 帶領，研究代理的遞迴自我改進，並把基準測試、程式碼與資料全部公開。
關於 Bethge Lab
About
Bethge Lab 是什麼
Bethge Lab 是 Matthias Bethge 在圖賓根大學的機器學習團隊，辦公室設在圖賓根 AI 中心。它屬於學術單位、不以營利為目的，並與 Open Athena 公開合作；後者是一個把前沿 AI 能力帶進學術界的非營利組織。團隊發表論文、程式碼、基準測試與資料，不販售產品。
所有研究都繞著同一個問題：AI 系統上線之後，要怎麼繼續學習？模型在發布當天就停止進步，因此團隊把重心放在後訓練，並把長期執行的經驗視為模型發現新東西的地方。工作分成三條主軸：遞迴自我改進、AI 時代的人類學習，以及給神經科學用的基礎模型。
規劃之前，先看清楚界線。這裡沒有託管服務、沒有支援合約、沒有內部路線圖。成果跟著研討會時程釋出，各倉庫的維護程度不一，而且團隊刻意只鑽研一小組問題。你拿到的是研究等級的程式碼與誠實的評估，不是供應商關係。
快速上手
- 打開 bethgelab.org，挑一條最接近你問題的研究主軸，因為每一條都列出自己的代表論文。
- 讀懂你要用的基準測試背後那篇論文，再 clone 對應倉庫，先確認授權條款再往上開發。
- 用你自己的模型或代理框架跑一次基準測試，看逐筆樣本的分數，不要只看平均值。
- 引用論文時一併寫出使用的版本，因為其中幾項基準測試會隨著新模型持續擴充。
- 想合作或應徵，走網站上的申請表而不是寄信。審查每個月進行一次。
產品資訊
快速了解 Bethge Lab 的定價、支援平台與效能。
適合對象
這項工具最適合的使用者、任務與情境。
使用者
- 機器學習研究者：基準測試與論文鎖定自己動手訓練、自己動手評估的人，因此你需要 GPU 預算與工程時間，才有辦法重現一條基準線。
- AI 實驗室的評估團隊：逐筆樣本計分加上開放測試框架，能為發布數字提供第二意見，前提是你有能力把程式碼接上自己的技術堆疊。
- 神經科學與視覺研究者：DeepGaze 與 openretina 把基礎模型接到眼動與視網膜記錄上，資料由多個實驗室共用。
任務
- 確認代理能不能自己後訓練模型：PostTrainBench 在固定算力預算下跑完整個循環，並回報代理實際產出什麼。
- 壓力測試自家的代理評估：ONEBench 與 QVal 把真實進步與僥倖的平均值分開，當你的測試集已經問不出東西時特別有用。
- 尋找開放的訓練資料：DataComp-VLM 與 LAION-BVD 都附上篩選過程的文件，訓練前能先查清楚哪些資料被放進去。
情境
- 模型發布前挑一套評估框架：先讀逐筆樣本的結果，再決定哪些失誤模式你承受得起。
- 做持續學習的文獻回顧：論文清單短且新，能省下一週的搜尋時間。
- 開一門研究所專題課：開放基準測試是很實際的作業，學生跑的就是作者跑的那份程式碼。
主要功能
用 PostTrainBench 自動化後訓練
PostTrainBench 問的是一個很直接的問題：語言模型代理能不能接下一個基礎模型，在沒有人介入的情況下完成後訓練？代理拿到固定算力預算，產出的模型再用保留任務計分，進步因此是一個數字，而不是一句宣稱。團隊用它把不同的代理框架放在同一把尺上比較。這裡最接近自主 ML 工作壓力測試的東西，就是它。
用 ONEBench 做逐筆樣本評估
ONEBench 對每一筆樣本單獨計分，不把整次執行壓成一個平均值。當模型在簡單提示上進步、卻在困難提示上悄悄崩掉時，這個差別就看得出來。基準測試設計成能隨著新模型與新任務一起長大，舊分數不會就此凍結。你可以加入自己的測試集，比較基準仍然公平。
長流程代理的過程檢查
AlgoTune 測試模型能不能寫出真正更快的數值程式，QVal 則衡量長流程執行中哪些步驟真的幫上忙。兩者都指向最終答案正確率所蓋住的那一塊。若你的代理要跑上數十步，這比人工逐條檢視軌跡便宜得多。
視覺與語言的開放資料集
DataComp-VLM 提供經過整理的圖文資料，並附公開基準線；LAION-BVD 再加上一千萬小時的開放影片，供多模態預訓練使用。兩者都在公開環境下建置，篩選決定留有文件。當授權或黑箱式的資料整理卡住實驗時，研究者就會轉向它們。
CiteME 與研究代理的查核
CiteME 問語言模型能不能找到某個科學主張背後的論文。任務範圍窄，答案可驗證，因此很適合抓出那些講得很有把握、卻一篇都引不出來的模型。團隊同時研究能力如何從訓練資料長出來，所以錯誤引用可以被追回源頭，而不只是被計數。
用 DeepGaze 預測視線
DeepGaze3.5-VL 把掃視路徑當成詞元序列處理，並借助視覺語言模型，預測人會看向哪裡。同一系列較早的版本仍用在顯著性研究，底層資料也對外公開。UX 與視覺團隊需要的是注意力模型，而不是從小樣本畫出來的熱區圖時，就會用它。
openretina 與共享視網膜模型
openretina 是合作專案，跨資料集、跨實驗室、跨物種訓練視網膜模型。它不讓單一團隊囤積記錄，而是把模型與資料放出來，讓結果可以被比較。神經科學團隊把它當共同基準線，更長遠的目標是累積出一套對生物視覺的量化說法。
優缺點
優點
- 全部公開。論文、程式碼、基準測試與資料都對外釋出，你可以自己驗證一句話，而不是相信排行榜。
- 評估誠實到有點刺眼。逐筆樣本計分與過程指標會掀出單一正確率蓋掉的退步。
- 研究議程很聚焦。三條主軸各有近期論文，很快就能判斷你的問題是否落在範圍內。
- 基準測試會繼續長大。ONEBench 與同類工具設計成能吸收新模型，去年的分數今年仍然有意義。
缺點
- 沒有東西可買。沒有託管 API、沒有儀表板、沒有支援窗口，安裝、算力與除錯都得自己扛。
- 倉庫品質參差。有些專案持續維護，有些只是論文附件，把它們當成相依套件之前先看最後一次提交。
- 範圍刻意收窄。問題若落在代理評估、後訓練與計算視覺之外，這裡能給你的東西不多。
- 節奏跟著學術走。結果可能先出現在論文裡，程式碼要好幾個月後才整理到能重複使用。
常見問題
不是。它是圖賓根大學的學術研究團隊，不以營利為目的，辦公室位於圖賓根 AI 中心，由 Matthias Bethge 帶領。沒有商業部門在販售這些研究的取用權。
相關內容
探索與 Bethge Lab 相關的工具、技能與文章。
Bethge Lab 替代方案
Knocket
Knocket (Tencent RTC team) · 生產力 · 商業 · 聊天機器人Knocket 是免費的線上客服與聯絡頁面工具，訪客可從網站、App 或一條分享連結傳訊息，你在 Telegram 或單一收件匣就能回覆。
shippedit.me
Krawlup · 行銷 · 商業shippedit.me 現在會轉向 Krawlup，這是一個每週稽核 SEO、AEO 與載入速度的網站平台，並透過 MCP 把修正交給 AI 編碼代理執行。
Ayven
Alknoma · 生產力 · 商業Ayven 是 Alknoma 推出的 AI 控制中心，能把一句話描述的目標變成有日期的計畫，把任務分派給團隊成員與 AI 代理，只在決定權屬於你時請你核准。