Bethge Lab
University of Tübingen (Tübingen AI Center) · ビジネス
Bethge Lab はテュービンゲンAIセンターに所属するAI研究グループで、Matthias Bethge が率いる。エージェントの再帰的自己改善を研究し、ベンチマーク、コード、データをすべて公開する。
Bethge Lab について
About
Bethge Lab とは
Bethge Lab は、Matthias Bethge がテュービンゲン大学で率いる機械学習の研究グループだ。拠点はテュービンゲンAIセンターに置く。営利を目的としないAI研究ラボであり、フロンティアAIの能力を学界に届ける非営利団体 Open Athena と公開前提で協働する。製品を売るのではなく、論文、コード、ベンチマーク、データを出す。
研究の出発点はひとつ。AIシステムは配備されたあと、どう学び続けるのか。リリースの時点で固定されたモデルは伸びない。だからポストトレーニングを中心に据え、長い経験こそモデルが新しい何かを見つける場所だと考える。作業は三本の柱に分かれる。再帰的自己改善、AI時代の人間の学習、神経科学のための基盤モデル。
範囲の限界は先に押さえておきたい。ホスティングサービスも、サポート契約も、非公開のロードマップもない。成果は学会の暦に沿って出てくる。リポジトリごとに手入れの度合いは違い、扱う問いは意図的に狭い。手に入るのは研究水準のコードと正直な評価であって、ベンダーとの関係ではない。
はじめかた
- bethgelab.org を開き、自分の問題にいちばん近い研究の柱を選ぶ。柱ごとに代表論文が並んでいる。
- 使いたいベンチマークの元になった論文を読み、リポジトリを複製し、その上に何かを作る前にライセンスを確認する。
- 自分のモデルやエージェントの骨組みでベンチマークを走らせ、平均値ではなくサンプル単位のスコアを見る。
- 論文を引用するときは使ったバージョンも書く。この種のベンチマークは新しいモデルに合わせて伸び続ける。
- 共同研究や採用の窓口はメールではなくウェブの応募フォーム。審査は月次で回る。
AIツール情報
Bethge Labの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 機械学習の研究者：ベンチマークも論文も、自分で訓練して自分で評価する人に向く。基準となる数値を再現するには GPU の予算と実装の時間が要る。
- AI企業の評価チーム：サンプル単位の採点と公開された評価基盤は、リリース時の数字に対する第二の意見になる。自社の技術スタックにコードを合わせられることが条件だ。
- 神経科学・視覚の研究者：DeepGaze と openretina は基盤モデルを視線計測や網膜の記録につなぐ。データは複数の研究室で共有する。
タスク
- エージェントがモデルをポストトレーニングできるか確かめる：PostTrainBench は固定の計算予算で一周させ、実際に何ができたかを報告する。
- 自社のエージェント評価を鍛え直す：ONEBench と QVal は本当の改善と偶然の平均を切り分ける。テストセットが何も語らなくなったときに効く。
- 公開された訓練データを探す：DataComp-VLM と LAION-BVD は選別の過程を文書で残す。訓練の前に中身を監査できる。
シーン
- モデル公開の前に評価基盤を選ぶ：まずサンプル単位の結果を読み、どの失敗なら許容できるかを決める。
- 継続学習の文献調査：論文リストは短くて新しい。一週間ぶんの検索が省ける。
- 大学院の演習を組む：公開ベンチマークは課題として成立する。学生が動かすのは著者と同じコードだ。
主な機能
ポストトレーニングを自動化する PostTrainBench
PostTrainBench が問うのは明快だ。言語モデルのエージェントは、基礎モデルを引き継いで人手なしにポストトレーニングできるのか。エージェントには固定の計算予算が渡され、出来上がったモデルは保留したタスクで採点される。伸びは宣伝文句ではなく数値として出る。チームはこれでエージェントの骨組みを同じ土俵で比べる。自律的な機械学習作業の負荷試験に、ここまで近いものは多くない。
サンプル単位で測る ONEBench
ONEBench は一回の実行を平均に潰さず、サンプルごとに採点する。やさしいプロンプトで伸び、難しいプロンプトで静かに壊れるモデルは、この違いに出る。新しいモデルとタスクが来るたびに育つ設計なので、過去のスコアが凍りつかない。自前のテストセットを足しても比較の公平さは保てる。
長く走るエージェントの過程を測る
AlgoTune は、モデルが本当に速い数値計算コードを書けるかを見る。QVal は長い実行のうち、どのステップが実際に効いたかを測る。どちらも最終回答の正答率が覆い隠す部分を狙う。数十ステップ動くエージェントを運用しているなら、全履歴を人手で読み返すより安い信号になる。
視覚と言語のためのオープンデータセット
DataComp-VLM は整形済みの画像テキストデータを公開基準線つきで提供する。LAION-BVD はマルチモーダル事前学習向けに1000万時間の公開動画を加える。どちらも公開の場で作られ、選別の判断は記録に残る。ライセンスや不透明な整理が実験を止めるとき、研究者はここへ来る。
CiteME と研究エージェントの検証
CiteME は、言語モデルが科学的主張の背後にある論文を見つけられるかを試す。範囲は狭く、答えは検証できる。自信たっぷりに語って何も引かないモデルを炙り出すのに向く。研究グループは能力が訓練データからどう生まれるかも調べているため、誤った引用は数えるだけでなく出所まで辿れる。
DeepGaze による視線予測
DeepGaze3.5-VL は走査経路をトークン列として扱い、視覚言語モデルに載せて人の視線を予測する。同じ系列の旧版は顕著性の研究で今も使われ、基盤となるデータは公開されている。小さなサンプルから作ったヒートマップではなく、注意のモデルが要るときに UX や視覚のチームが手を伸ばす。
openretina と共有される網膜モデル
openretina は、データセット、研究室、種をまたいで網膜モデルを訓練する共同プロジェクトだ。一つの研究室が記録を抱え込むのではなく、モデルとデータを出して結果を比べられるようにする。神経科学のグループは共通の基準線として使い、長い目で見れば生物の視覚を積み上げ式に説明することが狙いになる。
メリットとデメリット
メリット
- すべてが公開される。論文、コード、ベンチマーク、データが外に出るので、ランキングを信じる代わりに主張を自分で確かめられる。
- 評価が不自然なほど正直だ。サンプル単位の採点と過程の指標は、単一の正答率なら隠れる退行を表に出す。
- 研究の焦点が絞られている。三本の柱にそれぞれ新しい論文があり、自分の問題が入るかどうかすぐ分かる。
- ベンチマークが生き続ける。ONEBench とその周辺は新しいモデルを吸収する設計で、去年のスコアにも意味が残る。
デメリット
- 買える製品がない。ホスト型 API も管理画面もサポート窓口もなく、導入も計算も不具合の切り分けも自分の側に残る。
- リポジトリの質はばらつく。活発に手入れされるものもあれば、論文の付属物で止まっているものもある。依存させる前に最終コミットを見るべきだ。
- 守備範囲は意図的に狭い。エージェント評価、ポストトレーニング、計算視覚の外側にある問いには、ほとんど答えを持っていない。
- 成果は学術の時間で動く。論文に出てから、再利用できる程度にコードが整うまで数か月かかることがある。
よくある質問
違う。テュービンゲン大学の学術研究グループで、営利を目的とせず、テュービンゲンAIセンターを拠点に Matthias Bethge が率いる。研究成果へのアクセスを売る商業部門はない。
関連コンテンツ
Bethge Labに関連するツール、スキル、記事を探す。
Bethge Labの代替ツール
Claude for Google Workspace
Anthropic · ライティング · 生産性向上 · ビジネスClaude for Google Workspace は Google ドキュメント、スプレッドシート、スライドに Claude サイドバーを追加する。開いているファイルを読み取り、その場で書き換える。
KloudMate 2.0
KloudMate · コーディング · ビジネスKloudMate 2.0 はログ、メトリクス、トレース、インシデントを一か所に集める AI オブザーバビリティプラットフォームだ。KloudMate Assistant がアラートを調査し、修正案を返す。
Cekura Bench
Cekura · 音声・言語 · ビジネスCekura Benchは、音声対音声モデルと実運用中の音声エージェントに82件の模擬通話を各3回実行させ、成功率、遅延、1分あたりのコストを公開するベンチマークだ。