Bethge Lab

PostTrainBench fragt, ob ein LLM-Agent ein Basismodell übernehmen und ohne Mensch im Zyklus nachtrainieren kann. Der Agent erhält ein festes Rechenbudget, und das entstandene Modell wird auf zurückgehaltenen Aufgaben bewertet, sodass der Gewinn als Zahl erscheint statt als Behauptung. Teams vergleichen damit Agenten-Gerüste unter gleichen Bedingungen. Näher kommt ein Belastungstest für autonome ML-Arbeit derzeit nicht.

ONEBench bewertet einzelne Stichproben, statt einen Lauf zu einem Mittelwert zu quetschen. Das zählt, wenn ein Modell bei leichten Prompts zulegt und bei schweren still einbricht. Der Benchmark ist darauf angelegt, mit neuen Modellen und Aufgaben zu wachsen, damit alte Werte nicht einfrieren. Eigene Testsets lassen sich ergänzen, der Vergleich bleibt fair.

AlgoTune prüft, ob ein Modell echten, schnelleren numerischen Code schreibt, und QVal misst, welche Schritte eines langen Laufs tatsächlich geholfen haben. Beide zielen auf den Teil der Agentenarbeit, den die Trefferquote der Endantwort verdeckt. Wenn Ihre Agenten Dutzende Schritte abarbeiten, liefert das ein billigeres Signal als die Handprüfung jeder Spur.

DataComp-VLM liefert kuratierte Bild-Text-Daten mit öffentlichen Baselines, LAION-BVD ergänzt 10 Millionen Stunden offenes Video für multimodales Vortraining. Beide entstehen offen, die Filterentscheidungen sind dokumentiert. Forschende greifen dazu, wenn Lizenzen oder undurchsichtige Kuratierung das geplante Experiment blockieren.

CiteME fragt, ob ein Sprachmodell das Paper hinter einer wissenschaftlichen Aussage findet. Die Aufgabe ist eng und die Antwort überprüfbar, was Modelle entlarvt, die sicher klingen und nichts belegen. Das Labor untersucht außerdem, wie Fähigkeiten aus Trainingsdaten folgen, sodass sich ein falsches Zitat zurückverfolgen lässt statt nur gezählt zu werden.

DeepGaze3.5-VL sagt voraus, wohin Menschen schauen, indem es Blickpfade als Token-Folgen behandelt und sich auf Bild-Sprach-Modelle stützt. Frühere Versionen derselben Linie werden weiter für Salienz genutzt, die zugrunde liegenden Daten sind öffentlich. UX- und Vision-Teams nutzen das, wenn sie ein Aufmerksamkeitsmodell brauchen und keine Heatmap aus einer kleinen Stichprobe.

openretina ist ein gemeinsames Projekt, das Retina-Modelle über Datensätze, Labore und Arten hinweg trainiert. Statt dass eine Gruppe Aufzeichnungen hortet, werden Modelle und Daten geteilt, damit Ergebnisse vergleichbar bleiben. Neurowissenschaftliche Gruppen nutzen es als gemeinsame Baseline, das größere Ziel ist eine kumulative Erklärung des biologischen Sehens.