Bethge Lab

PostTrainBench demande si un agent LLM peut prendre un modèle de base et le post-entraîner sans personne dans la boucle. L'agent reçoit un budget de calcul fixe et le modèle obtenu est noté sur des tâches réservées, si bien que le gain apparaît en chiffres plutôt qu'en promesse. Les équipes s'en servent pour comparer des squelettes d'agent à armes égales. C'est ce qui ressemble le plus ici à un test de charge pour du travail de ML autonome.

ONEBench note chaque échantillon au lieu d'écraser une exécution en une moyenne. Cela compte quand un modèle progresse sur les consignes faciles et casse en silence sur les difficiles. Le benchmark est conçu pour grandir à mesure que de nouveaux modèles et tâches arrivent, donc les anciens scores ne restent pas figés. Vous pouvez ajouter vos propres jeux et garder la comparaison honnête.

AlgoTune vérifie si un modèle sait écrire du code numérique réellement plus rapide, et QVal mesure quelles étapes d'une longue exécution ont servi. Les deux visent la part du travail d'agent que la justesse de la réponse finale masque. Si vos agents enchaînent des dizaines d'étapes, vous obtenez là un signal moins coûteux qu'une relecture humaine de chaque trace.

DataComp-VLM fournit des données image-texte filtrées avec des références publiques, et LAION-BVD ajoute 10 millions d'heures de vidéo ouverte pour le pré-entraînement multimodal. Les deux se construisent ouvertement, décisions de filtrage documentées à l'appui. Les chercheurs y viennent quand licences ou curation opaque bloquent l'expérience envisagée.

CiteME demande si un modèle de langage retrouve l'article derrière une affirmation scientifique. La tâche est étroite et la réponse vérifiable, ce qui repère les modèles qui sonnent sûrs d'eux sans rien citer. Le laboratoire étudie aussi comment les capacités découlent des données d'entraînement, donc une citation fausse se remonte au lieu d'être seulement comptée.

DeepGaze3.5-VL prédit où les gens regardent en traitant les parcours oculaires comme des séquences de tokens et en s'appuyant sur des modèles vision-langage. Les versions précédentes de la même lignée servent encore en saillance, et les données sous-jacentes sont publiques. Les équipes UX et vision y recourent quand il leur faut un modèle de l'attention plutôt qu'une carte de chaleur tirée d'un petit échantillon.

openretina est un projet collaboratif qui entraîne des modèles de rétine sur plusieurs jeux de données, laboratoires et espèces. Au lieu qu'un seul groupe accumule les enregistrements, modèles et données circulent pour que les résultats se comparent. Les groupes de neurosciences s'en servent comme référence commune, l'objectif de fond étant un récit cumulatif de la vision biologique.