Bethge Lab

PostTrainBench plantea si un agente LLM puede tomar un modelo base y postentrenarlo sin nadie supervisando el bucle. El agente recibe un presupuesto de cómputo fijo y el modelo resultante se evalúa en tareas reservadas, de modo que la ganancia aparece como número y no como promesa. Los equipos lo usan para comparar esqueletos de agente en igualdad de condiciones. Es lo más parecido aquí a una prueba de esfuerzo para trabajo autónomo de ML.

ONEBench puntúa cada muestra en lugar de fundir una ejecución en una media. Eso importa cuando un modelo mejora en los prompts fáciles y se rompe en silencio con los difíciles. El benchmark está pensado para crecer a medida que llegan modelos y tareas nuevas, así que las puntuaciones viejas no se quedan congeladas. Puedes añadir tus propios sets y mantener la comparación justa.

AlgoTune comprueba si un modelo es capaz de escribir código numérico de verdad más rápido, y QVal mide qué pasos de una ejecución larga aportaron algo. Los dos apuntan a la parte del trabajo de agente que la precisión de la respuesta final esconde. Si tus agentes encadenan decenas de pasos, esto te da una señal más barata que revisar cada traza a mano.

DataComp-VLM ofrece datos imagen-texto curados con líneas base públicas, y LAION-BVD suma 10 millones de horas de vídeo abierto para preentrenamiento multimodal. Los dos se construyen en abierto y sus decisiones de filtrado están documentadas. Los investigadores recurren a ellos cuando las licencias o una curación opaca bloquean el experimento.

CiteME pregunta si un modelo de lenguaje puede encontrar el artículo que hay detrás de una afirmación científica. Es una tarea estrecha con respuesta verificable, lo que sirve para detectar modelos que suenan seguros y no citan nada. El laboratorio también estudia cómo se derivan las capacidades de los datos de entrenamiento, así que una cita errónea se puede rastrear en lugar de solo contar.

DeepGaze3.5-VL predice hacia dónde mira la gente tratando las trayectorias oculares como secuencias de tokens y apoyándose en modelos de visión y lenguaje. Las versiones anteriores de la misma línea siguen usándose en trabajos de saliencia, y los datos subyacentes son públicos. Los equipos de UX y de visión lo usan cuando necesitan un modelo de atención en vez de un mapa de calor de una muestra pequeña.

openretina es un proyecto colaborativo que entrena modelos de retina entre conjuntos de datos, laboratorios y especies. En lugar de que un solo grupo acumule registros, los modelos y los datos se comparten para poder comparar resultados. Los grupos de neurociencia lo usan como línea base común, y el objetivo de fondo es una explicación acumulativa de la visión biológica.