Bethge Lab
University of Tübingen (Tübingen AI Center) · Negócios
Bethge Lab é um grupo de pesquisa em IA do Tübingen AI Center, liderado por Matthias Bethge, que estuda o autoaperfeiçoamento recursivo dos agentes e publica benchmarks, código e dados de forma aberta.
Sobre Bethge Lab
About
O que é o Bethge Lab
O Bethge Lab é o grupo de aprendizado de máquina de Matthias Bethge na Universidade de Tübingen, sediado no Tübingen AI Center. É um laboratório de pesquisa em IA acadêmico e sem fins lucrativos, e trabalha de forma aberta ao lado da Open Athena, organização que leva capacidades de IA de fronteira para a academia. O grupo publica artigos, código, benchmarks e dados em vez de vender um produto.
A pesquisa toda se organiza em torno de uma pergunta: como os sistemas de IA continuam aprendendo depois de implantados. Um modelo congelado no dia do lançamento para de melhorar, então o laboratório coloca o pós-treinamento no centro e trata a experiência de longo prazo como o lugar onde surgem coisas novas. São três linhas: autoaperfeiçoamento recursivo, aprendizado humano na era da IA e modelos de fundação para neurociência.
Vale conhecer os limites antes de planejar qualquer coisa. Não existe serviço hospedado, contrato de suporte nem roteiro privado. Os resultados chegam no ritmo dos congressos, cada repositório tem um nível diferente de manutenção e o laboratório estuda de propósito um conjunto estreito de perguntas. Você recebe código de nível de pesquisa e avaliação honesta, não uma relação com fornecedor.
Primeiros passos
- Abra bethgelab.org e escolha a linha de pesquisa mais próxima do seu problema, porque cada uma lista as próprias publicações.
- Leia o artigo por trás do benchmark que interessa, clone o repositório e confira a licença antes de construir em cima.
- Rode o benchmark com seu modelo ou esqueleto de agente e olhe as pontuações por amostra, não só a média.
- Cite o artigo e informe a versão usada: vários desses benchmarks crescem conforme aparecem modelos novos.
- Para colaborar ou buscar vaga, use o formulário do site em vez de e-mail. A revisão é mensal.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Bethge Lab.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Pesquisadores de machine learning
- Times de avaliação em laboratórios de IA
- Cientistas de neurociência e visão
Tarefas
- Verificar se um agente consegue pós-treinar um modelo
- Testar a sua própria avaliação de agentes
- Encontrar dados de treinamento abertos
Cenários
- Escolher um harness de avaliação antes de lançar um modelo
- Revisão de literatura sobre aprendizado contínuo
- Dar uma disciplina de pós-graduação
Principais recursos
PostTrainBench para automatizar o pós-treinamento
O PostTrainBench pergunta se um agente de LLM consegue pegar um modelo base e pós-treiná-lo sem ninguém no meio do ciclo. O agente recebe um orçamento de computação fixo e o modelo resultante é avaliado em tarefas reservadas, então o ganho aparece como número, não como promessa. Times usam o benchmark para comparar esqueletos de agente em igualdade. É o mais perto que existe aqui de um teste de esforço para trabalho autônomo de ML.
Avaliação por amostra com o ONEBench
O ONEBench pontua cada amostra em vez de reduzir uma execução a uma média. Isso pesa quando o modelo melhora nos prompts fáceis e quebra em silêncio nos difíceis. O benchmark foi desenhado para crescer conforme chegam modelos e tarefas novas, então pontuações antigas não ficam paradas no tempo. Você pode incluir seus próprios conjuntos e manter a comparação justa.
Controle de processo em agentes de muitas etapas
O AlgoTune verifica se um modelo escreve código numérico de fato mais rápido, e o QVal mede quais etapas de uma execução longa ajudaram. Os dois miram a parte do trabalho de agente que a acurácia da resposta final esconde. Se seus agentes encadeiam dezenas de etapas, isso dá um sinal mais barato do que revisar cada traço à mão.
Conjuntos de dados abertos para visão e linguagem
O DataComp-VLM entrega dados de imagem e texto curados com linhas de base públicas, e o LAION-BVD soma 10 milhões de horas de vídeo aberto para pré-treinamento multimodal. Os dois são construídos abertamente, com as decisões de filtragem documentadas. Pesquisadores recorrem a eles quando licenças ou curadoria opaca travam o experimento.
CiteME e a checagem de agentes de pesquisa
O CiteME pergunta se um modelo de linguagem encontra o artigo por trás de uma afirmação científica. É uma tarefa estreita com resposta verificável, o que serve para flagrar modelos que soam seguros e não citam nada. O laboratório também estuda como as capacidades derivam dos dados de treinamento, então uma citação errada pode ser rastreada em vez de apenas contada.
Previsão do olhar com o DeepGaze
O DeepGaze3.5-VL prevê para onde as pessoas olham tratando trajetórias oculares como sequências de tokens e apoiando-se em modelos de visão e linguagem. Versões anteriores da mesma linha continuam em uso em trabalhos de saliência, e os dados por trás são públicos. Times de UX e de visão recorrem a ele quando precisam de um modelo de atenção, não de um mapa de calor de amostra pequena.
openretina e modelos de retina compartilhados
O openretina é um projeto colaborativo que treina modelos de retina entre conjuntos de dados, laboratórios e espécies. Em vez de um grupo acumular registros, modelos e dados são compartilhados para que os resultados possam ser comparados. Grupos de neurociência o usam como linha de base comum, e o objetivo maior é uma explicação cumulativa da visão biológica.
Prós e contras
Prós
- Tudo sai aberto. Artigos, código, benchmarks e dados são públicos, então dá para conferir uma afirmação em vez de confiar numa tabela de ranking.
- A avaliação é honesta a ponto de incomodar. Pontuação por amostra e métricas de processo expõem regressões que um único número de acurácia esconderia.
- A agenda é focada. Três linhas, cada uma com publicações recentes, deixam claro e rápido se o seu problema se encaixa.
- Os benchmarks continuam vivos. O ONEBench e os vizinhos foram feitos para absorver modelos novos, então uma pontuação do ano passado ainda significa algo.
Contras
- Não há produto para comprar. Sem API hospedada, sem painel e sem suporte, o que deixa instalação, computação e depuração com você.
- A qualidade dos repositórios varia. Alguns têm manutenção ativa e outros são um artefato de artigo, então veja o último commit antes de fixar uma dependência.
- O escopo é estreito de propósito. Se a sua pergunta fica fora de avaliação de agentes, pós-treinamento ou visão computacional, o laboratório não terá muito a oferecer.
- O ritmo é acadêmico. Um resultado pode aparecer em artigo meses antes de o código ficar limpo o bastante para reuso.
Perguntas frequentes
Não. É um grupo de pesquisa acadêmico e sem fins lucrativos da Universidade de Tübingen, sediado no Tübingen AI Center e liderado por Matthias Bethge. Não existe braço comercial vendendo acesso ao trabalho.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Bethge Lab.
Alternativas a Bethge Lab
Knocket
Knocket (Tencent RTC team) · Produtividade · Negócios · ChatbotO Knocket é uma ferramenta gratuita de chat ao vivo e página de contato: o visitante escreve pelo site, pelo app ou por um link, e você responde pelo Telegram ou por uma única caixa de entrada.
shippedit.me
Krawlup · Marketing · NegóciosO shippedit.me agora redireciona para o Krawlup, uma plataforma web que audita SEO, AEO e velocidade toda semana e entrega as correções a agentes de código via MCP.
Ayven
Alknoma · Produtividade · NegóciosAyven é uma central de controle de IA da Alknoma: transforma um objetivo escrito em linguagem comum num plano com datas, distribui as tarefas entre o time e os agentes de IA e pede sua aprovação só quando a decisão cabe a você.