Molmo
Allen Institute for AI (Ai2) · Imagem · Outros
Molmo é um modelo de linguagem visual de código aberto do Allen Institute for AI. Este modelo de IA multimodal analisa imagens e vídeo, aponta o que percebe e roda localmente sem taxas de API.
Sobre Molmo
What Is Molmo
Molmo é uma família de modelos multimodais abertos criada pelo Allen Institute for AI (Ai2). Trabalha com imagens, conjuntos de várias imagens e vídeo, e responde a perguntas enquanto aponta as regiões em que se baseou para decidir. A maioria dos modelos de visão devolve só texto. O Molmo também devolve coordenadas.
A primeira versão saiu em setembro de 2024, com modelos de 1B a 72B parâmetros. O Molmo 2 veio em dezembro de 2025, com variantes de 4B e 8B baseadas no Qwen 3, além de uma versão de 7B totalmente aberta construída sobre o Olmo. Os pesos, os conjuntos de dados e o código de treino saem sob Apache 2.0, então qualquer pessoa pode baixar um modelo e rodá-lo no próprio equipamento.
O ponto de atenção é o que isso significa. Rodar o Molmo em um notebook exige lidar com arquivos de modelo e tarefas de configuração que um app de chat esconde. Vários conjuntos publicados trazem condições acadêmicas e não comerciais, então vale checar as licenças antes de levar o modelo para produção comercial.
Getting Started
- Escolha uma variante na página do Molmo ou do Molmo 2 no Hugging Face. Os tamanhos vão de 1B a 72B parâmetros, então ajuste o modelo à memória da sua GPU.
- Baixe os pesos, ou abra o Ai2 Playground se você só quer testar um antes de decidir.
- Carregue o modelo com a biblioteca transformers, ou com vLLM para servir mais rápido. O repositório do Molmo 2 traz scripts para os dois.
- Envie uma imagem, um grupo de imagens ou um clipe de vídeo junto com a sua pergunta. Pergunte onde, quando ou quantos para receber coordenadas e marcações de tempo junto ao texto.
- Faça ajuste fino com os seus próprios dados se precisar de uma tarefa mais específica. O código de treino e as receitas são públicos.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Molmo.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Pesquisadores
- Desenvolvedores
- Estudantes e professores
- Equipes de robótica e automação
Tarefas
- Apontar e contar em imagens
- Rastreamento de objetos em vídeo
- Descrição densa de vídeo
- Perguntas com evidência visual
- Leitura de documentos e gráficos
- Ajuste fino para uma tarefa específica
Cenários
- Revisar a gravação longa de um jogo ou de uma aula
- Organizar fotos de produto para uma loja
- Detectar falhas em vídeo gerado por IA
- Analisar imagens de satélite ou drone
- Dar aula sobre modelos multimodais
- Prototipar um fluxo de visão para robôs
Principais recursos
Apontar em imagens e vídeo
O Molmo aponta o que vê em vez de apenas descrever. Dê uma foto a este modelo de apontar imagens e pergunte qual objeto é qual, e ele devolve coordenadas 2D para cada resposta. No Molmo 2, esse apontar se estende ao tempo. Pergunte quando um copo caiu ou qual jogador marcou, e você recebe uma marcação de tempo junto à localização.
Rastreamento de vídeo com identificadores estáveis
O Molmo 2 segue objetos ao longo de um clipe e mantém um identificador fixo para cada um. Isso importa na contagem, porque o mesmo copo não deveria ser contado duas vezes depois de sair do quadro e voltar. O modelo lida com oclusões e reaparições, algo que os modelos abertos anteriores enfrentavam com dificuldade. O Ai2 afirma que ele supera o Gemini 3 Pro nos seus testes de rastreamento de vídeo. São os benchmarks do Ai2, então trate a diferença como ponto de partida, não como nota final.
Raciocínio com várias imagens e vídeo longo
Os modelos aceitam uma imagem, um grupo de duas a cinco imagens relacionadas ou clipes que passam de alguns minutos. Como modelo de compreensão de vídeo, o Molmo 2 processa o material com uma abordagem SlowFast: resolução cheia nos quadros-chave e menor no restante. Você mantém a precisão em tarefas de vídeo longo e gasta menos tokens visuais por consulta.
Pesos, dados e código de treino abertos
O Molmo sai sob Apache 2.0 com pesos, código de treino e receitas que o Ai2 publicou. O Molmo 2 acrescenta nove conjuntos novos que cobrem descrição, perguntas e respostas, apontar e rastreamento, com mais de 9 milhões de exemplos de treino. Nada depende de dados gerados por um modelo fechado, o que mantém o processo reproduzível para quem quiser construir em cima.
Roda sem taxas de API
Como os pesos são abertos, você pode rodar o Molmo no seu hardware e evitar a cobrança por chamada. O Ai2 observa que os modelos menores rodam localmente sem um data center. A troca é que você coloca a GPU e a configuração, e as variantes maiores ainda pedem bastante memória para carregar.
Contagem com evidência e detecção de anomalias
O modelo responde a "quantos?" devolvendo evidência visual, não só um número. Isso torna as contagens auditáveis: você vê quais objetos entraram. O mesmo ancoramento serve para detectar anomalias, quando o modelo marca eventos raros ou surpreendentes e aponta o quadro que os contém.
Ajuste fino de ponta a ponta
O Molmo 2-O (7B) é construído sobre o Olmo, então o codificador visual, o conector e o modelo de linguagem ficam sob o seu controle. Isso agrada equipes que querem retreinar cada parte da pilha em vez de ajustar uma base fixa. O repositório do Molmo 2 inclui scripts de pré-treino, SFT e SFT de contexto longo.
Prós e contras
Prós
- Pesos, conjuntos de dados e código de treino abertos sob Apache 2.0, então você pode inspecionar e reutilizar todo o processo.
- O apontar e o ancoramento devolvem coordenadas e marcações de tempo, não só texto.
- Os modelos menores igualam ou superam o Molmo de 72B anterior em vários testes de ancoramento.
- Sem taxas de API por chamada se você hospedar por conta própria.
- O rastreamento e a contagem em vídeo ficam no topo das avaliações de modelos abertos do Ai2.
Contras
- Ainda não há preço oficial nem API pública, então não dá para planejar hoje com uma opção hospedada.
- Rodar os modelos por conta própria significa cuidar de hardware GPU e arquivos de modelo, o que exclui o uso rápido em notebooks modestos.
- Vários conjuntos de treino se limitam a pesquisa acadêmica e não comercial, então o uso comercial exige conferir licenças.
- O ancoramento em vídeo continua difícil: o Ai2 informa que nenhum modelo testado, incluindo o Molmo, chega a 40 % de precisão na contagem.
Perguntas frequentes
O Molmo resolve compreensão de imagem e vídeo quando você também precisa saber onde as coisas estão. Os usos comuns passam por apontar objetos, contá-los, rastreá-los em um clipe e responder perguntas sobre fotos, gráficos ou gravações. Serve para quem quer essas capacidades no próprio hardware e não por uma API paga.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Molmo.
Alternativas a Molmo
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
Tractionwave
TractionWave · Imagem · MarketingO TractionWave cria mapas de calor de atenção com IA para anúncios estáticos. Você envia um PNG ou JPG e recebe a atenção prevista, pontos quentes ranqueados e ajustes antes de gastar verba.
Imejis.io
Imejis.io · Imagem · MarketingO Imejis.io é um estúdio de design com IA para agentes e equipes de marketing. Você descreve a imagem com suas palavras, e a ferramenta escreve o texto, monta o layout, adapta para cada tamanho e exporta o arquivo final.