Molmo
Allen Institute for AI (Ai2) · Imagem
O Molmo é um modelo de IA multimodal de código aberto da Ai2 que entende imagens, aponta objetos e alimenta agentes web e robôs.
Sobre Molmo
O que é o Molmo
O Molmo é uma família de modelos de visão e linguagem criada pelo Allen Institute for AI (Ai2). Diferente dos modelos só de texto, ele recebe uma imagem e uma pergunta juntas, e responde em linguagem natural. Também consegue apontar o ponto exato de que está falando, algo que a maioria dos modelos não faz.
Três tamanhos saem sob o nome Molmo: 1B, 7B e 72B. O pequeno roda num notebook. A versão de 72B troca golpes com sistemas fechados como GPT-4V e Gemini 1.5 em vários testes comparativos. Segundo a Ai2, essa diferença existe porque o Molmo foi treinado com um conjunto selecionado de cerca de 600 mil imagens, não com bilhões. Qualidade acima de quantidade.
Aí está o problema. O Molmo é um modelo, não um app. Você não vai encontrar uma interface de chat bonita num site. Colocá-lo para rodar significa baixar os pesos e integrá-los ao seu próprio código. Para desenvolvedores, tudo bem. Para o resto, é um muro.
Os pesos, os dados de treinamento e o código-fonte são públicos, então você pode examinar como ele funciona e construir em cima dele sem pagar licença.
Como começar
- Crie uma conta gratuita no Hugging Face, onde a Ai2 hospeda os pesos do Molmo e as fichas do conjunto de dados.
- Escolha um tamanho. Baixe o modelo de 1B se quiser testar na sua própria máquina, ou as versões de 7B e 72B se tiver o hardware ou uma GPU na nuvem.
- Carregue o modelo com um kit de ferramentas como o Transformers e passe uma imagem junto com um texto de instrução.
- Peça que ele descreva, conte ou aponte algo na imagem, e leia a resposta.
- Leve a saída para o seu próprio agente web, robô ou fluxo de trabalho.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Molmo.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Desenvolvedores que criam recursos de visão computacional
- Pesquisadores que estudam modelos multimodais
- Entusiastas com uma GPU decente
Tarefas
- Apontar objetos específicos numa foto
- Ler gráficos, menus e quadros brancos
- Comandar agentes web
Cenários
- Automatizar uma tarefa repetitiva de tela
- Organizar ou etiquetar uma biblioteca de fotos
- Escolher um modelo base para um protótipo
Principais recursos
Compreensão de imagens que aponta
A maioria dos modelos responde a perguntas sobre uma imagem com palavras. O Molmo vai além e coloca um marcador no objeto exato a que você se refere, seja uma pessoa numa multidão ou um botão na tela de um menu. Essa marcação funciona sem treinamento especial, um truque de zero-shot que abre tarefas como contagem e navegação de interface.
Três tamanhos para hardwares diferentes
A linha cobre 1B, 7B e 72B parâmetros, então você escolhe conforme a sua máquina, não o contrário. O modelo de 1B é leve o bastante para um dispositivo pessoal, enquanto a versão de 72B mira equipes com capacidade séria de GPU. A mesma família, pegadas bem diferentes.
Treinado com um conjunto de dados pequeno e selecionado
A Ai2 usou cerca de 600 mil imagens anotadas por pessoas em vez dos bilhões com que outros laboratórios contam. As descrições foram escritas por gente, não raspadas da web, o que deixa o modelo conversacional e preciso. Também significa que treinar custou menos, e essa eficiência aparece na rapidez com que os modelos menores respondem.
Código aberto de ponta a ponta
Os pesos, o código e o conjunto de dados de treinamento são todos públicos. Você pode rodar o Molmo, estudá-lo, ajustá-lo e distribuí-lo dentro de produtos comerciais sem pagar licença. Para pesquisadores, essa transparência é o ponto central.
Feito para agentes e robôs
A capacidade do Molmo de ver uma tela e agir sobre ela combina com agentes web que preenchem formulários ou navegam em sites, e com robôs que precisam interpretar o que uma câmera vê. Ele lê a camada visual diretamente, então você não precisa engenharia reversa da estrutura interna de uma página.
Prós e contras
Prós
- Uso gratuito, sem assinatura nem cobrança por chamada.
- Pesos, código e conjunto de dados abertos deixam você inspecionar e modificar tudo.
- O recurso de apontar resolve a localização de objetos e a contagem que modelos só de texto não fazem.
- O modelo de 1B cabe em hardware modesto, então testar não exige um data center.
- Desempenho no nível de modelos proprietários bem maiores em vários testes comparativos, segundo a Ai2.
Contras
- Sem API hospedada, então você precisa rodar o modelo por conta própria ou achar um provedor externo, o que adiciona trabalho de configuração.
- Só a versão menor é realista num notebook; o modelo de 72B exige muita memória de GPU.
- Sem app móvel oficial nem interface pronta para usar, o que deixa de fora quem não programa.
Perguntas frequentes
O Molmo serve para tarefas que misturam imagens e linguagem: descrever fotos, ler gráficos, localizar objetos e comandar agentes web ou robôs que agem sobre o que veem. É um modelo de base, então os desenvolvedores constroem a ferramenta final em cima dele em vez de usá-lo direto.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Molmo.
Alternativas a Molmo
X Ray Interpreter
X-ray Interpreter · ImagemO X Ray Interpreter é uma ferramenta de radiologia com IA baseada na web que transforma raios X, tomografias, ressonâncias, ultrassonografias e imagens PET em laudos em linguagem simples. Você envia um exame, recebe uma interpretação preliminar dos raios X em instantes e depois faz perguntas de acompanhamento se algo precisar de explicação. Ele funciona como segunda opinião e como apoio de aprendizado, não como diagnóstico médico.
Aieasypic
AIEasyPic · ImagemO AIEasyPic é um gerador de imagens com IA que transforma prompts de texto simples em obras finalizadas em segundos. Você também pode treinar modelos personalizados com suas próprias fotos, trocar rostos em imagens existentes e criar clipes de vídeo curtos a partir de texto, tudo pelo navegador. Ele serve tanto para criadores casuais que querem imagens rápidas quanto para hobistas que desejam montar um modelo pessoal sem tocar em código.
Chargen
Chargen · ImagemO Chargen é um gerador de personagens com IA e um conjunto de ferramentas de criação de mundos feito para Dungeons & Dragons e outros RPGs de mesa. Ele transforma uma ideia de uma linha em um retrato de personagem pintado, cria NPCs, monstros, mapas e encontros na mesma sessão, e mantém os detalhes de cada criatura à mão. A parte de arte para RPG de mesa funciona com um sistema de créditos chamado Gold, enquanto os geradores de texto seguem gratuitos para todos.