Magma
Microsoft Research · Outros
Magma é o modelo base da Microsoft para agentes de IA multimodais. Ele lê imagens, vídeo e texto e então propõe ações como clicar num botão ou mover um braço robótico em ambientes digitais e físicos.
Sobre Magma
What Is Magma
Magma é um modelo base que a Microsoft Research criou para agentes de IA multimodais. Diferente de um modelo de visão e linguagem comum, que só descreve o que vê, Magma une compreensão e ação. Ele recebe imagens, vídeo e texto e, a partir disso, propõe passos voltados a um objetivo, desde clicar em botões num app de celular até comandar um braço robótico para pegar um objeto. O trabalho foi aceito na CVPR 2025, e a Microsoft publicou o código e os pesos do modelo de forma aberta.
A ideia por trás disso é um único modelo para dois mundos. Quase todos os sistemas anteriores eram treinados para uma tarefa só, fosse uma interface 2D ou um robô 3D, e tinham dificuldade em alternar entre elas. Magma foi pré-treinado com uma mistura de imagens, vídeo e dados de robótica para que um modelo só dê conta de navegação de interface, manipulação de robôs e perguntas gerais sobre imagens ou vídeo. A Microsoft o apresenta como o primeiro modelo base para agentes de IA multimodais.
O limite principal é que Magma é um modelo de pesquisa, não um produto pronto. Ele sai como pesos e código abertos que você mesmo executa, e testá-lo pede uma GPU com capacidade suficiente. Ele foi feito para desenvolvedores e pesquisadores capazes de ajustá-lo, não para quem quer um app já montado.
Getting Started
- Monte um ambiente Python com PyTorch e o repositório do Magma no GitHub.
- Baixe os pesos do Magma-8B no Hugging Face.
- Carregue o modelo e o processador, apontando o código para a sua GPU.
- Envie uma imagem ou um vídeo junto a um texto para receber uma resposta ou uma ação proposta.
- Ajuste o modelo com seus próprios dados para uma tarefa específica, como navegar por interfaces ou controlar um robô.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Magma.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Pesquisadores de IA
- Desenvolvedores de apps e robótica
- Estudantes de IA multimodal
Tarefas
- Navegação de interface
- Manipulação de robôs
- Perguntas sobre imagens e vídeo
- Raciocínio espacial
Cenários
- Pesquisa sobre modelos agênticos
- Protótipo de automação de interfaces
- Exploração de transferência entre domínios
Principais recursos
Um modelo para tarefas digitais e físicas
Magma cobre a navegação de interface e a manipulação de robôs com um único conjunto de pesos. Os modelos anteriores costumavam ser ajustados para um só ambiente, então um agente de tela não conseguia pilotar um robô. A Microsoft treinou o Magma com dados misturados para que ele pule de clicar num app para planejar uma ação física.
Set-of-Mark para ancorar ações
O Set-of-Mark marca com números os objetos sobre os quais dá para agir, como botões numa tela ou uma garra num braço robótico. O modelo prevê sobre qual marca agir, e assim transforma uma compreensão visual vaga numa ação concreta.
Trace-of-Mark para planejar
O Trace-of-Mark marca como os objetos se movem ao longo dos quadros, como a trajetória de uma mão ou de um braço robótico. Ao aprender com esses traços, Magma planeja ações de vários passos e antecipa o que deveria acontecer, em vez de reagir quadro a quadro.
Pré-treinamento com dados misturados
Magma foi pré-treinado com um conjunto amplo e variado de imagens, vídeo e dados de robótica. Essa mistura deixa um mesmo modelo manter a compreensão geral de imagem e vídeo ao lado das habilidades agênticas, sem trocar uma pela outra. Ele se apoia em vídeo disponível livremente para aprender padrões espaciais e temporais.
Compreensão de vídeo e imagens
Além das ações, Magma responde a perguntas sobre fotos e clipes, incluindo tarefas de perguntas e respostas sobre vídeo e de raciocínio espacial. A Microsoft afirma que ele compete com modelos de visão e linguagem maiores em vários benchmarks, mesmo treinando com menos dados de instruções de vídeo.
Código e pesos abertos
A Microsoft publica os pesos no Hugging Face, o código de treinamento e inferência no GitHub e o Magma-8B no Azure AI Foundry. Essa abertura deixa os pesquisadores reproduzirem resultados e ajustarem o modelo, ainda que a instalação e a hospedagem fiquem por sua conta.
Prós e contras
Prós
- Um único modelo cobre navegação de interface, controle de robôs e compreensão geral de imagem e vídeo.
- Os pesos e o código abertos permitem reproduzir resultados e ajustar o modelo sem barreiras.
- Set-of-Mark e Trace-of-Mark transformam a leitura visual em planos de ação concretos.
- Os relatórios apontam resultados de ponta em navegação de interface e manipulação robótica.
Contras
- É um modelo de pesquisa, então não há app pronto e a configuração dá trabalho de verdade.
- Rodar o Magma pede uma GPU potente, o que deixa o usuário casual de fora.
- Os resultados ainda dependem de ajuste fino por tarefa, então o uso direto é limitado.
- Parte dos dados e das avaliações vem da própria Microsoft, então convém buscar checagens independentes.
Perguntas frequentes
Magma é um modelo base para agentes de IA multimodais. Em outras palavras, é um agente de IA multimodal que entende e age. Desenvolvedores o usam para criar agentes que leem uma tela e propõem cliques, ou que planejam movimentos de robô, além de compreender imagens e vídeo. É código de pesquisa, então você o ajusta à sua própria tarefa.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Magma.
Alternativas a Magma
BinkBink
BinkBink · OutrosO BinkBink é uma plataforma de jogos online gratuita e um criador de jogos com IA que deixa qualquer pessoa transformar uma breve descrição em texto em um jogo de navegador jogável. Você pode entrar em centenas de jogos feitos pela comunidade. Ou descreve a sua própria ideia, joga em segundos e compartilha com amigos. Quer criar seu próprio jogo? Não precisa programar. Sem configurar motor, sem download, sem complicação.
Audiogen
Audiogen Inc. · OutrosO Audiogen é um gerador de música com IA criado pela Audiogen Inc., uma equipe de pesquisa pequena que passou cerca de 2,5 anos treinando o próprio modelo de música generativa e desenhando uma interface web em volta dele. Em vez de uma simples caixa de texto, essa ferramenta de música com IA transforma a linha do tempo em uma Estação de Trabalho de Áudio Generativo, ou GAW, voltada para iniciantes, na qual o inpainting, a extensão, a remixagem e a edição de faixas funcionam mais como pintar em uma tela. O produto ainda está em beta, então o acesso passa por uma lista de espera ou por um convite. Os planos pagos ainda não foram publicados.
Aiml API
AIMLAPI OÜ · OutrosA Aiml API é uma API unificada de modelos de IA que coloca mais de 1000 modelos da OpenAI, Google, Anthropic e outros por trás de um único endpoint e uma única fatura. Você escreve código contra um só esquema compatível com OpenAI e depois alterna entre modelos de chat, imagem, vídeo e áudio mudando uma string de modelo. Ela serve para desenvolvedores e equipes pequenas que querem acesso multimodelo sem administrar uma dúzia de contas de fornecedor separadas, e elimina a dor de cabeça comum de faturamento que vem com testar vários fornecedores. Uma chave cobre tudo.