Meta AI
Meta (FAIR) · Imagem
O Meta Segment Anything Model 2 (SAM 2) é um modelo de segmentação open source para imagens e vídeo. Você clica no objeto uma vez e o contorno continua colado nele enquanto o clipe roda.
Sobre Meta AI
About
O que é o Meta Segment Anything Model 2
O SAM 2 responde a uma pergunta bem estreita: quais pixels formam aquilo que você acabou de apontar. A equipe FAIR, da Meta, liberou o código e os pesos no GitHub em julho de 2024 sob licença Apache 2.0, então dá para baixar, rodar e embarcar dentro de um produto comercial sem pedir autorização.
A virada em relação ao SAM original está no vídeo. O SAM 2 trata uma foto como um vídeo de um único quadro, e assim o mesmo modelo dá conta das duas tarefas. Um módulo de memória leva o que ele aprendeu sobre o seu objeto de um quadro para o outro, e a máscara se mantém quando a câmera se move ou o assunto vira de costas. Segundo a Meta, essa abordagem exige cerca de 3 vezes menos interações do que os métodos anteriores de segmentação de vídeo.
Dois limites valem antes de você planejar em cima dele. O SAM 2 devolve máscaras, não nomes: ele mostra onde o objeto está e nunca o que ele é. Texto também não serve como entrada, então um pedido como "o carro vermelho" precisa chegar como clique ou caixa, quase sempre vindo de um detector separado. A Meta ainda lançou o SAM 3 e o SAM 3.1, que aceitam prompts por conceito, então o SAM 2 virou a geração anterior, mesmo com o repositório ativo e recebendo correções.
Como começar
- Abra a demo no navegador em sam2.metademolab.com e clique em um objeto de um clipe curto. É o jeito mais rápido de ver o que o modelo faz antes de instalar qualquer coisa.
- Clone facebookresearch/sam2 do GitHub em um ambiente Python 3.10 ou mais novo com PyTorch 2.5.1 para cima.
- Baixe um checkpoint. O Meta SAM 2 vem em quatro tamanhos, e o menor carrega em máquina modesta.
- Escolha o preditor: SAM2ImagePredictor para fotos, SAM2VideoPredictor para vídeo.
- Envie os prompts como pontos, caixas ou máscaras e leia as máscaras de volta. Ligue o gerador automático se quiser o quadro inteiro segmentado de uma vez.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de Meta AI.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Engenheiros de machine learning
- Editores de vídeo e freelancers de VFX
- Times de anotação
- Grupos de robótica e imagem médica
Tarefas
- Recortar um sujeito de uma foto
- Acompanhar um objeto pelo clipe
- Colocar recorte dentro de um produto
- Rotular um dataset próprio
Cenários
- Testar uma ideia na demo do navegador
- Clipes longos com vários objetos
- Imagens fora do comum, como tiles de satélite ou lâminas de microscópio
Principais recursos
Um modelo para foto e vídeo
Os mesmos pesos atendem uma imagem parada e um clipe. Isso pesa se você prefere manter uma única rota de inferência em vez de juntar dois modelos, e ainda mantém o resultado coerente quando o projeto mistura os dois formatos.
Memória em streaming que segura a máscara
Um módulo de atenção com memória guarda características dos quadros anteriores e as reaproveita no quadro atual. Na prática, a máscara sobrevive ao movimento de câmera, à oclusão parcial e ao objeto que sai de cena. A Meta chama de masklet a máscara de um objeto ao longo do tempo.
Quatro checkpoints, do tiny ao large
O Meta SAM 2 sai com 38,9 M, 46 M, 80,8 M e 224,4 M de parâmetros. Em vídeo, a Meta reporta 91,2 quadros por segundo no checkpoint tiny e 39,5 no large, medidas numa A100, com a qualidade subindo conforme o tamanho cresce.
Checkpoints SAM 2.1 com objetos pequenos melhores
A versão 2.1 chegou no fim de setembro de 2024 e melhorou a segmentação de objetos pequenos e a reação ao movimento de câmera. Se você está começando agora, baixe os pesos 2.1: custam o mesmo e pontuam mais alto nos testes de vídeo da Meta.
Geração automática de máscaras
Dá para pular o prompting e deixar o modelo propor máscaras para tudo que aparece no quadro. Serve para explorar um dataset desconhecido. Filtre por área e confiança antes de qualquer coisa chegar à produção.
Pesos abertos, código de treino e o dataset SA-V
Código, pesos e a receita de treinamento estão em Apache 2.0. A Meta também publicou o SA-V, que descreve como o maior dataset de segmentação de vídeo até hoje, então você pode ajustar e publicar sem pedir licença.
Prós e contras
Prós
- A segmentação de imagens e o rastreamento em vídeo saem do mesmo modelo, o que elimina uma etapa inteira de integração.
- É rápido: de 39,5 a 91,2 quadros por segundo em vídeo, dependendo do checkpoint carregado.
- A Apache 2.0 cobre uso comercial, sem cobrança por chamada nem contagem de assentos.
- A qualidade sem treino prévio é alta o bastante para muitos times pularem o ajuste fino até esbarrar num erro específico.
Contras
- A Meta não oferece endpoint hospedado, então a GPU, o servidor e o uptime ficam por sua conta.
- As máscaras vêm sem rótulo, e a segmentação por prompts aqui se resume a pontos e caixas. Combinar com um detector de vocabulário aberto é trabalho extra que sobra para você.
- A memória de GPU cresce a cada objeto rastreado e com a duração do clipe, o que inviabiliza metragem longa em placas pequenas.
- O SAM 3, lançado em novembro de 2025, acrescenta prompts de texto e rastreamento melhor, então todo projeto novo deveria pelo menos avaliá-lo antes.
Perguntas frequentes
Sim. A Meta liberou os checkpoints, o código da demo e o código de treinamento em Apache 2.0, licença que autoriza uso comercial sem pagamento nem contrato à parte. A fonte Inter e o Noto Color Emoji que acompanham a demo têm licença tipográfica própria, mas ela vale só para a interface de demonstração.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a Meta AI.
Alternativas a Meta AI
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
Tractionwave
TractionWave · Imagem · MarketingO TractionWave cria mapas de calor de atenção com IA para anúncios estáticos. Você envia um PNG ou JPG e recebe a atenção prevista, pontos quentes ranqueados e ajustes antes de gastar verba.
Imejis.io
Imejis.io · Imagem · MarketingO Imejis.io é um estúdio de design com IA para agentes e equipes de marketing. Você descreve a imagem com suas palavras, e a ferramenta escreve o texto, monta o layout, adapta para cada tamanho e exporta o arquivo final.