Magma

Magma는 마이크로소프트 리서치가 멀티모달 AI 에이전트를 위해 구축한 기반 모델이다. Microsoft Magma는 보이는 것을 설명만 하는 일반 시각 언어 모델과 달리, 이해와 행동을 묶는다. 이미지와 영상, 텍스트를 받아 목표를 향한 단계를 제안한다. 스마트폰 앱의 버튼을 누르는 일부터 로봇 팔로 물건을 집는 일까지 폭이 넓다. 이 연구는 CVPR 2025에 채택됐고, 마이크로소프트는 코드와 모델 가중치를 공개했다.

바탕에 깔린 생각은 두 세계를 하나의 모델로 다루는 것이다. 이전 시스템은 대부분 한 가지 용도에 맞춰 학습돼 2D 인터페이스나 3D 로봇 중 하나에 치우쳤고, 둘을 오가기 어려웠다. Magma는 이미지와 영상, 로봇 데이터를 섞어 사전 학습해 하나의 모델로 UI 내비게이션, 로봇 조작, 일반적인 이미지와 영상 질문을 처리한다. 마이크로소프트는 이를 멀티모달 AI 에이전트를 위한 첫 기반 모델로 내세운다.

가장 큰 한계는 Magma가 연구용 모델이지 완성품이 아니라는 점이다. 공개된 가중치와 코드를 직접 실행하는 방식이고, 시험하려면 제법 좋은 GPU가 필요하다. 스스로 미세 조정할 수 있는 개발자와 연구자를 위한 것이지, 완성된 앱을 원하는 사람을 위한 것이 아니다.

Getting Started

1. PyTorch를 포함한 파이썬 환경을 만들고 GitHub에서 Magma 저장소를 받는다.
2. Hugging Face에서 Magma-8B 가중치를 내려받는다.
3. 모델과 프로세서를 불러오고 코드가 내 GPU를 가리키게 한다.
4. 이미지나 영상에 텍스트를 붙여 넣고 답이나 제안된 행동을 얻는다.
5. UI 내비게이션이나 로봇 제어 같은 특정 작업에 맞춰 내 데이터로 미세 조정한다.