Molmo
Allen Institute for AI (Ai2) · 이미지
Molmo는 이미지를 이해하고 물체를 가리키며 웹 에이전트와 로봇을 움직이는 Ai2의 오픈소스 멀티모달 AI 모델이다.
Molmo 소개
Molmo란 무엇인가
Molmo는 Allen Institute for AI(Ai2)가 만든 비전 언어 모델 제품군이다. 텍스트 전용 모델과 달리 이미지와 질문을 함께 받아 자연스러운 말로 답한다. 게다가 자기가 말하는 정확한 위치를 가리킬 수 있다. 대부분의 모델이 못 하는 재주다.
Molmo라는 이름으로 나오는 크기는 1B, 7B, 72B 세 가지다. 작은 것은 노트북에서 돌아간다. 72B 버전은 여러 벤치마크에서 GPT-4V나 Gemini 1.5 같은 폐쇄형 시스템과 대등하게 겨룬다. Ai2에 따르면 그 차이가 생기는 이유는 Molmo가 수십억 장이 아니라 약 60만 장의 선별된 이미지로 학습됐기 때문이다. 양보다 질이다.
여기에 걸림돌이 있다. Molmo는 모델이지 앱이 아니다. 웹사이트에서 매끈한 채팅창을 찾을 수는 없다. 돌리려면 가중치를 내려받아 자기 코드에 연결해야 한다. 개발자에게는 문제없다. 나머지 사람에게는 벽이다.
가중치와 학습 데이터, 소스 코드는 모두 공개돼 있다. 작동 방식을 살펴보고 라이선스 비용 없이 그 위에 무언가를 만들 수 있다.
시작하기
- Hugging Face에서 무료 계정을 만든다. Ai2가 이곳에 Molmo 가중치와 데이터셋 카드를 올려둔다.
- 크기를 고른다. 자기 기기에서 시험하려면 1B 모델을, 하드웨어나 클라우드 GPU가 있으면 7B와 72B 버전을 받는다.
- Transformers 같은 도구로 모델을 불러오고 이미지와 텍스트 지시를 함께 넣는다.
- 이미지 속 무언가를 설명하거나 세거나 가리키도록 요청하고 응답을 읽는다.
- 출력을 자신의 웹 에이전트, 로봇, 앱 흐름에 넣는다.
제품 정보
Molmo의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 컴퓨터 비전 기능을 만드는 개발자
- 멀티모달 모델을 연구하는 연구자
- 쓸 만한 GPU를 가진 취미 사용자
작업
- 사진 속 특정 물체를 가리키기
- 그래프와 메뉴, 화이트보드 읽기
- 웹 에이전트 구동
활용 상황
- 반복적인 화면 작업 자동화
- 사진 라이브러리 정리나 태깅
- 제품 프로토타입의 기반 모델 고르기
주요 기능
가리키는 이미지 이해
대부분의 모델은 이미지에 관한 질문에 말로 답한다. Molmo는 더 나아가, 군중 속의 한 사람이든 메뉴 화면의 버튼이든 지정한 물체에 표시를 찍는다. 이 가리키기는 별도 학습 없이 작동한다. 개수 세기와 UI 조작 같은 작업을 여는 제로샷 기술이다.
하드웨어별로 나뉜 세 가지 크기
제품군은 1B, 7B, 72B 파라미터에 걸쳐 있다. 기기에 맞춰 고르는 것이지 그 반대가 아니다. 1B 모델은 개인 기기에 들어갈 만큼 가볍고, 72B 버전은 제대로 된 GPU 용량을 갖춘 팀을 겨냥한다. 같은 제품군이지만 차지하는 규모는 크게 다르다.
작고 선별된 데이터셋으로 학습
Ai2는 다른 연구소가 의존하는 수십억 장 대신 사람이 주석을 단 약 60만 장의 이미지를 썼다. 설명은 긁어모은 것이 아니라 사람이 썼다. 그래서 모델이 대화하듯 정확하다. 학습 비용도 덜 들고, 그 효율은 작은 모델이 얼마나 빨리 응답하는지에 드러난다.
완전한 오픈소스
가중치와 코드, 학습 데이터셋이 모두 공개돼 있다. Molmo를 돌리고 연구하고 미세 조정하고 라이선스 비용 없이 상용 제품에 실어 출시할 수 있다. 연구자에게 이 투명성은 핵심 그 자체다.
에이전트와 로봇을 위해 만들어짐
화면을 보고 그에 따라 행동하는 Molmo의 능력은 양식을 채우거나 사이트를 돌아다니는 웹 에이전트, 카메라가 보는 것을 해석해야 하는 로봇에 맞는다. 시각 계층을 직접 읽으므로 페이지의 내부 구조를 거꾸로 풀어낼 필요가 없다.
장단점
장점
- 구독도 호출당 과금도 없이 무료로 쓴다.
- 가중치와 코드, 데이터셋이 열려 있어 모든 것을 살펴보고 고칠 수 있다.
- 가리키기 기능은 텍스트 전용 모델이 못 하는 물체 위치 찾기와 개수 세기를 처리한다.
- 1B 모델은 소박한 하드웨어에 들어가므로 시험에 데이터센터가 필요 없다.
- Ai2에 따르면 여러 벤치마크에서 훨씬 큰 독점 모델과 맞먹는 성능을 낸다.
단점
- 호스팅 API가 없어 모델을 직접 돌리거나 제3자 호스트를 찾아야 한다. 설정 작업이 늘어난다.
- 노트북에서 현실적인 것은 가장 작은 버전뿐이다. 72B 모델은 GPU 메모리가 많이 필요하다.
- 공식 모바일 앱도, 바로 쓰는 인터페이스도 없다. 코딩을 하지 않는 사람은 아예 배제된다.
자주 묻는 질문
Molmo는 이미지와 언어가 섞이는 작업에 쓴다. 사진 설명, 그래프 읽기, 물체 위치 찾기, 그리고 보는 것에 따라 움직이는 웹 에이전트나 로봇 구동이다. 기반 모델이라 개발자는 직접 쓰기보다 그 위에 최종 도구를 만든다.
관련 콘텐츠
Molmo와 관련된 도구, 스킬, 아티클을 살펴보세요.
Molmo 대안
X Ray Interpreter
X-ray Interpreter · 이미지X Ray Interpreter는 X선, CT, MRI, 초음파, PET 이미지를 쉬운 말의 리포트로 바꾸는 웹 기반 AI 영상의학 도구다. 스캔 이미지를 올리면 X선 예비 판독 결과가 곧바로 나오고, 설명이 필요한 부분이 있으면 이후에 추가 질문도 할 수 있다. 이 도구의 위치는 2차 소견과 학습 보조이며, 의료 진단은 아니다.
Aieasypic
AIEasyPic · 이미지AIEasyPic은 단순한 텍스트 프롬프트를 몇 초 만에 완성된 예술 작품으로 바꾸는 AI 이미지 생성기다. 자신의 사진으로 맞춤 모델을 훈련하고, 기존 이미지에서 얼굴을 바꾸고, 텍스트로 짧은 영상 클립을 만들 수도 있다. 모두 브라우저에서 끝난다. 빠른 비주얼을 원하는 가벼운 창작자에게도, 코드를 전혀 건드리지 않고 개인 모델을 만들고 싶은 취미 사용자에게도 어울린다.
Chargen
Chargen · 이미지Chargen은 던전 앤 드래곤과 다른 탁상용 롤플레잉 게임을 위해 만든 AI 캐릭터 생성기이자 세계관 구축 툴킷이다. 한 줄 아이디어를 그려진 캐릭터 초상화로 바꾸고, 같은 세션에서 NPC, 몬스터, 지도, 조우를 만들어내며, 모든 생물의 세부 정보를 손 가까이에 둔다. 탁상용 롤플레잉 아트 부분은 Gold라는 크레딧 시스템으로 돌아가고, 텍스트 생성기는 모두에게 무료로 남는다.