Molmo

Molmo는 본 것을 설명만 하지 않고 가리킨다. 이 이미지 포인팅 모델에 사진을 주고 어떤 물체가 무엇인지 물으면 답마다 2D 좌표가 붙는다. Molmo 2에서는 이 포인팅이 시간으로 확장된다. 컵이 언제 떨어졌는지, 어느 선수가 득점했는지 물으면 위치와 함께 타임스탬프가 돌아온다.

Molmo 2는 클립 전체에서 객체를 따라가며 각각에 안정적인 ID를 붙인다. 계수에서 이 점이 중요하다. 같은 컵이 화면을 벗어났다 돌아와도 두 번 세어지면 안 되기 때문이다. 모델은 가림과 재등장을 처리하는데, 이전 오픈 모델이 어려워하던 부분이다. Ai2는 자사 영상 추적 평가에서 Gemini 3 Pro를 앞선다고 밝힌다. Ai2 자체 벤치마크이니 차이는 출발점으로 보면 된다.

모델은 단일 이미지, 2~5장의 관련 이미지, 몇 분을 넘기는 영상 클립을 받는다. 영상 이해 모델로서 Molmo 2는 SlowFast 방식으로 소재를 처리한다. 키 프레임은 고해상도로, 나머지는 낮춰서 처리한다. 긴 영상 작업의 정확도를 지키면서 요청당 비전 토큰은 줄인다.

Molmo는 Apache 2.0으로 공개되며 가중치, 학습 코드, Ai2가 공개한 절차가 함께 온다. Molmo 2는 캡션, 질의응답, 포인팅, 추적을 담당하는 새 데이터셋 아홉 개를 더했고 학습 예시는 900만 건을 넘는다. 닫힌 모델이 만든 데이터에 기대는 부분이 없어, 위에 쌓으려는 사람에게 과정은 재현 가능하게 남는다.

가중치가 열려 있어 자체 하드웨어에서 Molmo를 돌리면 호출당 요금을 피할 수 있다. Ai2는 작은 모델이 데이터센터 없이 로컬에서 돈다고 밝힌다. 대신 GPU와 설정은 직접 마련해야 하고, 가장 큰 버전은 여전히 적지 않은 메모리를 요구한다.

"몇 개"라는 질문에 모델은 숫자만이 아니라 시각 근거를 돌려준다. 계수를 검증할 수 있다는 뜻이다. 어떤 물체를 셌는지 눈으로 확인할 수 있다. 같은 그라운딩은 이상 탐지에도 쓰인다. 드물거나 뜻밖의 사건을 표시하고 그것이 담긴 프레임을 가리킨다.

Molmo 2-O(7B)는 Olmo 위에 세워져 비전 인코더와 커넥터, 언어 모델이 모두 손안에 있다. 고정된 백본을 미세 조정하는 대신 스택 전체를 다시 학습하려는 팀에 맞는다. Molmo 2 저장소에는 사전 학습, SFT, 장문맥 SFT 스크립트가 들어 있다.