프랑스 미스트랄AI가 1조 매개변수 규모의 오픈웨이트 모델 '라지 4'를 공개했다. 별칭은 '르 촌크'. 미국과 중국이 주도해온 대형 모델 경쟁에 유럽이 정면으로 뛰어든 셈이다.
미스트랄이 라지 4를 공개한 이유
미스트랄AI가 10월 6일 최대 규모 오픈웨이트 모델 '미스트랄 라지 4'를 공개 미리보기 형태로 선보였다. 전체 매개변수 1조 개 규모의 대형 모델이다. 회사는 자사 오픈웨이트 모델 가운데 최전선 성능을 낸다고 밝혔고, 일부 영역에서는 가중치를 공개하지 않는 폐쇄형 최전선 모델까지 앞선다고 주장했다.
별칭은 '르 촌크(Le Chonk)'다. 모델 코드명 ML4로도 불린다. 그동안 오픈웨이트 대형 언어 모델 시장은 중국 기업들이 사실상 이끌어왔다. 서구권에서는 리플렉션AI나 씽킹머신즈랩 같은 신생 스타트업이 빈자리를 메우는 정도였다. 유럽 AI 주권의 대표주자를 자처해온 미스트랄이 여기에 가세하면서, 서구권 오픈웨이트 진영이 한층 두터워졌다.
라지 4의 규모: 1조 매개변수, 490억 활성
1조 개 모델을 어떻게 감당할까? 답은 490억 개라는 숫자에 있다. 라지 4의 핵심 숫자는 두 갈래다. 전체 매개변수는 1조 개 수준이지만, 실제 추론에서 활성화되는 매개변수는 490억 개다. 전문가 혼합(MoE) 구조를 써서 매번 모델 전체를 쓰지 않고 필요한 부분만 골라 연산하는 방식이다.
이 구조 덕분에 1조 개 모델을 통째로 돌리는 것보다 비용과 속도 부담이 줄어든다. 다만 오픈웨이트로 공개되면 1조 개 가중치를 내려받아야 하므로, 개인 노트북에서 돌리기엔 무리다. 기업이 자체 서버에 올려 쓰는 시나리오를 겨냥한 모델이다.
라지 4는 처음부터 다국어 데이터로 학습됐다. 유럽연합 공용어 전체를 포함해 160개가 넘는 언어를 다룬다. 회사는 자연어 처리뿐 아니라 이미지까지 함께 이해하는 네이티브 멀티모달 모델이라고 설명했다.
유럽 데이터센터에서 3800장 GPU로 학습
라지 4는 유럽에 위치한 미스트랄 자체 데이터센터에서 학습됐다. 엔비디아의 그레이스 블랙웰 GPU 3800장을 동원했다. 회사는 처음부터 끝까지 자체 인프라에서 훈련했다고 밝혔다. 현재 미리보기 서비스도 같은 인프라 위에서 돌아간다.
미스트랄은 사이버 보안, 금융, 법률 같은 기업 업무에서 오픈웨이트 모델 가운데 최고 성능을 낸다고 주장했다. 특히 시각적 근거 찾기 작업에서는 폐쇄형 최전선 모델을 넘어섰다고 덧붙였다. 회사 자체 평가라는 점은 감안해야 한다. 출시 시점에 외부 기관의 독립 검증 결과는 나오지 않았다.
가중치는 이달 안에 공개된다
미스트랄은 라지 4의 가중치를 이달 안에, 늦어도 10월 말까지 공개하겠다고 밝혔다. 허깅페이스 페이지에는 10월 31일이 현재 예상일로 적혀 있다. 일반 이용자는 그때부터 가중치를 직접 내려받을 수 있다.
지금은 미리보기 단계라 미스트랄 스튜디오의 API로만 접근할 수 있다. 가격과 사용 조건은 스튜디오에서 확인할 수 있다.
오픈웨이트란 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한다는 뜻이다. 폐쇄형 모델처럼 API 호출로만 쓰는 것과 달리, 자체 서버에 설치해 데이터를 밖으로 내보내지 않고 운영할 수 있다. 금융·의료·공공처럼 데이터 보안을 중시하는 조직이 오픈웨이트를 선호하는 이유다.
앞으로 지켜볼 것
관건은 두 가지다. 먼저, 이달 말 실제 공개된 가중치가 회사 주장만큼의 성능을 내는지다. 다음으로, 1조 개 모델을 감당할 하드웨어가 얼마나 보급돼 있는지다. 활성 매개변수가 490억 개라도 전체 가중치를 올릴 메모리는 필요하다.
미스트랄은 지난달 삼성전자가 주도한 투자 라운드에서 30억 유로를 조달했다. 반도체 공급망 전반에서 삼성과 협력하겠다는 목표도 밝혔다. 라지 4는 그 첫 성적표에 가깝다.
