AI 모델

오픈소스 LLM 정리: 직접 돌려볼 수 있는 모델들

오픈소스 LLM은 대부분 오픈웨이트 방식이다. 딥시크, 지엘엠, 큐원, 라마, 젬마 같은 주요 모델의 강점과 라이선스, 자체 호스팅에 필요한 하드웨어, 직접 돌리는 것이 유리한 상황을 정리했다.

김민준김민준
인기 지수: 1,240
오픈소스 LLM 정리: 직접 돌려볼 수 있는 모델들

오픈소스 LLM은 이제 "직접 돌려볼 수 있는 모델"을 넘어섰다. 상용 최상위 모델과 견줄 성능을 가중치 공개로 내놓는 사례가 늘었다. 문제는 이름과 라이선스가 너무 많다는 점이다.

오픈소스 LLM이 무슨 뜻인가

먼저 용어를 정리하자. 요즘 대부분은 엄밀한 의미의 오픈소스가 아니라 오픈웨이트(open weight)다. 학습에 쓴 데이터와 코드 전체를 공개하는 게 아니라, 완성된 모델의 가중치 파일을 내려받을 수 있게 하는 방식이다.

이 차이가 실무에서 중요하다. 가중치를 받으면 내 서버에서 직접 돌릴 수 있다. 데이터를 외부로 보내지 않아도 되고, 토큰 단가 대신 하드웨어 비용만 신경 쓰면 된다. 대신 학습 데이터는 공개되지 않아 내부 동작을 완전히 들여다볼 수는 없다.

라이선스도 제각각이다. 상업적 사용을 자유롭게 허용하는 것도 있고, 일정 규모 이상이면 별도 조건을 붙이는 것도 있다. 받기 전에 라이선스부터 확인하는 습관이 필요하다.

지금 주목받는 모델들

2026년 오픈웨이트 진영은 몇 갈래로 나뉜다.

중국 진영이 뚜렷하게 앞선다. 딥시크(DeepSeek)는 추론과 코딩에서 강점을 보이고, 지엘엠(GLM)은 독립 평가 기관 지표에서 오픈웨이트 최상위권에 오른다. 키미(Kimi)도 대규모 파라미터로 프런트엔드와 코딩 평가에서 이름을 올린다.

메타의 라마(Llama) 계열은 긴 컨텍스트와 생태계 측면에서 여전히 널리 쓰인다. 알리바바의 큐원(Qwen)은 다국어와 소형 모델 라인업이 강하다. 구글의 젬마(Gemma), 미스트랄(Mistral)은 라이선스가 비교적 다루기 쉬워 기업 도입 사례가 많다.

모델군

강점

라이선스 성격

딥시크

추론·코딩, 큰 파라미터

비교적 관대

지엘엠

독립 지표 상위권

조건부 상업 허용

큐원

다국어, 소형 모델

모델별로 다름

라마

긴 컨텍스트, 생태계

별도 조건

젬마·미스트랄

도입 용이

비교적 개방적

이름만 보고 고르면 안 된다. 같은 계열 안에서도 크기와 버전이 세분화돼 있어, 내 하드웨어에 맞는 변형을 골라야 한다.

직접 돌리려면 무엇이 필요한가

자체 호스팅의 관건은 하드웨어다. 모델 크기와 필요한 메모리는 대체로 비례한다.

작은 모델은 일반 PC나 노트북에서도 돌아간다. 양자화(quantization)라는 기법으로 정밀도를 낮추면 메모리 요구량을 크게 줄일 수 있다. 품질이 조금 떨어지는 대신 훨씬 가벼워진다.

큰 모델은 GPU 서버가 필요하다. 수백 기가바이트 메모리를 요구하는 모델도 있어, 개인이 돌리는 것은 사실상 어렵다. 이런 모델은 클라우드에서 시간 단위로 빌려 쓰는 편이 현실적이다.

한 가지 오해를 풀자. "오픈소스라서 항상 싸다"는 성립하지 않는다. 큰 모델을 직접 돌리면 GPU 전기료와 관리 비용이 API 요금보다 커질 수 있다. 작은 모델을 개인 장비에서 돌리는 경우에야 비용 이점이 뚜렷하다.

어떤 경우에 직접 돌리는가

자체 호스팅은 만능이 아니다. 다음 상황에서 특히 유용하다.

민감한 데이터를 다룰 때다. 의료 기록이나 사내 문서를 외부 서비스로 보내기 어려운 경우, 가중치를 받아 내 서버에서 처리하면 데이터가 밖으로 나가지 않는다.

토큰 비용이 클 때다. 호출량이 매우 많은 서비스라면, 고정된 하드웨어 비용이 토큰 단가보다 유리해지는 지점이 온다. 호출량이 적으면 오히려 손해다.

모델을 직접 다듬고 싶을 때다. 가중치를 받으면 내 데이터로 추가 학습을 돌릴 수 있다. 상용 API로는 할 수 없는 일이다.

반대로 최고 성능이 필요한 순간에는 상용 최상위 모델이 여전히 앞선다. 오픈웨이트 모델은 빠르게 따라오지만, 최전선은 대체로 상용 쪽에 있다.

오픈웨이트 모델의 한계

기대만큼 만능은 아니다.

성능 격차는 좁혀졌지만 완전히 사라진 것은 아니다. 어려운 추론과 컴퓨터 조작 같은 영역에서는 상용 최상위 모델이 앞선다.

운영 부담이 따른다. 모델을 올리고, 추론 서버를 띄우고, 업데이트를 따라가는 일은 모두 직접 해야 한다. 상용 서비스는 이 부분을 대신 처리해 준다.

라이선스 리스크도 있다. 조건부 허용 모델을 아무 조건 확인 없이 상업 서비스에 쓰면 문제가 될 수 있다. 도입 전에 약관을 반드시 읽어야 한다.

정리: 목적이 선택을 정한다

오픈소스 LLM은 데이터를 지키거나 비용을 통제하려는 목적에 강하다. 추론과 코딩에서는 중국 진영이, 도입 편의성에서는 젬마와 미스트랄이 앞선다.

처음이라면 작은 모델 하나를 골라 개인 장비에서 돌려 보는 것부터 시작하면 된다. 그 경험이 쌓이면 어느 지점에서 자체 호스팅이 유리한지 스스로 판단하게 된다.

이 소식 공유하기

출처

관련 AI 뉴스

상승하는 보상 곡선과 27B 배지가 나란히 있는 터미널 창
AI 모델

DaisyRose-27B, 18일 학습으로 Terminal-Bench 4.1 점수 두 배

RadixArk가 20일 공개한 DaisyRose-27B는 새로 설계한 모델이 아니다. Qwen3.8-27B의 구조와 토크나이저, 채팅 템플릿, 이미지 이해, 256K 컨텍스트를 그대로 두고 reinforcement learning만으로 다시 훈련한 결과물이다.

인기 지수: 1,330
노트북 윤곽 안에서 세 장의 층 시트가 고리 화살표를 통과하는 그림
AI 모델

Inkling 2 Mini, 24개 층을 세 번 돌려 노트북에 올렸다

Thinking Machines Lab이 20일 open weights로 공개한 Inkling 2 Mini는 가운데 12개 층을 토큰마다 세 번 돌리는 looped transformer다. 계산은 48층만큼 하면서 저장은 24층으로 끝내고, 그 대신 외운 사실은 늘리지 않는다.

인기 지수: 1,710
어두운 배경에 길게 뻗은 청록색 오디오 파형과 주황색 강조 막대 하나
AI 모델

Rumble-2-Flash는 0.5B로 30B 전화 상담 성적을 따라잡았다

전화 상담 녹취를 글로 옮기는 일은 오래 GPU 여러 장을 전제로 했다. Reson8이 내놓은 Rumble-2-Flash는 그 전제를 0.5B 파라미터로 줄여 놓았다.

인기 지수: 560
짙은 파란 배경 위로 작은 빛 코어를 감싸 도는 세 개의 네온 고리
AI 모델

Gemini 4 Neon 공개, 구독자 선택지는 네 개로 정리됐다

구글이 Gemini 4 Neon을 내놓으면서 유료 구독자가 고를 수 있는 모델이 다시 바뀌었다. Argon에 익숙해진 사람과 3.1 Pro를 쓰던 사람은 오늘 앱을 열어 목록을 다시 봐야 한다.

인기 지수: 1,500