Grok 2.5 (OSS Ver.)

이번 공개의 핵심은 접근성이다. xAI는 학습된 Grok 2 체크포인트를 내려받을 수 있는 웨이트로 내놨다. 그래서 호스팅 엔드포인트를 부르는 대신 자기 장비에서 돌릴 수 있다. 저장소는 42개 파일에 약 500GB이고, 추론 엔진으로 로컬에 불러온다. 웹 페이지를 거치지 않는다. 모델을 사내에 두려는 팀에게 여기가 가치의 전부다.

Grok 2.5는 전문가 혼합 설계를 쓴다. 각 층이 여러 전문가 네트워크를 품고, 토큰마다 그중 몇 개만 작동한다. 같은 총규모의 밀집 모델보다 요청당 연산량을 낮게 유지한다. GPU를 시간 단위로 지불할 때 중요한 대목이다. xAI가 Grok 계열 전체에서 써 온 같은 큰 방침이고, 체크포인트가 커도 못 쓰게 되지 않는 이유이기도 하다.

이 모델은 128K 토큰 컨텍스트를 받는다. 한 대화에 긴 문서를 통째로 담을 만한 길이다. 긴 보고서, 코드 파일, 녹취록을 넣고 미리 쪼개지 않은 채 전체에 대해 질문할 수 있다. 문서 검토나 장문 작성 같은 작업에서 이 윈도는 작은 모델 둘레에 짜야 했을 배관을 상당히 덜어 준다.

xAI는 모델을 서비스하는 방법으로 SGLang을 안내하며, 저장소의 단계는 구체적이다. 텐서 병렬을 GPU 8장에 나눠 걸고, 각 장에 40GB 넘는 메모리를 두고, FP8 양자화로 웨이트를 맞춘다. 안내는 그 하드웨어를 갖춘 Linux 서버를 전제로 한다. 즉 이 모델은 추론 인프라를 이미 운영하는 사람을 겨냥하며, 초보자용이 아니다.

웨이트가 공개돼 있으니 모델을 평가하고, 전문가가 어떻게 라우팅되는지 살피고, 자체 데이터로 미세 조정할 수 있다. 입력 텍스트와 출력 텍스트만 받는 호스팅 챗봇과 다른 점이다. 공개된 벤치마크 수치를 다른 경로로 재현하기 어려울 때, 이름 있는 연구소의 체크포인트가 비교 대상으로 생기는 건 큰 도움이 된다.

Grok 2.5를 직접 돌리면 프롬프트와 출력이 네트워크 밖으로 나가지 않는다. 외부 API 호출도, 트래픽을 들여다보는 공급자도 없다. 민감한 자료, 규제 대상 데이터, 내부 코드를 다루는 팀에게 이 통제는 호스팅 모델과 오픈 모델을 가르는 결정적 요인이 되곤 한다. 호스팅 서비스가 더 싸게 먹히는 경우에도 그렇다.