Kolosal AI

Kolosal AI는 대규모 언어 모델을 클라우드를 거치지 않고 내 기기에서 돌린다. 가중치를 한 번 내려받으면 대화와 요약, 질의응답이 네트워크 연결 없이 동작한다. 기기 내 추론으로 끝내고 싶은 사람에게 이 오프라인 설계가 호스팅 챗봇보다 나은 가장 큰 이유다.

Kolosal AI는 작게 쓰려는 사람들이 즐겨 찾는 LM Studio 대안이다. 컴파일된 앱은 약 20MB로, 거의 모든 로컬 모델 러너보다 훨씬 작다. 이 크기 덕에 라즈베리 파이나 무팬 미니 PC 같은 저전력 하드웨어에서도 돈다. 무거운 데스크톱 클라이언트라면 버벅일 지점이다. 엣지 AI 배포 관점에서 이 점이 앱을 쓸 만하게 유지한다.

AVX2 명령어를 갖춘 CPU면 돌아가고 AMD와 NVIDIA GPU에서도 동작한다. 노트북과 데스크톱, 엣지 보드를 아우르며 한 제조사에 묶이지 않는다. 기기에 있는 하드웨어를 감지해 활용하므로 최상위 GPU가 없어도 시작할 수 있다.

Kolosal AI는 오픈소스 LLM 도구이며, llama.cpp 위에 얹은 자체 추론 엔진으로 Mistral, LLaMA, Qwen 같은 인기 오픈 모델을 돌린다. 많은 사람이 이미 알고 내려받는 모델이 여기서 돈다. 마음에 둔 모델이 있다면 별도 설정 없이 돌아갈 가능성이 크다.

Kolosal AI는 추론에서 멈추지 않는다. 거의 손이 가지 않게 데이터셋을 만들고 Unsloth 같은 프레임워크로 언어 모델을 로컬에서 학습시킨 뒤, 결과를 내 컴퓨터나 작은 서버로 배포한다. 남의 가중치를 돌리는 데 그치지 않고 내 데이터에 맞춰 모델을 조정할 수 있다.

가중치에서 쓸 수 있는 어시스턴트까지 몇 단계면 되고 서버 구축은 필요 없다. 모델을 불러와 로컬에서 돌리고, 공유하고 싶을 때 내 컴퓨터나 네트워크에서 공개한다. 프라이빗 엔드포인트를 원하면서 DevOps 프로젝트는 벌이고 싶지 않은 작은 팀에 이 낮은 문턱이 중요하다.

프로젝트는 Apache 2.0 라이선스를 따른다. 코드를 읽고 고치고 내 작업물에 넣어도 라이선스 비용이 없다. 내 기기에서 무엇이 도는지 감사해야 하는 팀에 이 개방성이 매력이다. 단일 제조사의 로드맵이 아니라 커뮤니티와 함께 프로젝트가 나아간다는 뜻이기도 하다.