Unsloth

Unsloth는 대규모 언어 모델(LLM)과 확산 모델을 자신의 하드웨어에서 학습하고 실행하는 무료 도구다. LoRA 작업의 느린 부분을 다시 작성한 오픈소스 LLM 학습 라이브러리로 시작해 완전한 로컬 플랫폼으로 성장했다. Windows, macOS, Linux용 데스크톱 앱과 모델 탐색, 채팅, 학습 실행 관리를 위한 Studio 인터페이스가 포함된다.

이 도구가 해결하는 핵심 문제는 자원 소모다. 예전에는 미세 조정에 값비싼 GPU와 많은 설정이 필요했다. 지금은 아니다. Unsloth를 쓰면 수십억 파라미터 모델을 소비자용 카드 한 장으로 미세 조정할 수 있다. 공식 노트북을 쓰면 Google Colab이나 Kaggle에서 무료로 시험해 볼 수 있다. 회사 측은 자체 커널이 학습을 최대 2배 빠르게 하고 메모리 사용량을 크게 줄인다고 밝힌다. 그래서 데이터센터용 카드가 필요했던 모델이 이제는 게이밍 PC에 들어갈 수 있다.

걸림돌은 기술적인 부분이다. Unsloth는 Python과 명령줄에서 동작하고, 노트북 워크플로는 데이터셋과 학습 실행이 무엇인지 안다고 전제한다. 완전한 초보자를 위한 안내는 없고, 큰 모델을 돌리려면 여전히 충분한 VRAM을 갖춘 실제 GPU가 필요하다. 그런데 스마트폰을 쓴다면? 그렇다면 이 도구는 찾는 것이 아니다.

시작하기

1. 하드웨어를 확인한다. Unsloth는 Windows, Linux, WSL, macOS에서 동작하며 NVIDIA, AMD, Intel GPU는 물론 CPU와 Vulkan 백엔드도 지원한다. 공식 문서에 모델 크기별 최소 VRAM이 나와 있다.
2. 설치 경로를 고른다. 사이트나 GitHub Releases에서 데스크톱 앱을 내려받거나 설치 스크립트를 실행하거나 Docker 이미지를 쓴다. 코드 작업을 하려면 pip로 Python 패키지를 설치한다.
3. 설정을 건너뛰고 싶다면 무료 노트북을 연다. Colab과 Kaggle 노트북에는 GPU 컴퓨팅이 딸려 오고, 자신의 데이터셋을 넣으면 된다.
4. 모델과 데이터셋을 불러온다. 시작할 때는 작은 instruct 모델 같은 것을 고르고, 노트북이 내 데이터를 가리키게 한다.
5. 학습하고 저장하고 내보낸다. 학습 셀을 실행한 다음 가중치를 병합하거나 내보내고 모델을 로컬에서 서빙한다.