nanochat
Andrej Karpathy · 기타 · 챗봇
nanochat은 Andrej Karpathy가 만든 오픈소스 풀스택 LLM 훈련 프레임워크로, ChatGPT 스타일 언어 모델을 처음부터 구축한다. 토큰화와 사전 훈련부터 미세 조정, 평가, 추론까지 전체 파이프라인을 약 8,000줄의 단일 코드베이스에 담았다. GPU 노드 하나를 빌려 스크립트를 실행하면, 몇 시간 뒤 방금 훈련한 모델과 웹 인터페이스나 명령줄로 대화할 수 있다.
nanochat 소개
nanochat이란
nanochat은 대규모 언어 모델을 훈련하는 가장 단순한 실험 환경이다. 단일 GPU 노드를 위해 만들어졌고, 코드는 최소한이며 고치기 쉽고, LLM의 모든 주요 단계를 거친다. 토큰화, 사전 훈련, 중간 훈련, 지도 미세 조정, 선택적 강화 학습, 평가, 추론이다. Karpathy는 이를 100달러로 살 수 있는 최고의 ChatGPT라고 부른다.
목표는 최전선 모델과 겨루는 것이 아니다. 몇 시간 훈련한 nanochat 모델은 작고 신기한 존재로, 기본적인 대화를 나누고 이야기를 들려주며 간단한 질문에 답한다. 대신 얻는 것은 실제로 이해하고 바꿀 수 있는 완전하고 읽기 쉬운 훈련 파이프라인이다. 그래서 이것이 Karpathy의 LLM101n 과정의 종합 프로젝트로 자리 잡아 가고 있다.
솔직한 한계도 있다. 이것은 학습과 연구 도구이지 운영용 모델이 아니다. Karpathy 본인도 자신의 글에 맞춰 미세 조정하는 것을 권하지 않는다. 이렇게 작은 모델은 표면적 스타일을 흉내 낼 뿐, 최상위 LLM이 지닌 더 깊은 추론을 붙잡지 못한다. 그것을 원한다면 Llama 3처럼 더 큰 오픈 모델을 미세 조정하거나 더 큰 시스템으로 검색을 활용하는 편이 낫다.
시작하기
- 단일 8XH100 노드를 갖춘 클라우드 GPU 서버를 띄운다(시장가는 시간당 약 24달러).
- GitHub에서 저장소를 복제하고, 아직 없다면 프로젝트 관리 도구
uv를 설치한다. runs/speedrun.sh스크립트를 실행한다. 데이터 준비, 훈련, 미세 조정을 처음부터 끝까지 처리한다.- 몇 시간 기다린다. 스크립트는 GPT-2급 모델을 훈련하고 그 점수를 보고한다.
- 웹 서버나 CLI를 시작해 방금 훈련한 모델과 대화한다.
제품 정보
nanochat의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 머신러닝 학생
- 연구자와 취미 사용자
- 자체 모델을 탐색하는 소규모 팀
작업
- GPT-2급 언어 모델 훈련
- LLM 파이프라인 학습
- 훈련 조정 비교
활용 상황
- 첫 엔드투엔드 훈련 작업 실행
- 수업이나 워크숍 진행
- 주말 실험
주요 기능
스크립트 하나로 파이프라인 전체
nanochat speedrun은 새 서버에서 전 과정을 하나로 묶는다. 데이터를 준비하고, 토크나이저를 훈련하고, transformer를 사전 훈련하고, 중간 훈련과 미세 조정을 실행하며, 대화할 수 있는 모델을 만든다. 명령 하나가 분리된 도구들의 기존 짜깁기를 대체한다. 모든 것을 단일 저장소에 두고 여러 프로젝트로 흩어 놓지 않는 이유가 바로 여기에 있다.
깊이 다이얼
nanochat은 --depth, 즉 transformer의 층 수라는 설정 하나만 바꿔 계산 최적 모델군 전체를 훈련하도록 구성됐다. 너비, 어텐션 헤드, 학습률 스케줄, 훈련 기간을 비롯한 나머지는 모두 자동으로 계산된다. GPT-2급을 원하는가? 깊이를 26으로 설정하면 된다. GPT-2의 성능이 대략 그 지점에 놓인다.
Rust 토크나이저와 깔끔한 데이터 준비
토크나이저는 속도를 위해 Rust로 처음부터 작성했고, 데이터 파이프라인은 FineWeb-Edu 데이터셋의 일부를 스트리밍용 경량 Parquet 파일로 다시 묶는다. 화려하지 않은 배관 작업이다. 하지만 대부분의 튜토리얼이 건너뛰는 부분이고, 여기에는 완전히 갖춰져 있다.
웹 UI를 갖춘 추론 엔진
훈련은 실제로 쓸 수 있는 무언가로 끝난다. nanochat은 KV 캐시를 갖춘 효율적인 추론 엔진을 제공하고, CLI와 ChatGPT 스타일 웹 인터페이스도 갖춘다. 도구 호출용 경량 Python 샌드박스도 있어 모델이 코드를 실행하려 시도한다. 마지막 부분은 멋진 디테일이다.
선택적 RL 단계
지도 미세 조정을 넘어, GSM8K 수학 데이터셋에서 GRPO 알고리즘을 쓰는 선택적 강화 학습 단계를 실행할 수 있다. 핵심 요구 사항이라기보다 추가 단계지만, 평가 가능한 작업에서 작은 모델을 어디까지 밀어붙일 수 있는지 보여준다. 연구가 추론이나 수학을 다룬다면 실제로 유용하다.
Markdown 성적표
훈련 후 nanochat은 실행을 요약하는 Markdown 성적표 하나를 만든다. 점수판처럼 읽히며 모델 크기, 훈련 시간, MMLU, ARC-Easy, GSM8K 같은 벤치마크 결과를 담는다. 덕분에 비교가 쉬워진다. 잘 보관하자.
MIT 라이선스와 손쉬운 수정
프로젝트 전체는 MIT 라이선스로 공개돼 있고 약 8,000줄이며, 대부분 Python에 약간의 Rust가 섞인다. 코드는 읽고, 포크하고, 고치도록 만들어졌다. Karpathy가 대부분 손으로 썼고 구조는 저수준에 가깝게 유지돼, 이리저리 만지기 시작할 때 발목을 잡는 숨은 마법이 거의 없다.
장단점
장점
- 토크나이저부터 채팅 UI까지 LLM 파이프라인 전체를 작은 저장소 하나에 담는다.
- GPT-2급 모델을 약 100달러의 GPU 임대료로 훈련하며, 2019년 비용을 훨씬 밑돈다.
- GPU 노드 하나만 필요해 분산 훈련의 복잡함을 건너뛴다.
- MIT 라이선스와 읽기 쉬운 코드 덕에 포크해서 자신의 실험에 맞추기 쉽다.
- 같은 작업을 다른 이들이 얼마나 빠르게 밀어붙였는지 보여주는 speedrun 리더보드를 운영한다.
단점
- 운영용 모델이 아니다. 학습용 작은 모델이 나올 뿐 GPT-4나 Claude의 경쟁자가 아니므로, 다듬어진 답변을 기대하면 안 된다.
- 실제 GPU 하드웨어나 클라우드 계정은 여전히 필요하고, 노트북이나 휴대폰에서 훈련을 돌릴 방법은 없다.
- 개인 문체에 맞춘 미세 조정은 잘 되지 않는다. 기반 모델이 표면적 패턴 이상을 흡수하기에 너무 작기 때문이다.
- 설정에는 Linux, Python, 명령줄에 대한 어느 정도의 익숙함이 전제돼, 비기술 사용자는 배제된다.
자주 묻는 질문
nanochat은 작은 ChatGPT 스타일 언어 모델을 처음부터 훈련하고 실행하는 데 쓴다. LLM이 처음부터 끝까지 어떻게 작동하는지 배우고, 훈련 아이디어를 저렴하게 시험하고, 스크립트 하나로 작동하는 챗봇을 만들기 위해 사용된다.
관련 콘텐츠
nanochat와 관련된 도구, 스킬, 아티클을 살펴보세요.
nanochat 대안
BinkBink
BinkBink · 기타BinkBink는 무료 온라인 게임 플랫폼이자 AI 게임 메이커로, 누구나 짧은 텍스트 설명을 플레이 가능한 브라우저 게임으로 바꿀 수 있다. 커뮤니티가 만든 수백 개의 게임에 바로 뛰어들 수 있다. 아니면 자기 아이디어를 설명하고 몇 초 만에 플레이한 뒤 친구와 공유하면 된다. 내 게임을 만들고 싶은가? 코딩은 필요 없다. 엔진 설정도, 다운로드도, 번거로움도 없다.
Audiogen
Audiogen Inc. · 기타Audiogen은 Audiogen Inc.가 만든 AI 음악 생성기다. 작은 연구팀이 약 2년 반 동안 자체 생성형 음악 모델을 학습시키고 그 주위에 웹 인터페이스를 설계했다. 이 AI 음악 도구는 단순한 텍스트 상자 대신 타임라인을 초보자 친화적인 생성형 오디오 워크스테이션(Generative Audio Workstation, 줄여서 GAW)으로 바꾼다. 그 안에서는 인페인팅, 확장, 리믹스, 스템 편집이 캔버스에 그림을 그리듯 작동한다. 제품은 아직 베타라 접근은 대기 명단이나 초대를 거친다. 유료 요금제는 아직 공개되지 않았다.
Aiml API
AIMLAPI OÜ · 기타Aiml API는 OpenAI, Google, Anthropic 등 1000개 이상의 모델을 하나의 엔드포인트와 하나의 청구서 뒤에 모은 통합 AI 모델 API다. 단일 OpenAI 호환 스키마에 맞춰 코드를 작성한 뒤 모델 문자열 하나만 바꾸면 채팅, 이미지, 비디오, 오디오 모델 사이를 전환할 수 있다. 열두 개가 넘는 공급자 계정을 저글링하고 싶지 않은 개발자와 소규모 팀에 맞고, 여러 벤더를 시험할 때 따르는 청구 골칫거리도 없앤다. 키 하나면 모두 해결된다.