Dream 7B

Dream 7B란 무엇인가

Dream 7B는 Dream LLM으로 쓰이기도 하는 70억 파라미터 텍스트 확산 모델(dLLM, 확산 대규모 언어 모델의 준말)로, 홍콩대학교와 화웨이 노아의 방주 연구소가 개발했다. 체크포인트는 무료로 내려받아 실행할 수 있는 오픈소스 언어 모델이며, Dream 7B 다운로드는 Hugging Face에서 한다. GPT-4와 Claude를 비롯한 대부분의 챗봇은 왼쪽에서 오른쪽으로 한 토큰씩 글을 쓴다. Dream 7B는 다르다. 완전히 노이즈가 낀 시퀀스에서 시작해 여러 단계에 걸쳐 문장 전체를 병렬로 다듬는다. 그래서 모든 위치가 한 번에 전체 문맥을 볼 수 있다.

이 설계는 두 곳에서 효과를 낸다. 일반 글쓰기와 수학, 코딩에서는 Qwen2.5 7B와 LLaMA3 8B 같은 같은 크기의 강력한 자기회귀 모델과 맞먹거나 앞선다. Countdown과 스도쿠 같은 계획 퍼즐에서는 그런 모델을 앞지르고, 파라미터가 훨씬 많은 DeepSeek V3를 넘어서기도 한다. 문단의 빈칸을 채우거나 마지막 문장을 특정 문장으로 고정하는 인필링도 지원한다.

문제는 이것이 연구 공개물이지 잘 다듬어진 앱이 아니라는 점이다. 호스팅 챗봇도, 가중치의 상업용 라이선스도, 팀이 제공하는 API도 없다. 직접 돌리려면 Dream 7B 다운로드가 첫 걸음이고, 20GB 이상 메모리를 갖춘 GPU가 필요하다.

시작하기

1. 필요한 라이브러리를 설치한다. transformers 4.46.2와 torch 2.5.1을 쓴다. Dream이 torch에 내장된 SdpaAttention에 의존하기 때문이다.
2. Hugging Face에서 체크포인트를 내려받는다. 미세 조정에는 Dream-v0-Base-7B, 대화에는 Dream-v0-Instruct-7B를 고른다.
3. AutoModel과 AutoTokenizer 클래스로 모델을 불러오고, trust_remote_code를 켠 뒤 CUDA 장치로 옮긴다.
4. 프롬프트와 함께 model.diffusion_generate를 호출한다. steps를 바꿔 속도와 품질을 조절한다.
5. 미세 조정을 하려면 저장소를 복제하고, GPU 8장짜리 단일 노드에서 SFT 스크립트를 돌린다.