Dream 7B

Dream 7Bとは

Dream 7Bは、Dream LLMと書かれることもある70億パラメータのテキスト拡散モデル（dLLM、拡散大規模言語モデルの略）であり、香港大学とファーウェイ・ノアの方舟研究所が開発したオープンソース言語モデルだ。チェックポイントは無料でダウンロードして動かせる。GPT-4やClaudeを含むほとんどのチャットボットは、左から右へ1トークンずつ文章を書く。Dream 7Bは違う。完全にノイズの乗った系列から始め、何ステップもかけて文章全体を並列に整えていく。そのため各位置が常に全体の文脈を見渡せる。

この設計は2つの場面で効いてくる。一般的な文章作成、数学、コーディングでは、Qwen2.5 7BやLLaMA3 8Bといった同規模の強力な自己回帰モデルと同等かそれを上回る。Countdownや数独のような計画パズルでは、そうしたモデルを引き離し、パラメータがはるかに多いDeepSeek V3を上回ることもある。段落の空欄を埋めたり、文末を特定の一文に固定したりするインフィリングにも対応する。

注意点は、これが研究リリースであり、磨き上げられたアプリではないことだ。ホスト型のチャットボットも、重みの商用ライセンスも、チーム提供のAPIもない。自分で動かすならDream 7B ダウンロードが最初の一歩で、20GB以上のメモリを積んだGPUが要る。

はじめかた

1. 必要なライブラリを入れる。transformers 4.46.2とtorch 2.5.1を使う。Dreamはtorchに内蔵されたSdpaAttentionに依存しているためだ。
2. Hugging Faceからチェックポイントを落とす。微調整ならDream-v0-Base-7B、対話ならDream-v0-Instruct-7Bを選ぶ。
3. AutoModelとAutoTokenizerクラスでモデルを読み込み、trust_remote_codeを有効にして、CUDAデバイスへ移す。
4. model.diffusion_generateをプロンプト付きで呼び出す。stepsを変えて速度と品質を調整する。
5. 微調整するならリポジトリを複製し、GPU8枚の単一ノードでSFTスクリプトを走らせる。