Dream 7B
HKU NLP Group and Huawei Noah's Ark Lab · Business · Sonstiges
Dream 7B ist ein offenes, kostenloses Diffusions-Sprachmodell von HKU und Huawei. Es schreibt ganze Absätze parallel statt Wort für Wort und plant komplexe Aufgaben besser als gleich große Modelle.
Über Dream 7B
About
Was ist Dream 7B
Dream 7B, auch Dream LLM genannt, ist ein Textdiffusionsmodell und Diffusions-Sprachmodell mit 7 Milliarden Parametern von der Universität Hongkong und dem Noah's Ark Lab von Huawei. Die meisten Chatbots, GPT-4 und Claude eingeschlossen, schreiben von links nach rechts, ein Token nach dem anderen. Dream 7B arbeitet anders. Es startet mit einer völlig verrauschten Sequenz und verfeinert den ganzen Text über mehrere Schritte parallel, sodass jede Position den vollen Kontext auf einmal sieht.
Das zahlt sich an zwei Stellen aus. Bei allgemeinem Schreiben, Mathematik und Code erreicht oder übertrifft Dream 7B starke autoregressive Modelle gleicher Größe wie Qwen2.5 7B und LLaMA3 8B. Bei Planungsrätseln wie Countdown und Sudoku zieht es an diesen Modellen vorbei und übertrifft mitunter sogar DeepSeek V3, ein Modell mit weit mehr Parametern. Auch Infilling beherrscht es, Sie können also eine Lücke in einem Absatz füllen lassen oder einen festen Schlusssatz vorgeben.
Der Haken: Es ist eine Forschungsveröffentlichung, keine ausgefeilte App. Es gibt keinen gehosteten Chatbot, keine kommerzielle Lizenz für die Gewichte und keine API vom Team. Als offenes Open-Source-Sprachmodell betreiben Sie es selbst: Dream 7B herunterladen von Hugging Face ist der erste Schritt, und Sie brauchen eine GPU mit mindestens 20 GB Speicher.
Erste Schritte
- Installieren Sie die passenden Bibliotheken: transformers 4.46.2 und torch 2.5.1, denn Dream nutzt das in torch eingebaute SdpaAttention.
- Laden Sie einen Checkpoint von Hugging Face, Dream-v0-Base-7B zum Feintuning oder Dream-v0-Instruct-7B für Dialoge.
- Laden Sie das Modell mit den Klassen AutoModel und AutoTokenizer, mit aktiviertem trust_remote_code, und verschieben Sie es auf ein CUDA-Gerät.
- Rufen Sie model.diffusion_generate mit Ihrem Prompt auf und stellen Sie steps ein, um zwischen Tempo und Qualität zu wählen.
- Für Feintuning klonen Sie das Repository und starten das SFT-Skript auf einem Knoten mit 8 GPUs.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Dream 7B.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- KI-Forschende
- Entwickler, die nicht-autoregressive Modelle testen
- Studierende, die Diffusions-Sprachmodelle verstehen wollen
Aufgaben
- Text-Infilling
- Planungsrätsel mit vielen Vorgaben
- Feintuning für eine Nische
Szenarien
- Ein Diffusions-Sprachmodell testen, ohne für einen kommerziellen Dienst zu zahlen
- Eine Alternative zur Links-nach-rechts-Generierung erforschen
- Einen Code- oder Mathe-Assistenten mit kleinem Budget bauen
Wichtigste Funktionen
Parallele Textgenerierung
Dream 7B schreibt viele Tokens pro Schritt statt eines einzigen. Die Sequenz startet vollständig maskiert und wird parallel verfeinert, das Modell nutzt also bei jedem Durchlauf den ganzen Kontext. Das ist der Kernunterschied zu autoregressiven Modellen und der Grund für seine gute Planung.
Planungs- und Vorgabenaufgaben
Das Modell glänzt bei Problemen mit mehreren Vorgaben zugleich. Bei Countdown und Sudoku schlägt es Qwen2.5 7B und LLaMA3 8B und reicht bisweilen an DeepSeek V3 heran, trotz dessen weit größerer Größe. Laut dem HKU-Team passt Diffusion besser zu Problemen mit mehreren Zielen und Einschränkungen.
Infilling und freie Reihenfolge
Sie sind nicht auf Ausgabe von links nach rechts festgelegt. Dream 7B füllt eine Lücke zwischen einem vorgegebenen Anfang und einem festen Schlusssatz und kann in der Reihenfolge Ihrer Wahl generieren. Das hilft bei Bearbeitungen, bei denen eine Zeile bleibt und die Mitte neu entsteht.
Abwägung zwischen Qualität und Tempo
Die Zahl der Diffusionsschritte bestimmt, wie viel Arbeit jede Antwort bekommt. Weniger Schritte liefern schnelleren, aber gröberen Text, mehr Schritte heben die Qualität zu höheren Kosten. So bekommen Sie einen Temporegler, den autoregressive Modelle nicht bieten, je Anfrage einstellbar.
Offene Gewichte und Trainingscode
Die Basis- und Instruct-Checkpoints liegen auf Hugging Face, der Trainings-, Evaluations- und SFT-Code auf GitHub. Sie können Dream 7B auf eigenen Daten feinjustieren, statt es zu mieten. Das Team hat zudem Dream-Coder für Code und DreamOn für variable Länge veröffentlicht.
Remasking-Strategien
Der Aufruf diffusion_generate lässt Sie wählen, wie Tokens festgelegt werden. Sie können rein zufällig vorgehen oder vertrauensbasierte Strategien wie maskgit_plus, topk_margin oder entropy nutzen und Temperatur für Vielfalt ergänzen. Die Qualität der Sprachmodell-Inferenz hängt von diesen Entscheidungen ab, die Vertrauensstrategien zählen also, wenn Genauigkeit gefragt ist.
2048-Token-Kontext und Betrieb auf einer GPU
Dream 7B hat einen Kontext von 2048 Tokens für Eingabe und Ausgabe, genug für die meisten Aufgaben mit einem Prompt. Es läuft auf einer GPU mit mindestens 20 GB Speicher und bleibt damit in Reichweite einer Workstation statt eines Clusters.
Vor- und Nachteile
Vorteile
- Freie, offene Gewichte für Basis- und Instruct-Modell, ohne kommerzielle Lizenz an einen bezahlten Tarif gebunden.
- Erreicht oder übertrifft gleich große autoregressive Modelle bei allgemeinem Schreiben, Mathematik und Code.
- Führt bei Planungsaufgaben wie Countdown und Sudoku und schlägt mitunter Modelle mit weit mehr Parametern.
- Natives Infilling und Generierung in freier Reihenfolge öffnen Bearbeitungsabläufe, die Links-nach-rechts-Modelle nicht bieten.
- Einstellbare Diffusionsschritte geben je Anfrage einen klaren Regler für Tempo gegen Qualität.
Nachteile
- Es gibt kein gehostetes Produkt, Sie müssen es selbst betreiben und eine GPU mit mindestens 20 GB stellen.
- Der Kontext von 2048 Tokens ist klein, lange Dokumente und ausgedehnte Gespräche fallen damit weg.
- Das Team bietet keine API, der Einbau in eine App bedeutet also, das Modell zu hosten und den Inferenzweg selbst zu schreiben.
- Die zufällige Standard-Decodierung kann die Genauigkeit senken, für ernsthafte Arbeit müssen Sie das Remasking justieren.
- Als Forschungsveröffentlichung fehlen ihm Schliff, Sicherheitsschichten und Support kommerzieller Modelle.
Häufige Fragen
Ja. Basis- und Instruct-Checkpoint sind auf Hugging Face gratis, der Trainingscode ist auf GitHub offen. Es gibt keinen bezahlten Tarif und kein gehostetes Abo, aber die eigene Hardware zahlen Sie selbst.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Dream 7B.
Alternativen zu Dream 7B
Knocket
Knocket (Tencent RTC team) · Produktivität · Business · ChatbotKnocket ist ein kostenloses Werkzeug für Live-Chat und Kontaktseite: Besucher schreiben über Ihre Website, Ihre App oder einen Link, und Sie antworten aus Telegram oder einem einzigen Posteingang.
shippedit.me
Krawlup · Marketing · Businessshippedit.me leitet inzwischen auf Krawlup um, eine Web-Plattform, die SEO, AEO und Ladezeit wöchentlich prüft und die Korrekturen per MCP an Coding-Agenten übergibt.
Ayven
Alknoma · Produktivität · BusinessAyven ist ein KI-Kontrollzentrum von Alknoma: Es macht aus einem einfach formulierten Ziel einen datierten Plan, verteilt die Aufgaben an Ihr Team und seine KI-Agenten und fragt nur dann nach Freigabe, wenn die Entscheidung bei Ihnen liegt.