Dream 7B
HKU NLP Group and Huawei Noah's Ark Lab · Entreprise · Autres
Dream 7B est un modèle de langage à diffusion ouvert et gratuit, développé par HKU et Huawei. Il rédige des passages entiers en parallèle plutôt que mot après mot et planifie des tâches complexes mieux que les modèles de même taille.
À propos de Dream 7B
About
Qu'est-ce que Dream 7B
Dream 7B, aussi appelé Dream LLM, est un modèle de langage à diffusion et un modèle de diffusion de texte de 7 milliards de paramètres développé par l'Université de Hong Kong et le laboratoire Noah's Ark de Huawei. La plupart des chatbots, GPT-4 et Claude compris, écrivent de gauche à droite, un token après l'autre. Dream 7B fonctionne autrement. Il part d'une séquence entièrement bruitée et affine le texte complet en parallèle sur plusieurs étapes, si bien que chaque position voit tout le contexte d'un coup.
Ce choix porte ses fruits sur deux terrains. En rédaction générale, en mathématiques et en code, Dream 7B égale ou dépasse de bons modèles autorégressifs de même taille, comme Qwen2.5 7B et LLaMA3 8B. Sur les casse-têtes de planification comme Countdown et Sudoku, il devance ces modèles et surpasse parfois même DeepSeek V3, un modèle bien plus gros. Il gère aussi le remplissage, donc vous pouvez lui demander de combler un trou dans un paragraphe ou de respecter une phrase finale précise.
Le revers, c'est qu'il s'agit d'une sortie de recherche, pas d'une application soignée. Pas de chatbot hébergé, pas de licence commerciale pour les poids, pas d'API fournie par l'équipe. Il s'agit d'un modèle de langage open source que vous hébergez vous-même : télécharger Dream 7B depuis Hugging Face est le premier pas, et il vous faut une carte graphique d'au moins 20 Go de mémoire pour démarrer.
Pour commencer
- Installez les bonnes bibliothèques : transformers 4.46.2 et torch 2.5.1, car Dream repose sur SdpaAttention intégré à torch.
- Téléchargez un checkpoint sur Hugging Face, Dream-v0-Base-7B pour l'affinage ou Dream-v0-Instruct-7B pour dialoguer.
- Chargez le modèle avec les classes AutoModel et AutoTokenizer, en activant trust_remote_code, puis placez-le sur un périphérique CUDA.
- Appelez model.diffusion_generate avec votre invite et réglez steps pour arbitrer entre vitesse et qualité.
- Pour l'affinage, clonez le dépôt et lancez le script SFT sur un nœud équipé de 8 GPU.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Dream 7B.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Chercheurs en IA
- Développeurs qui testent des modèles non autorégressifs
- Étudiants curieux des modèles de langage à diffusion
Tâches
- Remplissage de texte
- Casse-têtes de planification à fortes contraintes
- Affinage pour un domaine précis
Cas d'usage
- Tester un modèle de langage à diffusion sans payer un service commercial
- Explorer une alternative à la génération de gauche à droite
- Monter un assistant de code ou de maths avec un petit budget
Fonctionnalités clés
Génération de texte en parallèle
Dream 7B écrit plusieurs tokens par étape au lieu d'un seul. La séquence démarre entièrement masquée puis se raffine en parallèle, si bien que le modèle s'appuie sur tout le contexte à chaque passe. C'est la différence de fond avec les modèles autorégressifs, et la raison de sa bonne planification.
Tâches de planification et de contraintes
Le modèle brille sur les problèmes à contraintes multiples. Sur Countdown et Sudoku, il dépasse Qwen2.5 7B et LLaMA3 8B et talonne parfois DeepSeek V3 malgré la taille bien supérieure de ce dernier. Selon l'équipe de HKU, la diffusion convient mieux aux problèmes à plusieurs objectifs et contraintes.
Remplissage et ordre libre
Vous n'êtes pas enfermé dans une sortie de gauche à droite. Dream 7B peut combler un trou entre un début donné et une phrase finale imposée, et générer dans l'ordre que vous choisissez. Pratique pour les tâches d'édition où vous gardez une ligne et réécrivez le milieu.
Compromis qualité-vitesse
Le nombre d'étapes de diffusion détermine le travail accordé à chaque réponse. Moins d'étapes donnent un texte plus rapide mais plus grossier, plus d'étapes relèvent la qualité à un coût plus élevé. Vous obtenez un réglage de vitesse que les modèles autorégressifs n'offrent pas, ajustable à chaque requête.
Poids ouverts et code d'entraînement
Les checkpoints base et instruct sont sur Hugging Face, et le code d'entraînement, d'évaluation et de SFT est sur GitHub. Vous pouvez affiner Dream 7B sur vos propres données au lieu de le louer. L'équipe a aussi publié Dream-Coder pour le code et DreamOn pour la génération de longueur variable.
Stratégies de remasking
L'appel diffusion_generate vous laisse choisir comment les tokens sont fixés. Vous pouvez tout tirer au hasard ou utiliser des stratégies fondées sur la confiance comme maskgit_plus, topk_margin ou entropy, et ajouter de la température pour varier. La qualité de l'inférence de modèle de langage dépend de ces choix, donc les stratégies de confiance comptent quand la précision est de mise.
Contexte de 2048 tokens et exécution sur une seule carte
Dream 7B affiche un contexte de 2048 tokens entre l'entrée et la sortie, assez pour la plupart des tâches à invite unique. Il tourne sur une carte d'au moins 20 Go de mémoire, donc il reste à portée d'une station de travail plutôt que d'un cluster.
Avantages et inconvénients
Avantages
- Poids ouverts et gratuits pour les modèles base et instruct, sans licence commerciale liée à une offre payante.
- Égale ou dépasse les modèles autorégressifs de même taille sur la rédaction générale, les maths et le code.
- Mène sur les tâches de planification comme Countdown et Sudoku, où il devance parfois des modèles bien plus gros.
- Le remplissage natif et la génération en ordre libre ouvrent des flux d'édition que les modèles de gauche à droite ne permettent pas.
- Les étapes de diffusion réglables offrent un vrai curseur vitesse contre qualité à chaque requête.
Inconvénients
- Pas de produit hébergé, vous devez donc l'exécuter vous-même avec une carte d'au moins 20 Go de mémoire.
- Le contexte de 2048 tokens est court, ce qui exclut les documents longs et les conversations étendues.
- L'équipe ne fournit aucune API, donc l'intégrer à une application suppose d'héberger le modèle et d'écrire vous-même le chemin d'inférence.
- La stratégie de décodage aléatoire par défaut peut faire chuter la précision, il faut donc régler le remasking pour un travail sérieux.
- Comme c'est une sortie de recherche, il manque le fini, les couches de sécurité et le support des modèles commerciaux.
Questions fréquentes
Oui. Les checkpoints base et instruct sont gratuits sur Hugging Face, et le code d'entraînement est ouvert sur GitHub. Aucune offre payante ni abonnement hébergé, mais vous financez votre propre matériel.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Dream 7B.
Alternatives à Dream 7B
Knocket
Knocket (Tencent RTC team) · Productivité · Entreprise · ChatbotKnocket est un outil gratuit de chat en direct et de page de contact : vos visiteurs écrivent depuis votre site, votre application ou un lien, et vous répondez depuis Telegram ou une seule boîte de réception.
shippedit.me
Krawlup · Marketing · Entrepriseshippedit.me renvoie désormais vers Krawlup, une plateforme web qui audite le SEO, l'AEO et la vitesse chaque semaine, puis transmet les correctifs aux agents de code via MCP.
Ayven
Alknoma · Productivité · EntrepriseAyven est un centre de contrôle IA d'Alknoma qui transforme un objectif formulé simplement en un plan daté, répartit les tâches entre vos collaborateurs et vos agents IA et ne sollicite votre approbation que lorsque la décision vous revient.