Soup CLI

L'idée centrale est qu'un seul fichier YAML décrit toute la tâche. Vous lancez soup init pour générer une configuration de départ, modifiez quelques champs, puis lancez soup train. Soup lit la configuration, vérifie votre GPU et choisit une taille de lots et une quantification adaptées. Pour qui a déjà maintenu un dossier de scripts d'entraînement en shell, c'est là tout l'attrait : la configuration fait office de documentation.

Le streaming de couches est la fonction qui attire le plus l'attention. Au lieu de charger tout le modèle de base figé dans la VRAM, Soup le garde hors mémoire et alimente le GPU une couche de décodeur à la fois. Sur une RTX 3050 Laptop avec 4 Go, le projet rapporte un modèle 8B tournant à 3,32 Go de mémoire de pointe. Un résultat énorme. Le hic, c'est que c'est optionnel et encore en BETA, et les chiffres de débit viennent d'une version ancienne précise, donc prenez la vitesse comme un plancher, pas comme une promesse.

Soup ne s'arrête pas à l'entraînement. Il dérive des évaluations de votre configuration et filtre les checkpoints en fonction d'elles, donc une exécution qui régresse est signalée au lieu d'être sauvegardée en silence. Pour les équipes qui entraînent souvent, cela compte plus que la vitesse brute. Vous voulez un pipeline qui vous prévient quand un checkpoint est pire que le précédent.

La commande soup serve transforme un modèle entraîné en service d'API en une seule commande. Elle expose les endpoints standards /v1/chat/completions, /v1/models et /health, prend en charge les réponses en streaming, et peut basculer vers des backends vLLM ou SGLang pour un débit plus élevé. Les adaptateurs LoRA peuvent être servis directement, le modèle de base étant résolu depuis la configuration de l'adaptateur, donc vous n'avez pas à fusionner les poids à la main au préalable.

Tout est conçu pour tourner sur du matériel que vous possédez déjà. Aucun cloud requis. Pas de compte obligatoire, pas de tableau de bord hébergé, et aucune donnée ne quitte votre machine sauf si vous le configurez. Pour les équipes qui traitent des données sensibles, c'est souvent le facteur décisif face à un service d'entraînement géré.

L'installation légère de soup-cli inclut tout de même soup data ... et des commandes d'inspection qui fonctionnent sans PyTorch. Cela veut dire que vous pouvez nettoyer et inspecter votre jeu de données sur une machine sans aucun GPU. Préparez maintenant, entraînez plus tard.