Parallax by Gradient

Parallax est un framework open source de cluster IA distribué, créé par Gradient. Il répartit un grand modèle de langage sur plusieurs machines et exécute l'inférence sur toutes en même temps, si bien qu'un ordinateur portable, un bureau équipé d'un GPU et un petit serveur de l'autre côté de votre réseau domestique agissent comme une seule machine plus grande. Le tout parle un protocole pair à pair, ce qui signifie qu'aucun serveur central n'a besoin de rester en ligne. Voilà la promesse.

Le problème qu'il résout est simple à énoncer et pénible à vivre. Faire tourner un LLM performant suppose en général soit de payer au token auprès d'un fournisseur cloud, soit d'acheter un GPU très coûteux capable d'accueillir le modèle entier. Parallax emprunte une troisième voie. Il découpe le modèle couche par couche et fait circuler les requêtes sur le matériel dont vous disposez, si bien que vous tirez davantage des appareils déjà posés sur votre bureau. Vos prompts et vos résultats restent sur vos propres machines, ce qui compte si vous traitez des éléments que vous préférez ne pas confier à un tiers.

La principale limite, c'est qu'il s'agit d'un outil de développeur, pas d'une application à installer en un clic. Il faut être à l'aise avec le terminal et, sous Linux, vous pouvez vous attendre à toucher à Docker ou à configurer des pilotes GPU. Le projet est jeune. La version 0.0.1 est arrivée en octobre 2025, donc des aspérités sont à prévoir et la prise en charge des modèles évolue sans cesse. Si vous voulez quelque chose qui fonctionne dès la sortie de la boîte, sans aucune configuration, une API hébergée vous traitera mieux.

Premiers pas

1. Installez le client en clonant le dépôt et en exécutant ./install.sh, qui prépare un environnement virtuel Python et compile les binaires nécessaires. Les utilisateurs de Windows peuvent récupérer un installateur autonome.
2. Activez l'environnement avec source .venv/bin/activate et vérifiez que les extras de votre matériel ont bien été détectés, car les builds GPU pour macOS et Linux installent des composants backend différents.
3. Démarrez le nœud local avec une commande comme parallax serve -m Qwen/Qwen3.5-0.8B, en choisissant un modèle qui tient dans votre mémoire combinée.
4. Rejoignez d'autres machines au même cluster pour que les fragments du modèle couvrent chaque appareil ajouté.
5. Pointez votre application ou votre script vers l'endpoint local et envoyez des requêtes comme vous le feriez vers n'importe quelle API compatible OpenAI.