IonRouter

Tout langage ou framework qui parle déjà à l'API OpenAI peut parler à IonRouter : vous pointez votre client existant vers une nouvelle URL de base, vous y mettez une clé fraîche et vous voyez les mêmes appels continuer de fonctionner sans réécriture. Aucun SDK à apprendre, aucune gestion de requêtes à refaire. Pour les équipes déjà sur un modèle hébergé, c'est là toute la migration.

IonAttention est le stack d'inférence maison de Cumulus Labs. Il multiplexe les modèles sur un seul GPU, les échange en quelques millisecondes et s'ajuste au trafic quand il change. Selon l'entreprise, un seul GH200 avec Qwen2.5-7B atteint environ 7 167 tokens par seconde, contre près de 3 000 pour un fournisseur d'inférence de premier plan, ce que l'équipe présente comme la preuve que son moteur tire plus de travail du même silicium que la configuration hébergée habituelle. Prenez ce chiffre pour une donnée fournisseur. L'objectif de conception, lui, est réel : moins de matériel inactif, coût par token plus bas.

Vous payez au million de tokens plutôt qu'à l'heure réservée. Aucun frais pour garder un GPU chaud alors que rien ne tourne, et cette seule différence redessine la façon dont vous budgétez une fonctionnalité dont vous ne pouvez pas prévoir le trafic. Pour des charges qui explosent puis retombent, ce modèle de prix bat généralement une réservation fixe. Votre coût suit ce que vous servez réellement. Rien de plus.

Vous pouvez déployer vos propres finetunes, vos LoRA personnalisés ou n'importe quel modèle open source sur le parc, et chacun obtient son propre flux GPU avec facturation à la seconde au lieu d'une file partagée qui rend votre latence imprévisible. Cela compte si votre produit dépend d'un modèle ajusté à vos données et que vous ne voulez pas surveiller votre propre cluster.

Le catalogue couvre les modèles de langage, de vision, d'image, de vidéo et d'audio : vous pouvez choisir le moins cher qui franchit la barre pour une tâche donnée et réserver les poids lourds coûteux aux travaux qui en ont vraiment besoin. Les options haut de gamme incluent GLM-5 pour le raisonnement et le code, Kimi-K2.5 pour les documents longs et MiniMax-M2.5 avec un contexte d'un million de tokens. Des modèles plus petits et moins chers comme Qwen3-8B et GPT-OSS-120B traitent les tâches légères. Les prix vont de quelques centimes à quelques dollars par million de tokens selon le modèle.

IonRouter tourne sur des GPU NVIDIA Grace Hopper, et l'entreprise fait partie du programme NVIDIA Inception. Les flux dédiés évitent que votre trafic partage une file avec des inconnus d'une manière qui fait grimper votre latence. Les démarrages à froid en moins d'une seconde empêchent la première requête d'une session de faire patienter les utilisateurs.