IonRouter

Jede Sprache und jedes Framework, das bereits mit der OpenAI-API spricht, kann mit IonRouter sprechen. Sie richten Ihren bestehenden Client auf eine neue Basis-URL aus, setzen einen frischen Schlüssel ein und sehen dieselben Aufrufe weiterlaufen, ohne etwas neu zu schreiben. Kein neues SDK zu lernen, kein Neuaufbau Ihrer Anfrageverarbeitung. Für Teams, die bereits auf einem gehosteten Modell sind, ist das die gesamte Migration.

IonAttention ist der eigene Inferenz-Stack von Cumulus Labs. Er multiplexiert Modelle auf einer einzigen GPU, tauscht sie in Millisekunden aus und passt sich dem Verkehr an, wenn er sich ändert. Laut Unternehmen erreicht ein einzelner GH200 mit Qwen2.5-7B rund 7.167 Token pro Sekunde, gegenüber etwa 3.000 bei einem führenden Inferenzanbieter, was das Team als Beleg dafür darstellt, dass seine Engine mehr Arbeit aus demselben Silizium holt als das übliche Hosting-Setup. Nehmen Sie das als Anbieterangabe. Das Designziel ist real: weniger Leerlaufhardware, niedrigere Kosten pro Token.

Sie zahlen pro Million Token statt pro reservierter Stunde. Es gibt keine Gebühr dafür, eine GPU warm zu halten, während nichts läuft, und genau dieser Unterschied verändert, wie Sie eine Funktion budgetieren, deren Verkehr Sie nicht vorhersagen können. Für Workloads, die aufbrausen und dann verstummen, schlägt diese Preisform meist eine feste Reservierung. Ihre Kosten skalieren mit dem, was Sie tatsächlich ausliefern. Mehr nicht.

Sie können eigene Finetunes, eigene LoRAs oder jedes Open-Source-Modell im Park bereitstellen, und jedes erhält seinen eigenen dedizierten GPU-Stream mit sekundengenauer Abrechnung statt einer gemeinsamen Warteschlange, die Ihre Latenz unvorhersehbar macht. Das zählt, wenn Ihr Produkt von einem auf Ihre Daten abgestimmten Modell abhängt und Sie Ihren eigenen Cluster nicht betreuen wollen.

Der Katalog umfasst Sprach-, Vision-, Bild-, Video- und Audiomodelle, sodass Sie das günstigste Modell wählen können, das die Hürde einer Aufgabe nimmt, und die teuren Schwergewichte für Arbeiten reservieren, die sie wirklich brauchen. Zu den Flaggschiff-Optionen gehören GLM-5 für Reasoning und Code, Kimi-K2.5 für lange Dokumente und MiniMax-M2.5 mit einem Kontext von einer Million Token. Günstigere kleine Modelle wie Qwen3-8B und GPT-OSS-120B erledigen leichtere Aufgaben. Die Preise reichen je nach Modell von ein paar Cent bis ein paar Dollar pro Million Token.

IonRouter läuft auf NVIDIA-Grace-Hopper-GPUs, und das Unternehmen ist Teil des NVIDIA-Inception-Programms. Dedizierte Streams sorgen dafür, dass Ihr Verkehr nicht mit Fremden eine Warteschlange teilt, was Ihre Latenz in die Höhe treiben würde. Kaltstarts unter einer Sekunde verhindern, dass die erste Anfrage einer Sitzung Nutzer warten lässt.