Substrate AI Inference Platform

Sie beschrieben ein Programm als Knoten mit Abhängigkeiten, nicht als Folge von HTTP-Aufrufen. Substrate las zuerst den gesamten Graphen und startete unabhängige Zweige gleichzeitig. Bei einer Aufgabe mit drei parallelen Textgenerierungen und einem Zusammenführungsschritt wartete dieser Schritt auf den langsamsten Zweig, statt alles nacheinander abzuarbeiten. Das war mit Multi-Inferenz gemeint: eine Anfrage, viele Modellaufrufe, ein Ergebnis.

Die Plattform lieferte fertige Knoten, damit niemand zum Start ein Modell selbst hosten musste. Textgenerierung, JSON-Extraktion mit typisierten Feldern, Bilderzeugung, Spracherkennung und Embeddings liefen über denselben Client. Ein übliches Muster: mit einem Textknoten entwerfen, die Ausgabe in ein JSON-Schema zwingen und das Ergebnis speichern, alles in einem Lauf und ohne Daten zwischen Anbietern zu verschieben.

Zwei Knoten, einer für Python und einer für JavaScript, führten gewöhnlichen Code neben den Modellaufrufen aus. Das deckte ab, worin Modelle schwach sind: eine CSV lesen, einen internen Endpoint aufrufen, eine Nutzlast umbauen. Weil der Code-Knoten im selben Cluster lief wie die Modellknoten, ließen sich große Zwischenobjekte weitergeben, ohne sie über den eigenen Server zu serialisieren.

Substrate versprach, dass jeder Knoten eines Programms im selben Cluster lief. Praktisch bedeutete das weniger Hin und Her und keine Ausgangskosten, wenn eine Transkription vom Audio- zum Textknoten wanderte. Auch die Latenz wurde auf langen Ketten berechenbarer, weil jeder Sprung ein lokaler Aufruf war und keine Anfrage über das offene Internet.

Das Python-SDK und das TypeScript-SDK waren die Hauptschnittstelle. Mit beiden bauten Sie Knoten als Objekte, verketteten sie, indem Sie einen als Eingabe des nächsten übergaben, und sahen sich den Lauf danach an. Ben Guo verbrachte acht Jahre mit API- und SDK-Design bei Stripe, und das merkt man an der Ergonomie: typisierte Eingaben, kurze Methodennamen und ein Lauf-Objekt, das jeden Zwischenwert für Wiederholungen hält.

Modellaufrufe, eigener Code und gespeicherte Ergebnisse liefen auf eine einzige Nutzungsrechnung. Für ein kleines Team war das der Unterschied zwischen einer Rechnung zum Abgleichen und vier, und es entfielen Vorabkäufe bei jedem Modellanbieter einzeln. Abgerechnet wurde pro Knoten, Sie sahen also, welcher Schritt im Graphen das Budget frisst.