Tensorfuse
Tensorfuse (Y Combinator W24, San Francisco) · Coding · Sonstiges
Tensorfuse ist eine Serverless-GPU-Plattform, die KI-Modelle im eigenen AWS-, Azure- oder GCP-Konto bereitstellt, feinjustiert und skaliert, ohne Gewichte oder Daten aus Ihrer VPC zu holen.
Über Tensorfuse
What Is Tensorfuse
Tensorfuse ist Infrastruktur für Teams, die bereits ein Modell haben und es nicht selbst über Kubernetes ausliefern wollen. Sie zeigen dem Werkzeug Ihr eigenes Cloud-Konto. Es baut einen Kubernetes-Cluster, einen Load Balancer und einen Autoscaler auf Ihren EC2-Instanzen auf und gibt Ihnen danach einen Deploy-Befehl.
Der Nutzen liegt im Betrieb, nicht in billigerer Hardware. Die GPU-Stunden zahlen Sie weiter an Ihren Cloud-Anbieter, Tensorfuse rechnet die Verwaltung davon ab. Weil Rechenleistung, Modellgewichte und Datensätze in Ihrer VPC bleiben, laufen weder Prompts noch Checkpoints über ein Fremdkonto. Genau dieser Punkt entscheidet viele Security-Reviews in Unternehmen.
Die Einschränkung: ein gehosteter Endpoint ist es nicht. Sie brauchen ein Cloud-Konto mit GPU-Kontingent, Rechte zum Anlegen von Infrastruktur und ein Dockerfile für Ihre Anwendung oder Ihr Modell. Wer in fünf Minuten einen laufenden Endpoint ohne Cloud-Konto will, ist bei einem Hosting-Anbieter schneller. Eine öffentliche Preisliste gibt es außerdem nicht, ein Gespräch mit dem Vertrieb kommt vor jedem Zahlenvergleich.
Getting Started
- Cluster anlegen. Einloggen, Cloud-Anbieter wählen, die aufgeführten IAM-Rechte erteilen und die Einrichtung abwarten. Dieser Schritt dauert etwa 25 bis 30 Minuten.
- Die Tensorkube-CLI installieren, weitere 5 bis 10 Minuten, und die lokale Umgebung mit dem Cluster synchronisieren.
- Verpacken, was laufen soll. Eine FastAPI-App oder ein Inferenzserver kommt in ein Dockerfile, Secrets und Modelleinstellungen in Env-Dateien.
- Mit der CLI deployen, minimale und maximale Replicas festlegen und den Status prüfen, bis der Endpoint sauber antwortet.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von Tensorfuse.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- ML-Engineers in Seed- und Series-A-Startups
- Plattformteams in regulierten Branchen
- Einzelentwickler, die AWS ohnehin zahlen
Aufgaben
- Ein Open-Weight-LLM ausliefern
- Modelle mit eigenen Daten abstimmen
- Batch-Arbeit wie Embeddings, Evaluierungen und Datenlabeling
- Viele kundenspezifische Adapter hosten
Szenarien
- Einen SageMaker-Endpoint ersetzen, der unter Last langsamer wird
- Zugesagtes AWS-Budget ausschöpfen
- Einen Sicherheitsfragebogen bestehen
Wichtigste Funktionen
Serverless-Inferenz in Ihrer eigenen VPC
Deployments wachsen mit dem eingehenden Traffic und fahren zurück, wenn keine Anfragen mehr kommen. Sie liefern den Container, ob vLLM, SGLang, TensorRT-LLM oder NVIDIA Dynamo, und Tensorfuse übernimmt Cluster, Load Balancer und Skalierungsregeln. Der Endpoint verhält sich wie die gehosteten APIs, die Ihre Anwendung schon aufruft, ein Anbieterwechsel verlangt also keinen Umbau.
Schneller Kaltstart für schwere Container
Am Kaltstart scheitern die meisten Serverless-GPU-Angebote. Tensorfuse bringt eine Container-Laufzeit mit, die auf mehrere Gigabyte große GPU-Images ausgelegt ist, und das Unternehmen nennt Startzeiten von Sekunden. Für Sie entscheidet das darüber, ob Scale-to-Zero brauchbar ist oder bei der ersten Anfrage nach einer Ruhephase Timeouts produziert.
Mehrere LoRA-Adapter auf einer GPU
Sie können Tausende LoRA-Adapter auf einem GPU trainieren und im Betrieb tauschen. Statt eines Endpoints pro Kunde oder Aufgabe servieren Sie ein Basismodell und laden pro Anfrage den passenden Adapter. Teams mit kundenspezifischer Anpassung profitieren am meisten, weil die Adapterzahl nicht mehr die GPU-Zahl bestimmt.
Verwaltetes Fine-Tuning mit Ihren eigenen Bibliotheken
Das Training läuft auf GPUs in Ihrer Cloud, mit Axolotl, Unsloth, Hugging-Face-Bibliotheken oder einer eigenen Schleife. Datensätze und fertige Gewichte bleiben in Ihrem privaten S3-Bucket. Ein proprietäres Trainingsformat ist nicht vorgeschrieben, ein auf dem Laptop getestetes Experiment zieht also mit denselben Skripten um.
Job-Queues für Batch-Workloads
Lange Aufgaben wie Evaluierungen, Datenbackfills und Labeling brauchen keinen dauerhaft laufenden Endpoint. Sie stellen sie per Code in die Queue, setzen Minimum und Maximum an Replicas zur Kostenkontrolle und prüfen den Status mit einem Befehl. GPUs erscheinen für den Lauf und verschwinden danach, was der Sinn stundenweiser Abrechnung ist.
Dev-Container mit IDE-Synchronisierung
Sie verbinden lokalen Code ohne SSH mit GPUs in der Cloud. Sie arbeiten im Editor weiter, Änderungen landen sofort im laufenden Container. Das ist der kürzeste Weg, eine Modelländerung auf echter Hardware zu testen, bevor Sie ein vollständiges Deployment starten.
Vor- und Nachteile
Vorteile
- Modellgewichte, Datensätze und Prompts bleiben im eigenen Cloud-Konto, das stärkste Argument gegenüber einem Security-Review.
- GPU-Stunden laufen auf Ihre bestehende AWS-Rechnung, zugesagtes Budget, Credits und Enterprise-Rabatte greifen also.
- Jeder Container passt: vLLM, SGLang, TensorRT-LLM und eigene FastAPI-Dienste nutzen denselben Deploy-Ablauf.
- Der Cluster steht in unter einer Stunde, und die Skalierungsregeln sind vorkonfiguriert statt selbst gebaut.
- Multi-LoRA macht kundenspezifische Adapter günstig, weil Tausende sich eine GPU teilen.
Nachteile
- Vor dem ersten Deployment brauchen Sie Adminrechte in der Cloud und ein GPU-Kontingent, Teams ohne Infrastrukturerfahrung fallen damit raus.
- Die GPU-Rechnung kommt weiter von Ihrem Cloud-Anbieter, ungenutzte minimale Replicas kosten also still Geld, bis Sie die Zahl anpassen.
- Eine öffentliche Preisliste fehlt. Der Vergleich mit einem gehosteten GPU-Anbieter beginnt mit einem Vertriebsgespräch.
- Azure und GCP sind deutlich schlechter dokumentiert als AWS, Multicloud-Teams brauchen beim ersten Deployment mehr Ausprobieren.
Häufige Fragen
Es installiert und betreibt einen Serverless-GPU-Stack in Ihrem eigenen Cloud-Konto. Sie liefern einen Container, es erstellt Cluster, Load Balancer und Autoscaler, und Ihr Modell antwortet hinter einem HTTP-Endpoint, der mit dem Traffic skaliert.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu Tensorfuse.
Alternativen zu Tensorfuse
Forefront
Forefront · CodingForefront ist eine Webplattform zum Bauen mit Open-Source-KI. Sie lassen sich führende Open-Source-Sprachmodelle mit eigenen Daten feintunen, ihre Leistung bewerten und sie über eine API ausführen oder exportieren, um sie selbst zu hosten. Entwickler, die den Komfort einer geschlossenen Plattform wollen, aber darauf bestehen, ihre Modelle und Daten zu besitzen, sind hier die Zielgruppe.
Startkit
StartKit.AI · CodingStartkit ist ein Boilerplate zum Bauen von KI-SaaS-Produkten und KI-Wrappern. Man kann es sich als KI-Startup-Boilerplate vorstellen, bei dem die langweiligen Teile schon verdrahtet sind: Authentifizierung, Zahlungen über Stripe und Lemon Squeezy, Nutzungslimits, transaktionale E-Mail und ein KI-API-Starter-Kit, das mit OpenAI, Anthropic, Groq oder Llama spricht. Man klont das Repository, setzt seinen Preis und kümmert sich um den Teil des Produkts, für den Menschen wirklich bezahlen. Es basiert auf Next.js über React und Tailwind, deshalb fühlt sich ein Großteil des Boilerplate-Codes schon vertraut an.
Testim
Tricentis · CodingTestim ist eine KI-gestützte Plattform für Testautomatisierung, mit der man End-to-End-Tests für Web-, Mobile- und Salesforce-Anwendungen baut und ausführt. Sie setzt auf maschinelles Lernen, um Tests stabil zu halten, wenn sich eine Oberfläche ändert, sodass Teams weniger Zeit mit der Reparatur kaputter Selektoren verbringen. Nicht schlecht für ein Tool für automatisierte Tests, das Sie heute schon nutzen können. Sie erstellen Tests, indem Sie Aktionen im Browser aufzeichnen, und fügen danach JavaScript hinzu, wenn Sie mehr Kontrolle brauchen. Für ein beschäftigtes QA-Team eine solide Wahl.