Tensorfuse
Tensorfuse (Y Combinator W24, San Francisco) · Programmation · Autres
Tensorfuse est une plateforme de GPU serverless qui déploie, ajuste et met à l'échelle des modèles d'IA dans votre propre compte AWS, Azure ou GCP, sans sortir les poids ni les données de votre VPC.
À propos de Tensorfuse
What Is Tensorfuse
Tensorfuse est une brique d'infrastructure pour les équipes qui ont déjà un modèle et ne veulent pas entretenir Kubernetes pour le servir. Vous lui indiquez votre propre compte cloud. L'outil monte un cluster Kubernetes, un répartiteur de charge et un autoscaler sur vos instances EC2, puis vous donne une commande de déploiement.
Le bénéfice tient à l'exploitation, pas au prix du matériel. Les heures de GPU restent sur votre facture cloud, et Tensorfuse facture leur gestion. Comme le calcul, les poids et les jeux de données restent dans votre VPC, ni les prompts ni les checkpoints ne transitent par le compte d'un tiers. Ce point tranche bon nombre d'audits de sécurité en entreprise.
La limite, c'est qu'il ne s'agit pas d'un endpoint hébergé. Il faut un compte cloud avec du quota GPU, les droits pour créer de l'infrastructure et un Dockerfile pour votre application ou votre modèle. Pour un endpoint opérationnel en cinq minutes sans compte cloud, un fournisseur hébergé ira plus vite. Aucune grille tarifaire n'est publiée non plus, attendez-vous donc à un échange avec le commerce avant de comparer des chiffres.
Getting Started
- Créez un cluster. Connectez-vous, choisissez votre fournisseur cloud, accordez les permissions IAM listées par Tensorfuse et laissez le provisionnement se faire. Comptez 25 à 30 minutes.
- Installez la CLI Tensorkube, 5 à 10 minutes de plus, puis synchronisez votre environnement local avec le cluster.
- Empaquetez ce que vous voulez exécuter. Une application FastAPI ou un serveur d'inférence tient dans un Dockerfile, avec des fichiers d'environnement pour les secrets et les réglages du modèle.
- Déployez avec la CLI, fixez vos réplicas minimum et maximum, puis suivez l'état jusqu'à ce que l'endpoint réponde correctement.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de Tensorfuse.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Ingénieurs ML en startup d'amorçage ou Série A
- Équipes plateforme en secteur régulé
- Développeurs indépendants qui paient déjà AWS
Tâches
- Servir un LLM à poids ouverts
- Ajuster un modèle sur des données privées
- Traitements par lots type embeddings, évaluations et annotation
- Héberger de nombreux adaptateurs par client
Cas d'usage
- Remplacer un endpoint SageMaker qui ralentit quand le trafic monte
- Consommer un engagement AWS déjà payé
- Répondre à un questionnaire sécurité d'entreprise
Fonctionnalités clés
Inférence serverless dans votre VPC
Les déploiements montent en charge avec le trafic et redescendent quand les requêtes s'arrêtent. Vous apportez le conteneur, vLLM, SGLang, TensorRT-LLM ou NVIDIA Dynamo, et Tensorfuse gère le cluster, le répartiteur et les règles de mise à l'échelle. L'endpoint se comporte comme les API hébergées que votre application appelle déjà, donc changer de fournisseur n'impose pas de réécrire le code.
Démarrage à froid rapide pour conteneurs lourds
Le démarrage à froid est le point où la plupart des offres GPU serverless déçoivent. Tensorfuse embarque un runtime de conteneurs conçu pour les images GPU de plusieurs gigaoctets, et l'entreprise annonce un lancement en quelques secondes. Concrètement, cela fait la différence entre un scale-to-zero utilisable et un scale-to-zero qui renvoie des timeouts à la première requête après une période creuse.
Plusieurs LoRA sur un seul GPU
Vous pouvez entraîner et permuter des milliers d'adaptateurs LoRA sur un GPU. Au lieu de payer un endpoint par client ou par tâche, vous servez un modèle de base et chargez le bon adaptateur à chaque requête. Les équipes qui personnalisent par client en profitent le plus, puisque le nombre d'adaptateurs cesse de dicter le nombre de GPU.
Fine-tuning géré avec vos propres bibliothèques
L'ajustement tourne sur les GPU de votre cloud, avec Axolotl, Unsloth, les bibliothèques Hugging Face ou une boucle maison. Jeux de données et poids finaux restent dans votre bucket S3 privé. Rien n'impose un format d'entraînement propriétaire, une expérience testée sur un portable se transpose donc avec les mêmes scripts.
Files de tâches pour les charges par lots
Les travaux longs comme les évaluations, les reprises de données et l'annotation n'ont pas besoin d'un endpoint allumé en permanence. Vous les mettez en file par code, réglez le minimum et le maximum de réplicas pour maîtriser le coût, et suivez l'état d'une commande. Les GPU apparaissent pour l'exécution et disparaissent après, ce qui justifie le paiement à l'heure.
Conteneurs de développement synchronisés avec votre IDE
Vous reliez le code local à des GPU dans le cloud sans SSH. Vous continuez dans votre éditeur et les modifications arrivent dans le conteneur en temps réel. C'est le chemin le plus court pour tester une modification du modèle sur du matériel réel avant un déploiement complet.
Avantages et inconvénients
Avantages
- Poids, jeux de données et prompts restent dans votre compte cloud, l'argument le plus solide face à une revue de sécurité.
- Les heures de GPU arrivent sur votre facture AWS, donc engagement, crédits et remises entreprise s'appliquent.
- N'importe quel conteneur convient : vLLM, SGLang, TensorRT-LLM et vos services FastAPI suivent le même flux de déploiement.
- Le cluster est prêt en moins d'une heure et les règles de mise à l'échelle sont déjà réglées, sans montage manuel.
- Le service multi-LoRA réduit le coût des adaptateurs par client, des milliers partageant un seul GPU.
Inconvénients
- Il faut des droits d'administration cloud et du quota GPU avant le premier déploiement, ce qui exclut les équipes sans expérience infra.
- La facture GPU vient toujours de votre fournisseur cloud, les réplicas minimum inactifs coûtent donc de l'argent tant que vous ne les ajustez pas.
- Aucune grille tarifaire publique. Comparer Tensorfuse à un fournisseur GPU hébergé suppose d'abord un échange commercial.
- Azure et GCP sont bien moins documentés qu'AWS, les équipes multicloud feront donc davantage d'essais et d'erreurs.
Questions fréquentes
Il installe et exploite une pile GPU serverless dans votre propre compte cloud. Vous fournissez un conteneur, il crée le cluster, le répartiteur et l'autoscaler, et votre modèle répond derrière un endpoint HTTP qui suit le trafic.
Contenus associés
Découvrez des outils, des compétences et des articles liés à Tensorfuse.
Alternatives à Tensorfuse
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.