Tensorfuse
Tensorfuse (Y Combinator W24, San Francisco) · Programación · Otro
Tensorfuse es una plataforma de GPU serverless que despliega, ajusta y escala modelos de IA dentro de tu propia cuenta de AWS, Azure o GCP, sin sacar los pesos ni los datos de tu VPC.
Acerca de Tensorfuse
What Is Tensorfuse
Tensorfuse es infraestructura para equipos que ya tienen un modelo y no quieren pelearse con Kubernetes para servirlo. Le indicas tu propia cuenta de nube. La herramienta monta un clúster de Kubernetes, un balanceador de carga y un escalador sobre tus instancias EC2, y luego te da un comando para desplegar.
El producto va de ahorrar trabajo operativo, no de conseguir silicio más barato. Tú sigues pagando las horas de GPU a tu proveedor de nube y Tensorfuse cobra por gestionarlas. Como el cómputo, los pesos y los datasets viven dentro de tu VPC, ni los prompts ni los checkpoints pasan por la cuenta de un tercero. Ese detalle decide muchas revisiones de seguridad en empresas.
La contrapartida es que no es un endpoint alojado. Hace falta una cuenta de nube con cuota de GPU, permisos para crear infraestructura y un Dockerfile de tu aplicación o modelo. Si lo que buscas es un endpoint funcionando en cinco minutos sin cuenta de nube, un proveedor alojado te lleva antes. Tampoco publica tarifas, así que prepárate para hablar con ventas antes de comparar cifras.
Getting Started
- Crea un clúster. Inicia sesión, elige tu proveedor de nube, concede los permisos IAM que Tensorfuse enumera y espera mientras aprovisiona. Este paso ronda los 25 a 30 minutos.
- Instala la CLI de Tensorkube, otros 5 a 10 minutos, y sincroniza tu entorno local con el clúster.
- Empaqueta lo que quieras ejecutar. Una app FastAPI o un servidor de inferencia van en un Dockerfile, con archivos de entorno para secretos y ajustes del modelo.
- Despliega con la CLI, define tus réplicas mínimas y máximas y consulta el estado hasta que el endpoint responda bien.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de Tensorfuse.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Ingenieros de ML en startups semilla y Serie A
- Equipos de plataforma en sectores regulados
- Desarrolladores independientes que ya pagan AWS
Tareas
- Servir un LLM de pesos abiertos
- Ajustar modelos con datos privados
- Trabajo por lotes como embeddings, evaluaciones y etiquetado
- Alojar muchos adaptadores por cliente
Casos de uso
- Sustituir un endpoint de SageMaker que se ralentiza cuando sube el tráfico
- Aprovechar el gasto comprometido en AWS
- Pasar un cuestionario de seguridad corporativo
Funciones clave
Inferencia serverless dentro de tu VPC
Los despliegues escalan con el tráfico que llega y bajan cuando paran las peticiones. Tú aportas el contenedor, sea vLLM, SGLang, TensorRT-LLM o NVIDIA Dynamo, y Tensorfuse se encarga del clúster, del balanceador y de las reglas de escalado. El endpoint se comporta como las APIs alojadas que tu app ya usa, así que cambiar de proveedor no obliga a reescribir código.
Arranques en frío rápidos para contenedores pesados
El arranque en frío es donde casi todo el GPU serverless queda en evidencia. Tensorfuse incluye un runtime de contenedores pensado para imágenes de GPU de varios gigabytes, y la empresa asegura que las levanta en segundos. Para ti, eso separa un scale-to-zero usable de uno que devuelve timeouts en la primera petición tras un rato sin tráfico.
Varios LoRA en una sola GPU
Puedes entrenar e intercambiar miles de adaptadores LoRA en una GPU. En vez de pagar un endpoint por cliente o por tarea, sirves un modelo base y cargas el adaptador que toca en cada petición. Los equipos que personalizan por cliente sacan aquí casi todo el partido, porque el número de adaptadores deja de marcar el número de GPUs.
Fine-tuning gestionado con tus propias librerías
El ajuste corre en GPUs de tu nube, con Axolotl, Unsloth, librerías de Hugging Face o un bucle propio. Los datasets y los pesos resultantes se quedan en tu bucket S3 privado. Nada te obliga a un formato de entrenamiento propietario, así que un experimento probado en un portátil se traslada con los mismos scripts.
Colas de trabajos para cargas por lotes
Trabajos largos como evaluaciones, rellenos de datos y etiquetado no necesitan un endpoint encendido todo el día. Los encolas por código, fijas el mínimo y el máximo de réplicas para controlar el gasto y consultas el estado con un comando. Las GPUs aparecen para la ejecución y desaparecen después, que es justo la gracia de pagar por hora.
Contenedores de desarrollo sincronizados con tu IDE
Conectas el código local a GPUs en la nube sin SSH. Sigues trabajando en tu editor y los cambios se reflejan en el contenedor al instante. Es la vía más corta para probar un cambio del modelo sobre hardware real antes de lanzar un despliegue completo.
Ventajas y desventajas
Ventajas
- Los pesos, los datasets y los prompts se quedan en tu cuenta de nube, el argumento más sólido ante una revisión de seguridad.
- Las horas de GPU entran en tu factura de AWS, así que se aplican el gasto comprometido, los créditos y los descuentos empresariales.
- Cualquier contenedor encaja: vLLM, SGLang, TensorRT-LLM y servicios FastAPI propios siguen el mismo flujo de despliegue.
- El clúster queda listo en menos de una hora y las reglas de escalado vienen configuradas, sin montarlas a mano.
- El servicio multi-LoRA abarata los adaptadores por cliente, porque miles comparten una GPU.
Desventajas
- Necesitas permisos de administrador en la nube y cuota de GPU antes del primer despliegue, lo que descarta a equipos sin experiencia en infraestructura.
- La factura de GPU sigue viniendo de tu proveedor, así que las réplicas mínimas inactivas cuestan dinero hasta que ajustas el número.
- No hay lista de precios pública. Comparar Tensorfuse con un proveedor de GPU alojado implica primero una conversación con ventas.
- Azure y GCP tienen mucha menos documentación que AWS, así que los equipos multicloud se topan con más prueba y error.
Preguntas frecuentes
Instala y opera una pila de GPU serverless en tu propia cuenta de nube. Le entregas un contenedor, crea el clúster, el balanceador y el escalador, y tu modelo queda detrás de un endpoint HTTP que escala con el tráfico.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con Tensorfuse.
Alternativas a Tensorfuse
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.