Tensorfuse

Os deploys escalam conforme o tráfego chega e recuam quando as requisições param. Você traz o contêiner, seja vLLM, SGLang, TensorRT-LLM ou NVIDIA Dynamo, e o Tensorfuse cuida do cluster, do balanceador e das regras de escala. O endpoint se comporta como as APIs hospedadas que sua aplicação já usa, então trocar de provedor não exige reescrever código.

O cold start é onde quase todo GPU serverless se complica. O Tensorfuse traz um runtime de contêiner feito para imagens de GPU de vários gigabytes, e a empresa afirma que consegue subi-las em segundos. Na prática, isso separa um scale-to-zero utilizável de outro que devolve timeout na primeira requisição depois de um período parado.

Dá para treinar e trocar milhares de adaptadores LoRA em uma GPU. Em vez de pagar um endpoint por cliente ou por tarefa, você serve um modelo base e carrega o adaptador certo em cada requisição. Equipes que personalizam por cliente tiram mais proveito, porque o número de adaptadores deixa de ditar o número de GPUs.

O ajuste roda em GPUs da sua nuvem, com Axolotl, Unsloth, bibliotecas do Hugging Face ou um loop próprio. Datasets e pesos finais ficam no seu bucket S3 privado. Nada obriga a um formato proprietário de treino, então um experimento testado no notebook migra com os mesmos scripts.

Trabalhos longos como avaliações, preenchimento de dados e rotulagem não precisam de endpoint ligado o dia todo. Você enfileira por código, define mínimo e máximo de réplicas para controlar custo e consulta o status em um comando. As GPUs aparecem para a execução e somem depois, que é o motivo de se pagar por hora.

Você liga o código local a GPUs na nuvem sem SSH. Continua no seu editor e as mudanças aparecem no contêiner na hora. É o caminho mais curto para testar uma alteração no modelo em hardware real antes de partir para um deploy completo.