RunPod

Runpod é uma plataforma de computação na nuvem feita para trabalho de IA e machine learning. Zhen Lu e Pardeep Singh a fundaram em 2021 depois de esbarrar no mesmo muro que trava boa parte da comunidade: o aluguel de H100 era lento, caro e cheio de burocracia. A resposta da Runpod é um modelo de pagamento pelo uso, em que você sobe uma GPU em segundos e paga por segundo, não por horas de capacidade reservada, o que muda o preço de GPU na nuvem para times pequenos.

A plataforma divide o hardware em dois grupos. A Community Cloud usa GPUs ociosas de data centers parceiros e é a opção mais barata. A Secure Cloud roda em data centers certificados e atende cargas de produção que exigem desempenho estável e conformidade. Os dois grupos oferecem os mesmos produtos, então você pode implantar modelos de IA em GPU Pods como instâncias dedicadas, servi-los como GPU serverless, usar uma API de inferência de IA para cargas sob demanda ou reservar Clusters para treinos com vários nós.

O limite principal é que você administra o próprio ambiente. A Runpod entrega a máquina e a rede, mas instalar frameworks, subir modelos e ajustar desempenho fica por sua conta. Se você quer uma API de modelo totalmente gerenciada e sem configuração, a Runpod deixa esse trabalho com você.

Getting Started

1. Crie uma conta na Runpod e adicione crédito. A maioria das cargas é pré-paga, e contas novas costumam ganhar um crédito inicial.
2. Escolha uma GPU e um tipo de nuvem no console de implantação, ou use um template pronto com PyTorch e outros frameworks já instalados.
3. Inicie o Pod e conecte por SSH, Jupyter ou um terminal web.
4. Para inferência, publique um endpoint serverless a partir do seu próprio contêiner ou use um template do Hub da Runpod.
5. Envie requisições para o endpoint e deixe os workers escalarem para cima e para baixo sozinhos.