OpenFoundry
OpenFoundry (Arthur Chi, Tyler Lehman) · Programação
O OpenFoundry é uma plataforma de implantação de IA open source para quem quer encontrar, ajustar e rodar modelos abertos na própria nuvem em vez de alugar a API de outra empresa.
Sobre OpenFoundry
About
O que é o OpenFoundry
O OpenFoundry vem de uma equipe de duas pessoas em São Francisco, fundada em 2024 por Arthur Chi e Tyler Lehman com 500 mil dólares de aporte. A premissa era honesta: modelos abertos se baixam de graça e dão trabalho para rodar. O site prometia achar o modelo certo, ajustá-lo com alguns cliques e levá-lo para a sua nuvem, justamente a parte que uma API hospedada esconde de você.
O que dá para baixar hoje é o Model Manager, uma ferramenta de linha de comando em Python publicada sob licença MIT. Ela pega um modelo do Hugging Face, um modelo do catálogo do SageMaker ou pesos que você já tenha e sobe um endpoint do SageMaker na sua conta da AWS. A configuração são dois comandos e uma chave, e o caminho de Hugging Face para AWS deixa de ser um projeto de pesquisa.
Duas coisas valem saber antes de dedicar um fim de semana. A implantação só funciona na AWS e o último commit do repositório é de maio de 2024. O domínio openfoundry.ai agora redireciona para o Overheard, outro produto dos mesmos fundadores, então trate o código como o entregável real e a plataforma hospedada como algo parado.
Como começar
- Crie uma conta na AWS e gere chaves de acesso para o SageMaker.
- Clone o repositório model_manager, rode
bash setup.sh, cole as chaves e confirme a região. O padrão é us-east-1. - Coloque uma
HUGGING_FACE_HUB_KEYno arquivo.envgerado pelo script se for implantar um modelo com acesso restrito, como o Llama 2. - Execute
python3 model_manager.pye escolha a origem dos pesos: Hugging Face, SageMaker ou um caminho próprio no S3 ou na máquina local. Modelos pequenos ficam prontos em uns dois minutos. - Consulte o endpoint pelo script, por um servidor FastAPI local ou pela API do SageMaker. Guarde o YAML gravado em
/configs: a próxima implantação vira um comando só.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de OpenFoundry.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Engenheiros de machine learning em times pequenos
- Desenvolvedores independentes
- Times que não podem tirar dados de casa
Tarefas
- Tirar um protótipo de uma API paga
- Subir um serviço interno de embeddings
- Escolher entre modelos abertos
Cenários
- Uma demo de busca em documentos para um cliente que exige que os dados não saiam da conta da AWS dele.
- Um modelo restrito como o Llama 2 dentro de uma VPC onde o time de segurança enxerga os logs.
- Implantações a partir de CI
Principais recursos
Escolher o modelo antes de se comprometer
A proposta original começava pela descoberta: descreva o caso de uso, compare modelos abertos e ajuste um deles. Esse fluxo morava no produto hospedado, hoje fechado para novos usuários. No código sobrou o lado da implantação, então escolha o modelo no Hugging Face e traga o nome para a CLI.
Três origens para os pesos
Dá para implantar do Hugging Face colando o nome completo do modelo, como google-bert/bert-base-uncased, do catálogo do SageMaker por framework, ou dos seus próprios artefatos por um caminho no S3 ou uma pasta local que a ferramenta envia por você. Pesos próprios são o caso interessante: é ali que quase todo mundo trava fazendo na mão.
Configurações YAML e implantação pelo CI
Cada implantação grava um YAML com o modelo e o endpoint. Passe esse arquivo de volta com --deploy e você recebe a mesma pilha outra vez, o que transforma tarefa manual em algo que o CI roda no merge. É a peça que torna implantar modelos abertos algo repetível, não um experimento solto.
Um servidor de consultas pronto
uvicorn server:app levanta um serviço FastAPI com duas rotas: uma para os dados do endpoint e outra para inferência. Aceita temperatura, top_k, top_p, limite de tokens e penalidade por repetição, então você testa o modelo sem montar antes uma biblioteca cliente. Só modelos de texto.
Sua nuvem, sua fatura, seus dados
Os endpoints rodam na sua conta da AWS com a sua cota do SageMaker. Nada passa pelos servidores do OpenFoundry, e isso resolve cedo as perguntas de compras e de residência de dados. Também quer dizer que o medidor continua rodando mesmo sem tráfego.
Licença MIT e código legível
A ferramenta inteira é MIT, com cerca de 350 estrelas no GitHub. Você pode fazer fork, mexer no caminho de implantação conforme as regras de rede da empresa ou levar o wrapper FastAPI para o seu serviço. Sem conta, sem assento por usuário, sem reunião comercial.
Prós e contras
Prós
- Código MIT que você lê, bifurca e mantém funcionando mesmo se o fornecedor parar de publicar.
- Sair de um nome de modelo no Hugging Face para um endpoint no ar leva minutos, e você pula o Terraform e o ECS que quase todo time escreveria na mão.
- Pesos e inferência ficam na sua conta da AWS, e essa é a diferença entre uma demo e algo que passa numa revisão de segurança.
- YAMLs e a flag `--deploy` deixam implantações repetidas automatizáveis, inclusive pelo GitHub Actions.
- Uma camada de consulta em FastAPI pronta poupa reescrever o mesmo wrapper em cada projeto.
Contras
- Só AWS. Azure e GCP estão no roadmap, então quem trabalha com várias nuvens precisa fazer fork da ferramenta ou esperar.
- A consulta embutida atende modelos de texto e mais nada; imagem, áudio e multimodal exigem cliente próprio.
- Endpoints cobram por hora até você apagá-los e o autoscaling não é controlado pela ferramenta. Um endpoint esquecido custa dinheiro de verdade.
- O repositório está parado desde maio de 2024 e o site comercial aponta para outro lugar, então você adota um projeto sem manutenção, não uma plataforma com suporte.
Perguntas frequentes
Sim. O Model Manager tem licença MIT e é baixado sem custo, e a plataforma hospedada nunca teve preço público. O gasto real é a sua fatura da AWS, que paga a instância do SageMaker atrás de cada endpoint ligado.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a OpenFoundry.
Alternativas a OpenFoundry
Base Code
Base44 (Wix) · Programação · ProdutividadeO Base Code é um ambiente de desenvolvimento em nuvem compartilhado da Base44. O time descreve mudanças em um repositório do GitHub pelo chat, confere tudo na prévia e envia o resultado como pull request.
Google EmbeddingGemma 2
Google DeepMind · Escrita · Imagem · ProgramaçãoGoogle EmbeddingGemma 2 é um modelo aberto de 740 milhões de parâmetros que transforma texto, código, imagens, áudio e quadros de vídeo em vetores de um único espaço de 768 dimensões, rodando em celulares e notebooks.
GitGlow
GitGlow · Programação · ProdutividadeO GitGlow é um cliente Git de desktop que coloca seu código e as mudanças dos seus agentes de IA na mesma revisão, para você saber o que vai sair da máquina antes de publicar.