BaseRT
Base Compute · Programação · Outros
O BaseRT é um runtime de inferência LLM local construído do zero para Apple Silicon, ajustado no nível do kernel de Metal para extrair mais velocidade do hardware Mac do que motores de propósito geral como o MLX ou o llama.cpp. Ele chega como uma única CLI LLM `basert` que baixa modelos do HuggingFace, converte-os para o formato próprio `.base` e deixa você conversar localmente ou servir uma API compatível com OpenAI. Desenvolvedores que querem IA rápida, privada e no próprio dispositivo em um Mac aproveitam ao máximo, porque não há dependência de nuvem, nem chaves de API, nem custo por token.
Sobre BaseRT
O que é o BaseRT
O BaseRT é um runtime de inferência local da Base Compute, um pequeno laboratório de IA dividido entre Melbourne e Berlim. O projeto foi construído do zero em vez de acoplado a motores existentes, e é daí que vêm os ganhos de velocidade que a equipe atribui ao prefill: até 6,4 vezes mais rápido que o llama.cpp e 3,9 vezes mais que o MLX, com decode até 1,33 vez superior ao MLX em um Apple M5 Pro. Esses números saem dos próprios benchmarks da Base Compute, então trate-os como dados do fornecedor, não como resultados de um laboratório independente.
O runtime é voltado para engenheiros e entusiastas que rodam modelos de código aberto nos próprios Macs. Ele cobre todo o ciclo: baixe um modelo, converta-o para um formato que o motor carrega rápido e então converse com ele ou exponha-o por HTTP. Tudo fica na sua máquina. Nada vai para um provedor.
Por que isso importa? Porque não há custo por token depois que o modelo está local. Simples assim.
Os limites principais são práticos. O BaseRT só roda em macOS por enquanto, com Windows e Linux listados como em breve. O motor central chega como binário pré-compilado, e não como código aberto, então você não pode recompilar os kernels por conta própria. Se você está em uma máquina que não é Apple ou precisa de uma pilha totalmente aberta até o silício, isso ainda não é para você. Ainda não, de qualquer forma.
Primeiros passos
- Instale a CLI com o script de uma linha:
curl -LsSf https://basecompute.co/install.sh | sh. - Baixe um modelo do HuggingFace usando o launcher, por exemplo
basert serve basecompute/gemma-4-E4B-it. - Converta ou carregue o modelo para o formato
.baseem disco que o runtime lê. - Converse diretamente com o modelo, ou aponte um app para o endpoint compatível com OpenAI que o servidor expõe.
- De forma opcional, instale o plugin de agente de código (
pi install git:github.com/basecompute/pi-basert) para rodar um agente de código local contra o modelo servido.
Informações do produto
Uma visão rápida dos preços, das plataformas compatíveis e do desempenho de BaseRT.
Ideal para
Os usuários, tarefas e cenários em que esta ferramenta se encaixa melhor.
Usuários
- Desenvolvedores de Mac
- Engenheiros focados em privacidade
- Entusiastas de IA
Tarefas
- Servir um LLM local
- Rodar um agente de código local
- Fazer benchmarks em Apple Silicon
Cenários
- Trabalhar offline em um avião ou trem
- Lidar com prompts sensíveis
- Cortar faturas recorrentes de API
Principais recursos
Motor de inferência nativo de Metal
O BaseRT foi construído desde a base para o framework Metal do Apple Silicon em vez de portado de código CUDA ou de CPU. O motor embute seus kernels de Metal em uma libbaseRT.dylib pré-compilada, então o runtime fala com a GPU como a Apple pretende. Na prática, é daí que vêm os números de velocidade: prefill até 6,4 vezes mais rápido que o llama.cpp e decode até 33% mais rápido que o MLX em alguns modelos, segundo os benchmarks da Base Compute.
Servidor compatível com OpenAI
A ferramenta basert-serve transforma qualquer modelo carregado em um servidor HTTP que fala o formato da API da OpenAI. Isso significa que ferramentas, SDKs e scripts que já apontam para api.openai.com podem ser redirecionados para o seu endpoint local com uma mudança de configuração. Você evita reescrever tudo e ganha uma interface conhecida enquanto o modelo real fica na sua máquina.
Bindings multi-linguagem
Além da CLI, o BaseRT expõe uma API em C em baseRT.h com bindings para Python, Node, Rust e Swift. Se você prefere embutir a inferência direto em um app em vez de chamar um servidor, esses bindings deixam você chamar o motor na linguagem que seu projeto já usa. É a diferença entre uma ferramenta de linha de comando e uma biblioteca sobre a qual construir.
Hub de modelos do HuggingFace e conversor
O comando basert traz um hub de modelos e um conversor. Você baixa os pesos direto do HuggingFace e a ferramenta os converte para o formato .base em disco que o runtime carrega. Assim a configuração fica em alguns comandos em vez de uma cadeia de exportação manual, e funciona com builds quantizados comuns como Q4 e Q8.
Integração com agente de código local
A Base Compute traz um plugin (pi-basert) que conecta um agente de código diretamente a um modelo servido pelo BaseRT. Você roda três comandos. É isso. Você termina com um agente que lê e escreve código sem enviar nada para uma API remota. Para equipes receosas de vazar código-fonte para provedores hospedados, esse é o caso de uso principal.
Operação sem custo e sem conta
Não há cadastro, nem chave de API, nem medidor de uso. Depois que um modelo está no seu disco, cada token custa zero para gerar, porque o único recurso consumido é o seu próprio hardware. Então, onde está a pegadinha? Praticamente não existe. Para quem usa muito e pagaria por token em outras condições, a economia se acumula rápido.
Prós e contras
Prós
- Velocidades de prefill e decode que superam o MLX e o llama.cpp no mesmo Mac, segundo os benchmarks do fornecedor.
- Inferência totalmente local, então os prompts e os dados nunca saem do seu dispositivo.
- O servidor compatível com OpenAI faz as ferramentas existentes funcionarem com mudanças mínimas.
- Bindings para Python, Node, Rust e Swift abrem o projeto para muitos stacks.
- Sem contas, sem chaves de API e sem custo por token depois da configuração.
Contras
- Só macOS por enquanto, então os usuários de Windows e Linux precisam esperar.
- O motor central é um binário pré-compilado e não código aberto, o que limita até onde você pode personalizá-lo.
- Os benchmarks são reportados pelo fornecedor e ainda não há resultados independentes.
- A configuração presume que você se vira no terminal, o que afasta os usuários menos técnicos.
Perguntas frequentes
O BaseRT roda modelos de linguagem grandes localmente em Macs com Apple Silicon. Você o usa para conversar com modelos abertos, servi-los por uma API compatível com OpenAI ou embutir inferência LLM local em um app através dos seus bindings de API em C.
Conteúdo relacionado
Explore ferramentas, skills e artigos relacionados a BaseRT.
Alternativas a BaseRT
Forefront
Forefront · ProgramaçãoO Forefront é uma plataforma web para construir com IA de código aberto. Você ajusta os principais modelos de linguagem de código aberto com seus próprios dados, avalia o desempenho deles e os roda por uma API ou os exporta para hospedar por conta própria. Desenvolvedores que querem a conveniência de uma plataforma fechada, mas fazem questão de ser donos dos modelos e dos dados, são o público-alvo aqui.
Startkit
StartKit.AI · ProgramaçãoStartkit é um boilerplate para criar produtos de SaaS com IA e wrappers de IA. Pense nele como um boilerplate para startups de IA com as partes chatas já conectadas: autenticação, pagamentos com Stripe e Lemon Squeezy, limites de uso, e-mail transacional e um kit inicial de API de IA que conversa com OpenAI, Anthropic, Groq ou Llama. Você clona o repositório, define seu preço e começa pela parte do produto que as pessoas realmente pagam. Ele é feito em Next.js sobre React e Tailwind, então boa parte do código boilerplate já parece familiar.
Testim
Tricentis · ProgramaçãoO Testim é uma plataforma de automação de testes com IA para criar e executar testes de ponta a ponta em aplicações web, mobile e Salesforce. Ele se apoia no aprendizado de máquina para manter os testes estáveis quando uma interface muda, então as equipes gastam menos tempo consertando seletores quebrados. Nada mal para uma ferramenta de testes automatizados que você pode começar a usar hoje. Você cria testes gravando ações no navegador e depois adiciona JavaScript quando precisa de mais controle. É uma escolha sólida para equipes de QA ocupadas.