BaseRT
Base Compute · Programación · Otro
BaseRT es un runtime de inferencia LLM local construido desde cero para Apple Silicon, ajustado a nivel de kernel de Metal para sacarle más velocidad al hardware de Mac que motores de propósito general como MLX o llama.cpp. Se distribuye como una única CLI LLM `basert` que descarga modelos de HuggingFace, los convierte a su propio formato `.base` y te deja chatear en local o levantar una API compatible con OpenAI. Los desarrolladores que quieren IA rápida, privada y en el propio dispositivo en un Mac le sacan el máximo partido, porque no hay dependencia de la nube, ni claves de API, ni coste por token.
Acerca de BaseRT
Qué es BaseRT
BaseRT es un runtime de inferencia local de Base Compute, un pequeño laboratorio de IA repartido entre Melbourne y Berlín. El proyecto está construido desde cero en lugar de engancharse a motores existentes, y de ahí vienen las mejoras de velocidad que el equipo atribuye al prefill: hasta 6,4 veces más rápido que llama.cpp y 3,9 veces más que MLX, con un decode hasta 1,33 veces superior a MLX en un Apple M5 Pro. Esas cifras salen de los propios benchmarks de Base Compute, así que tómalas como números del fabricante y no como resultados de un laboratorio independiente.
El runtime está pensado para ingenieros y aficionados que ejecutan modelos de código abierto en sus propios Mac. Cubre todo el ciclo: descarga un modelo, lo convierte a un formato que el motor carga rápido y luego chatea con él o lo expone por HTTP. Todo se queda en tu máquina. Nada viaja a un proveedor.
¿Y por qué importa eso? Porque no hay coste por token una vez que el modelo está en local. Así de simple.
Los límites principales son prácticos. BaseRT solo funciona en macOS por ahora, con Windows y Linux anunciados como próximamente. El motor central llega como binario precompilado y no como código abierto, así que no puedes recompilar los kernels tú mismo. Si estás en una máquina que no es Apple o necesitas una pila totalmente abierta hasta el silicio, esto todavía no es para ti. Todavía no, en cualquier caso.
Primeros pasos
- Instala la CLI con el script de una línea:
curl -LsSf https://basecompute.co/install.sh | sh. - Descarga un modelo de HuggingFace con el launcher, por ejemplo
basert serve basecompute/gemma-4-E4B-it. - Convierte o carga el modelo al formato
.baseen disco que lee el runtime. - Chatea directamente con el modelo, o apunta una app al endpoint compatible con OpenAI que expone el servidor.
- De forma opcional, instala el plugin de agente de código (
pi install git:github.com/basecompute/pi-basert) para ejecutar un agente de código local contra tu modelo servido.
Información del producto
Un vistazo rápido a los precios, las plataformas compatibles y el rendimiento de BaseRT.
Ideal para
Los usuarios, tareas y casos de uso en los que esta herramienta encaja mejor.
Usuarios
- Desarrolladores de Mac
- Ingenieros centrados en la privacidad
- Aficionados a la IA
Tareas
- Servir un LLM local
- Ejecutar un agente de código local
- Comparar en Apple Silicon
Casos de uso
- Trabajar sin conexión en un avión o un tren
- Manejar prompts sensibles
- Recortar facturas recurrentes de API
Funciones clave
Motor de inferencia nativo de Metal
BaseRT está construido desde los cimientos para el framework Metal de Apple Silicon en lugar de portarse desde código CUDA o de CPU. El motor incrusta sus kernels de Metal en una libbaseRT.dylib precompilada, así que el runtime habla con la GPU como Apple pretende. En la práctica, de ahí vienen las cifras de velocidad: un prefill hasta 6,4 veces más rápido que llama.cpp y un decode hasta un 33% más rápido que MLX en algunos modelos, según los benchmarks de Base Compute.
Servicio compatible con OpenAI
La herramienta basert-serve convierte cualquier modelo cargado en un servidor HTTP que habla el formato de la API de OpenAI. Eso significa que las herramientas, los SDKs y los scripts que ya apuntan a api.openai.com pueden redirigirse a tu endpoint local con un cambio de configuración. Te ahorras reescribir nada y obtienes una interfaz conocida mientras el modelo real se queda en tu máquina.
Enlaces multi-lenguaje
Más allá de la CLI, BaseRT expone una API en C en baseRT.h con enlaces para Python, Node, Rust y Swift. Si prefieres incrustar la inferencia directamente en una app en lugar de lanzar un servidor, estos enlaces te dejan llamar al motor desde el lenguaje que ya usa tu proyecto. Es la diferencia entre una herramienta de línea de comandos y una librería sobre la que construir.
Hub de modelos de HuggingFace y conversor
El comando basert incluye un hub de modelos y un conversor. Descargas los pesos directamente de HuggingFace y la herramienta los convierte al formato .base en disco que carga el runtime. Así la puesta en marcha se queda en un par de comandos en vez de una cadena de exportación manual, y funciona con builds cuantizados habituales como Q4 y Q8.
Integración con agentes de código locales
Base Compute trae un plugin (pi-basert) que conecta un agente de código directamente a un modelo servido por BaseRT. Ejecutas tres comandos. Ya está. Acabas con un agente que lee y escribe código sin enviar nada a una API remota. Para equipos con miedo a filtrar código fuente a proveedores alojados, ese es el caso de uso estrella.
Funcionamiento sin coste y sin cuenta
No hay registro, ni clave de API, ni contador de uso. Una vez que un modelo está en tu disco, cada token cuesta cero porque el único recurso que se consume es tu propio hardware. Entonces, ¿dónde está la trampa? Prácticamente no la hay. Para quien hace un uso intensivo y si no pagaría por token, el ahorro se acumula rápido.
Ventajas y desventajas
Ventajas
- Velocidades de prefill y decode que superan a MLX y llama.cpp en el mismo Mac, según los benchmarks del fabricante.
- Inferencia totalmente local, así que los prompts y los datos nunca salen de tu dispositivo.
- El servidor compatible con OpenAI hace que las herramientas existentes funcionen con cambios mínimos.
- Los enlaces para Python, Node, Rust y Swift lo abren a muchos stacks.
- Sin cuentas, sin claves de API y sin coste por token después de la puesta en marcha.
Desventajas
- Solo macOS por ahora, así que los usuarios de Windows y Linux tienen que esperar.
- El motor central es un binario precompilado y no código abierto, lo que limita hasta dónde puedes personalizarlo.
- Los benchmarks los reporta el fabricante y aún no hay resultados independientes.
- La puesta en marcha da por hecho que te manejas en la terminal, lo que echa para atrás a los usuarios menos técnicos.
Preguntas frecuentes
BaseRT ejecuta modelos de lenguaje grandes en local en Mac con Apple Silicon. Lo usas para chatear con modelos abiertos, servirlos por una API compatible con OpenAI o incrustar inferencia LLM local en una app a través de sus enlaces de API en C.
Contenido relacionado
Explora herramientas, habilidades y artículos relacionados con BaseRT.
Alternativas a BaseRT
Base Code
Base44 (Wix) · Programación · ProductividadBase Code es un entorno de desarrollo en la nube compartido de Base44. El equipo describe cambios sobre un repositorio de GitHub en el chat, los ve en una vista previa y los envía como pull requests.
Google EmbeddingGemma 2
Google DeepMind · Escritura · Imagen · ProgramaciónGoogle EmbeddingGemma 2 es un modelo abierto de 740 millones de parámetros que convierte texto, código, imágenes, audio y fotogramas de vídeo en vectores de un mismo espacio de 768 dimensiones, y funciona en móviles y portátiles.
GitGlow
GitGlow · Programación · ProductividadGitGlow es un cliente Git de escritorio que reúne tu código y los cambios de tus agentes de IA en una sola revisión, para que sepas qué va a salir de tu máquina antes de publicarlo.