BaseRT
Base Compute · Programmation · Autres
BaseRT est un runtime d'inférence LLM local conçu de zéro pour Apple Silicon, optimisé au niveau du noyau Metal pour tirer plus de vitesse du matériel Mac que des moteurs généralistes comme MLX ou llama.cpp. Il se présente sous la forme d'une seule CLI LLM `basert` qui récupère des modèles sur HuggingFace, les convertit dans son propre format `.base` et vous laisse discuter en local ou servir une API compatible OpenAI. Les développeurs qui veulent une IA rapide, privée et embarquée sur un Mac en profitent le plus, parce qu'il n'y a aucune dépendance au cloud, aucune clé API et aucun coût par token.
À propos de BaseRT
Qu'est-ce que BaseRT
BaseRT est un runtime d'inférence local de Base Compute, un petit laboratoire d'IA partagé entre Melbourne et Berlin. Le projet est construit de zéro plutôt qu'ajouté à des moteurs existants, et c'est de là que viennent les gains de vitesse que l'équipe attribue au prefill : jusqu'à 6,4 fois plus rapide que llama.cpp et 3,9 fois plus que MLX, avec un decode jusqu'à 1,33 fois supérieur à MLX sur un Apple M5 Pro. Ces chiffres sortent des propres benchmarks de Base Compute, donc prenez-les comme des données du fournisseur et non comme des résultats de laboratoire indépendants.
Le runtime vise les ingénieurs et les amateurs qui font tourner des modèles open source sur leur propre Mac. Il couvre tout le cycle : récupérez un modèle, convertissez-le dans un format que le moteur charge vite, puis discutez avec lui ou exposez-le via HTTP. Tout reste sur votre machine. Rien ne part vers un fournisseur.
Pourquoi est-ce important ? Parce qu'il n'y a aucun coût par token une fois le modèle en local. C'est aussi simple que ça.
Les limites principales sont pratiques. BaseRT ne fonctionne que sur macOS pour l'instant, Windows et Linux étant annoncés comme à venir. Le moteur central arrive sous forme de binaire précompilé et non de code open source, donc vous ne pouvez pas recompiler les noyaux vous-même. Si vous êtes sur une machine non Apple ou qu'il vous faut une pile entièrement ouverte jusqu'au silicium, ce n'est pas encore pour vous. Pas encore, en tout cas.
Premiers pas
- Installez la CLI avec le script d'une ligne :
curl -LsSf https://basecompute.co/install.sh | sh. - Récupérez un modèle sur HuggingFace avec le launcher, par exemple
basert serve basecompute/gemma-4-E4B-it. - Convertissez ou chargez le modèle dans le format
.basesur disque que lit le runtime. - Discutez directement avec le modèle, ou pointez une application vers le point de terminaison compatible OpenAI qu'expose le serveur.
- En option, installez le plugin d'agent de code (
pi install git:github.com/basecompute/pi-basert) pour faire tourner un agent de code local sur votre modèle servi.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de BaseRT.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Développeurs sur Mac
- Ingénieurs soucieux de la vie privée
- Amateurs d'IA
Tâches
- Servir un LLM local
- Faire tourner un agent de code local
- Comparer les performances sur Apple Silicon
Cas d'usage
- Travailler hors ligne dans un avion ou un train
- Traiter des prompts sensibles
- Réduire les factures d'API récurrentes
Fonctionnalités clés
Moteur d'inférence natif Metal
BaseRT est construit depuis les fondations pour le framework Metal d'Apple Silicon au lieu d'être porté depuis du code CUDA ou CPU. Le moteur intègre ses noyaux Metal dans une libbaseRT.dylib précompilée, donc le runtime parle au GPU comme Apple l'entend. C'est de là que viennent, en pratique, les chiffres de vitesse : un prefill jusqu'à 6,4 fois plus rapide que llama.cpp et un decode jusqu'à 33 % plus rapide que MLX sur certains modèles, d'après les benchmarks de Base Compute.
Service compatible OpenAI
L'outil basert-serve transforme n'importe quel modèle chargé en serveur HTTP qui parle le format de l'API OpenAI. Les outils, SDK et scripts qui ciblent déjà api.openai.com peuvent donc être redirigés vers votre point de terminaison local avec un simple changement de configuration. Vous évitez les réécritures et gardez une interface familière, tout en laissant le modèle réel sur votre machine.
Bindings multilingues
Au-delà de la CLI, BaseRT expose une API C dans baseRT.h avec des bindings pour Python, Node, Rust et Swift. Si vous préférez intégrer l'inférence directement dans une application plutôt que d'appeler un serveur, ces bindings vous laissent appeler le moteur depuis le langage que votre projet utilise déjà. C'est la différence entre un outil en ligne de commande et une bibliothèque sur laquelle bâtir.
Hub de modèles HuggingFace et convertisseur
La commande basert réunit un hub de modèles et un convertisseur. Vous récupérez les poids directement sur HuggingFace et l'outil les convertit dans le format .base sur disque que charge le runtime. L'installation se limite ainsi à quelques commandes au lieu d'une chaîne d'export manuelle, et cela fonctionne avec les builds quantifiés courants comme Q4 et Q8.
Intégration d'un agent de code local
Base Compute fournit un plugin (pi-basert) qui relie un agent de code directement à un modèle servi par BaseRT. Vous lancez trois commandes. C'est tout. Vous obtenez un agent qui lit et écrit du code sans rien envoyer à une API distante. Pour les équipes qui craignent de laisser fuiter leur code source vers des fournisseurs hébergés, c'est le cas d'usage phare.
Fonctionnement sans coût et sans compte
Pas d'inscription, pas de clé API, pas de compteur d'usage. Une fois un modèle sur votre disque, chaque token coûte zéro à générer parce que la seule ressource consommée est votre propre matériel. Alors, où est le piège ? Il n'y en a pratiquement pas. Pour les gros utilisateurs qui paieraient autrement par token, l'économie s'accumule vite.
Avantages et inconvénients
Avantages
- Des vitesses de prefill et de decode qui dépassent MLX et llama.cpp sur le même Mac, selon les benchmarks du fournisseur.
- Une inférence entièrement locale, donc les prompts et les données ne quittent jamais votre appareil.
- Le serveur compatible OpenAI fait fonctionner les outils existants avec des changements minimes.
- Des bindings pour Python, Node, Rust et Swift ouvrent le projet à de nombreuses piles.
- Aucun compte, aucune clé API et aucun coût par token après l'installation.
Inconvénients
- macOS uniquement pour l'instant, donc les utilisateurs de Windows et Linux doivent attendre.
- Le moteur central est un binaire précompilé et non du code open source, ce qui limite la personnalisation possible.
- Les benchmarks sont rapportés par le fournisseur et les résultats indépendants ne sont pas encore disponibles.
- L'installation suppose une certaine aisance avec le terminal, ce qui rebute les utilisateurs moins techniques.
Questions fréquentes
BaseRT exécute de grands modèles de langage en local sur des Mac Apple Silicon. Vous l'utilisez pour discuter avec des modèles ouverts, les servir via une API compatible OpenAI ou intégrer une inférence LLM locale dans une application grâce à ses bindings d'API C.
Contenus associés
Découvrez des outils, des compétences et des articles liés à BaseRT.
Alternatives à BaseRT
Forefront
Forefront · ProgrammationForefront est une plateforme web pour construire avec de l'IA open source. Elle vous laisse affiner les principaux modèles de langage open source sur vos propres données, évaluer leurs performances et les exécuter via une API ou les exporter pour les héberger vous-même. Les développeurs qui veulent le confort d'une plateforme fermée mais tiennent à rester propriétaires de leurs modèles et de leurs données sont le public visé ici.
Startkit
StartKit.AI · ProgrammationStartkit est un boilerplate pour créer des produits SaaS d'IA et des wrappers d'IA. Voyez-le comme un boilerplate de startup IA avec les parties ennuyeuses déjà branchées : authentification, paiements Stripe et Lemon Squeezy, limites d'usage, e-mail transactionnel et un kit de démarrage d'API IA qui parle à OpenAI, Anthropic, Groq ou Llama. Vous clonez le dépôt, fixez votre prix et attaquez la partie du produit pour laquelle les gens paient vraiment. Il repose sur Next.js au-dessus de React et Tailwind, donc une bonne partie du code boilerplate vous semble déjà familière.
Testim
Tricentis · ProgrammationTestim est une plateforme d'automatisation des tests dopée à l'IA, qui sert à créer et exécuter des tests de bout en bout sur des applications web, mobiles et Salesforce. Elle s'appuie sur l'apprentissage automatique pour garder les tests stables quand une interface change, alors les équipes passent moins de temps à réparer des sélecteurs cassés. Pas mal pour un outil de tests automatisés que vous pouvez utiliser dès aujourd'hui. Vous créez des tests en enregistrant des actions dans un navigateur, puis vous ajoutez du JavaScript quand vous avez besoin de plus de contrôle. C'est un choix solide pour une équipe QA bien occupée.