BaseRT
Base Compute · 코딩 · 기타
BaseRT는 Apple Silicon을 위해 처음부터 만든 로컬 LLM 추론 런타임이다. Metal 커널 수준에서 조정해 MLX나 llama.cpp 같은 범용 엔진보다 Mac 하드웨어에서 더 많은 속도를 끌어낸다. 단일 `basert` LLM CLI로 제공되며, HuggingFace에서 모델을 받아 자체 `.base` 형식으로 변환하고, 로컬에서 대화하거나 OpenAI 호환 API를 제공할 수 있다. Mac에서 빠르고 사적인 온디바이스 AI를 원하는 개발자에게 가장 잘 맞는다. 클라우드 의존도 없고, API 키도 없고, 토큰당 비용도 없기 때문이다.
BaseRT 소개
BaseRT란
BaseRT는 멜버른과 베를린에 거점을 둔 작은 AI 연구소 Base Compute가 만든 로컬 추론 런타임이다. 기존 엔진에 얹은 것이 아니라 처음부터 만들었고, 팀이 주장하는 prefill 속도 향상은 여기서 나온다. llama.cpp보다 최대 6.4배, MLX보다 3.9배 빠르며, Apple M5 Pro에서 decode는 MLX보다 최대 1.33배 빠르다. 이 수치는 Base Compute 자체 벤치마크에서 나온 것이므로 독립 기관의 결과가 아니라 제조사 수치로 봐야 한다.
이 런타임은 자신의 Mac에서 오픈소스 모델을 돌리는 엔지니어와 애호가를 겨냥한다. 모델을 받아 엔진이 빠르게 읽는 형식으로 변환한 뒤, 대화하거나 HTTP로 공개하는 전체 흐름을 처리한다. 모든 것이 내 기계에 남는다. 제공자에게 아무것도 전송되지 않는다.
그게 왜 중요할까. 모델이 로컬에 있으면 토큰당 비용이 들지 않기 때문이다. 그게 전부다.
주요 한계는 실용적인 것이다. BaseRT는 현재 macOS 전용이며, Windows와 Linux는 출시 예정으로 올라 있다. 핵심 엔진은 오픈소스 코드가 아니라 미리 빌드된 바이너리로 제공되므로 커널을 직접 다시 빌드할 수 없다. Apple 기기가 아니거나 실리콘까지 완전히 열린 스택이 필요하다면 아직 맞지 않는다. 적어도 지금은.
시작하기
- 한 줄 스크립트로 CLI를 설치한다:
curl -LsSf https://basecompute.co/install.sh | sh. - 런처로 HuggingFace에서 모델을 받는다. 예:
basert serve basecompute/gemma-4-E4B-it. - 모델을 런타임이 읽는
.base디스크 형식으로 변환하거나 그 형식으로 불러온다. - 모델과 직접 대화하거나, 서버가 공개하는 OpenAI 호환 엔드포인트로 앱을 연결한다.
- 선택 사항으로 코딩 에이전트 플러그인(
pi install git:github.com/basecompute/pi-basert)을 설치해, 제공 중인 모델에 대해 로컬 코딩 에이전트를 실행한다.
제품 정보
BaseRT의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- Mac 개발자
- 프라이버시를 중시하는 엔지니어
- AI 애호가
작업
- 로컬 LLM 제공
- 로컬 코딩 에이전트 실행
- Apple Silicon에서 벤치마크
활용 상황
- 비행기나 기차에서 오프라인 작업
- 민감한 프롬프트 처리
- 반복되는 API 청구서 절감
주요 기능
네이티브 Metal 추론 엔진
BaseRT는 CUDA나 CPU 코드에서 이식한 것이 아니라 Apple Silicon의 Metal 프레임워크를 위해 토대부터 만들었다. 엔진은 Metal 커널을 미리 빌드된 libbaseRT.dylib에 내장하므로, 런타임은 Apple이 의도한 방식으로 GPU와 통신한다. 실제로 속도 수치는 여기서 나온다. Base Compute 벤치마크에 따르면 prefill은 llama.cpp보다 최대 6.4배 빠르고, 일부 모델에서 decode는 MLX보다 최대 33% 빠르다.
OpenAI 호환 제공
basert-serve 도구는 불러온 어떤 모델이든 OpenAI API 형식을 구사하는 HTTP 서버로 바꾼다. 즉 이미 api.openai.com을 대상으로 하는 도구와 SDK, 스크립트를 설정 변경만으로 로컬 엔드포인트로 돌릴 수 있다. 다시 작성할 필요 없이 익숙한 인터페이스를 얻으면서 실제 모델은 내 기계에 둔다.
다국어 바인딩
CLI 외에도 BaseRT는 baseRT.h의 C API를 제공하며 Python, Node, Rust, Swift 바인딩을 갖춘다. 서버를 호출하는 대신 추론을 앱에 직접 넣고 싶다면, 이 바인딩으로 프로젝트가 이미 쓰는 언어에서 엔진을 호출할 수 있다. 명령줄 도구와 그 위에 쌓을 수 있는 라이브러리의 차이다.
HuggingFace 모델 허브와 변환기
basert 명령은 모델 허브와 변환기를 함께 담는다. 가중치를 HuggingFace에서 바로 받으면 도구가 런타임이 읽는 .base 디스크 형식으로 변환한다. 덕분에 설정은 수동 내보내기 사슬이 아니라 몇 개 명령으로 끝나고, Q4와 Q8 같은 흔한 양자화 빌드도 지원한다.
로컬 코딩 에이전트 연동
Base Compute는 코딩 에이전트를 BaseRT가 제공하는 모델에 직접 연결하는 플러그인(pi-basert)을 내놓는다. 명령을 세 개 실행한다. 그게 전부다. 결국 원격 API에 아무것도 보내지 않고 코드를 읽고 쓰는 에이전트를 갖게 된다. 소스 코드가 호스팅 제공자에게 새는 것을 경계하는 팀에게 이게 핵심 용도다.
비용 없는 계정 불필요 운영
가입도 API 키도 사용량 계량기도 없다. 모델이 디스크에 있으면 소비하는 유일한 자원이 내 하드웨어이므로 각 토큰 생성 비용은 0이다. 그렇다면 함정은 무엇일까. 사실상 없다. 토큰당 비용을 냈을 헤비 유저라면 절약이 빠르게 쌓인다.
장단점
장점
- 제조사 벤치마크에 따르면 같은 Mac에서 MLX와 llama.cpp를 앞서는 prefill과 decode 속도.
- 완전한 로컬 추론이라 프롬프트와 데이터가 기기를 떠나지 않는다.
- OpenAI 호환 서버 덕분에 기존 도구가 최소한의 변경으로 동작한다.
- Python, Node, Rust, Swift 바인딩으로 여러 스택에 열려 있다.
- 설정 후에는 계정도 API 키도 토큰당 비용도 없다.
단점
- 당분간 macOS 전용이라 Windows와 Linux 사용자는 기다려야 한다.
- 핵심 엔진이 오픈소스가 아니라 미리 빌드된 바이너리여서 커스터마이즈 범위가 제한된다.
- 벤치마크는 제조사 보고이며 독립적인 결과는 아직 없다.
- 설정이 터미널에 익숙하다고 전제해 기술에 덜 익숙한 사용자를 막는다.
자주 묻는 질문
BaseRT는 Apple Silicon Mac에서 대규모 언어 모델을 로컬로 실행한다. 오픈 모델과 대화하거나, OpenAI 호환 API로 제공하거나, C API 바인딩을 통해 로컬 LLM 추론을 앱에 넣는 데 쓴다.
관련 콘텐츠
BaseRT와 관련된 도구, 스킬, 아티클을 살펴보세요.
BaseRT 대안
Base Code
Base44 (Wix) · 코딩 · 생산성Base Code는 Base44가 만든 공유 클라우드 개발 환경이다. 팀은 기존 GitHub 저장소에 대한 변경을 채팅으로 설명하고, 미리보기로 확인한 뒤 풀 리퀘스트로 돌려보낸다.
Google EmbeddingGemma 2
Google DeepMind · 글쓰기 · 이미지 · 코딩Google EmbeddingGemma 2는 7억 4000만 파라미터의 오픈 모델로, 텍스트와 코드, 이미지, 오디오, 영상 프레임을 하나의 768차원 공간에 벡터로 바꿔 스마트폰과 노트북에서 실행한다.
GitGlow
GitGlow · 코딩 · 생산성GitGlow는 내 코드와 AI 에이전트의 변경을 한 리뷰에 모으는 데스크톱 Git 클라이언트다. 배포 전에 내 기계에서 무엇이 나가는지 확인할 수 있다.