RunAnywhere

모든 버전 아래에는 단일 C++ 코어가 있다. Swift, Kotlin, React Native, Flutter, Web, Electron 중 무엇으로 빌드해도 동작은 같다. 각 언어는 그 코어를 감싸는 네이티브 래퍼를 받고, 모든 SDK가 같은 네임스페이스를 RunAnywhere 진입점에 매단다. 같은 호출이 어디서든 거의 같은 모양으로 읽히므로 플랫폼마다 API를 다시 배울 필요가 없다.

API는 텍스트보다 훨씬 넓은 범위를 네임스페이스로 정리한다. 생성과 스트리밍을 맡는 llm, 음성의 stt와 tts, 대화 전체를 다루는 voice, 이미지와 프롬프트의 vlm, 내 문서를 검색하는 rag가 있고 그 옆에 embeddings, rerank, lora, images, diarization, segmentation이 놓인다. 패키지 하나가 전부를 내놓고, 필요한 조각만 더하면 된다.

RunAnywhere는 CPU에만 머물지 않는다. 백엔드에는 언어와 비전의 llama.cpp, 음성의 ONNX와 Sherpa, Apple MLX, MetalRT를 통한 Apple Neural Engine, QHexRT를 통한 Qualcomm Hexagon NPU가 있다. M4 Max에서 이 회사는 LLM 디코딩 초당 658토큰과 음성 인식 지연 101밀리초를 측정한다. 기기에서 잰 자체 수치다. 변수는 지원 범위다. MLX는 시뮬레이터에서 절대 돌지 않고, QHexRT는 arm64 Snapdragon 칩만 겨냥한다.

추론은 기기에서 돌고, 요구하지 않으면 아무것도 밖으로 나가지 않는다. 프롬프트와 오디오, 이미지가 로컬 메모리에 남는다. 프라이버시에 민감한 앱이 클라우드 API 대신 프라이빗 AI를 고르는 이유가 여기 있다. 호스팅 경로는 노트북에 너무 큰 모델을 위한 것이지만, 그건 의식적으로 내리는 별개의 선택이다. 기본값은 데이터를 집에 두고, 선택은 명시적으로 한다.

wally 명령줄은 두 역할을 한다. 로컬에서는 모델을 가져와, 예컨대 약 640MB의 qwen3-0.6b를 계정 없이 오프라인으로 실행한다. 클라우드를 향하면 OpenAI 호환 API를 통해 RunAnywhere 하드웨어의 최상위 오픈 모델에 닿고, 선불 크레딧으로 정산한다. 가져온 모델을 로컬 OpenAI 호환 주소로 서비스할 수도 있다. 같은 도구가 크기 양 끝을 모두 덮는다.

SDK는 주어진 기기가 실제로 무엇을 할 수 있는지 알려준다. RunAnywhere.capabilities()를 호출하면 등록된 백엔드와 사용 불가 목록이 돌아와서, 사용자가 부딪히기 전에 기능을 감출 수 있다. models 네임스페이스는 가중치의 등록, 다운로드, 로드, 언로드를 맡는다. 눈에 띄지 않는 배관 작업이지만, 이것이 없으면 애초에 돌지 않을 하드웨어에서 음성 기능을 내놓게 된다.