LM Studio

Hugging Face에서 가져온 오픈 모델 색인을 앱이 들고 있고, 내 기계가 실제로 돌릴 수 있는 것만 걸러 보여준다. 항목마다 파일 크기, 양자화, 쾌적도 라벨이 붙어 매끄럽게 도는 8B와 디스크로 밀려나 멈추는 70B를 구분할 수 있다. 내려받기는 스스로 이어받고 다시 시도한다. 대부분에게 LM Studio와 순수한 llama.cpp 빌드를 가르는 기능이 바로 이것이다.

Bionic은 모델 위에 얹히는 프로젝트 단위 에이전트 계층이다. 프로젝트를 열고 한 작업에 한 세션을 두면 파일을 읽고 쓰고 명령을 실행한다. 문서 세션은 글과 슬라이드를 만들고 고치며 자동 저장한다. 코드 세션은 저장소 전체를 다룬다. 같은 프로젝트에서 여러 세션을 동시에 둘 수 있어, 조사와 빌드가 컨텍스트를 공유하지 않아야 할 때 유용하다.

스위치 하나로 읽어들인 모델이 localhost:1234의 HTTP 엔드포인트가 되고, OpenAI의 chat completions API와 같은 요청 형식으로 응답한다. 기존 SDK와 클라이언트는 주소 변경과 임시 키만으로 동작한다. 자동화용 SDK와 명령줄 도구도 있고, 지원 모델에서는 도구 호출과 구조화 출력도 된다. 로컬 시제품 작업에서 가짜 서버를 세울 일이 사라진다.

LM Studio는 추론 엔진 두 개를 함께 넣고 플랫폼에 따라 고른다. Apple Silicon Mac은 통합 메모리에 맞춘 MLX를 써서 M 시리즈에서 반응이 빠르다. Windows와 Linux는 llama.cpp로 Nvidia, AMD, Intel 그래픽으로 연산을 넘긴다. 모델이 아슬아슬하게 들어갈 때는 GPU에 올릴 층 수를 조절해 속도와 여유를 맞바꾼다.

PDF, Word 파일, 메모 묶음을 앱에 넘기고 내용에 대해 물을 수 있다. 검색은 기기 안 색인을 상대로 이뤄져 문서가 업로드되지 않는다. 계약서나 논문을 매일 읽는 사람에게 프라이버시 이야기가 실무의 모습을 갖춘 셈이다.

Bionic은 기기에 올라간 모델로 말을 실시간으로 받아쓴다. 음성은 어느 서버로도 가지 않는다. 문서나 프롬프트에 문단을 받아쓰는 일이 오프라인에서도 되고 여러 언어를 지원한다. 억센 사투리에서는 유료 클라우드 전사보다 정확도가 떨어진다. 음성을 밖으로 내보내지 않는 대가다.