MindPlix

엔지니어가 지정한 모델을 설치하고 컨테이너를 만들며 환경을 조정한 뒤 넘긴다. 셀프 호스팅 LLM 프로젝트의 첫 주를 잡아먹는 의존성 문제를 건너뛴다. 받는 것은 동작하는 엔드포인트이지 빈 콘솔이 아니다.

한 번의 월 요금으로 서버와 설치된 모델, 그 뒤의 지원을 모두 포함한다. 토큰 카운터도, 시간당 청구도, 작업이 길어질 때 붙는 추가 항목도 없다. 사용량이 꾸준한 팀이라면 예측하기 어려운 청구서가 예산 항목 하나로 바뀐다.

통합 메모리를 갖춘 Mac Mini나 Snapdragon 16코어 ARM 서버를 고른다. 애플의 통합 메모리는 다른 곳이라면 값비싼 GPU가 필요한 큰 모델을 올린다. ARM 구성은 가벼운 모델과 컨테이너가 많은 스택에 어울린다.

모델은 브라우저에서 켜고 끄며, 같은 모델이 API로 자체 앱에 응답한다. 두 경로 모두 파이프라인 코드나 명령어 작업을 요구하지 않는다. 개발자는 당일에 엔드포인트를 기존 앱에 연결한다.

ComfyUI, n8n, Ollama, OpenUI, PyTorch를 요청하면 설정해 준다. 이미지 생성과 워크플로 자동화, 로컬 모델 서빙을 한 대로 처리하는 조합이다. 다섯 개를 손으로 이어 붙이는 일이 없다.

프롬프트와 파일, 학습 데이터는 빌린 장비에 남는다. 드라이버 업데이트와 모델 교체, 유지보수는 Mindplix가 맡고, 규모가 커지면 추가 서버를 모니터링되는 클러스터로 묶는다. 직접 손보고 싶을 때를 위해 root 권한도 준다.