Parallax by Gradient

Parallax는 Gradient가 만든 오픈소스 분산 AI 클러스터 프레임워크다. 대규모 언어 모델을 여러 기기로 나누고 그 위에서 함께 추론을 돌린다. 그래서 노트북, GPU를 장착한 데스크톱, 홈 네트워크 반대편의 작은 서버가 하나의 더 큰 기기처럼 동작한다. 전체는 피어투피어 프로토콜로 통신하므로 항상 켜져 있어야 하는 중앙 서버가 없다. 이것이 이 제품의 핵심 주장이다.

이 도구가 해결하는 문제는 말로 하기는 쉽지만 겪으면 괴롭다. 쓸 만한 LLM을 돌리려면 보통 클라우드 사업자에게 토큰 단위로 비용을 내거나, 모델 전체가 들어가는 매우 비싼 GPU를 사야 한다. Parallax는 세 번째 길을 택한다. 모델을 층별로 쪼개고 보유한 하드웨어에 요청을 흘려보내므로, 책상 위에 이미 있는 기기를 더 오래 활용한다. 프롬프트와 출력은 자신의 기기에 남는다. 제3자에게 보내고 싶지 않은 내용을 다룬다면 중요한 부분이다.

가장 큰 한계는 이것이 클릭 한 번으로 설치하는 앱이 아니라 개발자용 도구라는 점이다. 터미널에 익숙해야 하고, Linux에서는 Docker를 만지거나 GPU 드라이버를 설정하게 된다. 프로젝트도 아직 어리다. 버전 0.0.1이 2025년 10월에 나왔으므로 거친 부분은 예상해야 하고 모델 지원도 계속 바뀐다. 설정 없이 상자에서 꺼내자마자 바로 되는 것을 원한다면 호스팅 API가 더 낫다.

시작하기

1. 저장소를 복제하고 ./install.sh를 실행해 클라이언트를 설치한다. Python 가상 환경이 갖춰지고 필요한 바이너리가 빌드된다. Windows 사용자는 독립 설치 파일을 쓸 수 있다.
2. source .venv/bin/activate로 환경을 활성화하고 하드웨어용 추가 패키지가 인식됐는지 확인한다. macOS와 Linux의 GPU 빌드는 서로 다른 백엔드 구성 요소를 설치하기 때문이다.
3. parallax serve -m Qwen/Qwen3.5-0.8B 같은 명령으로 로컬 노드를 시작한다. 합산 메모리에 들어가는 모델을 고른다.
4. 추가 기기를 같은 클러스터에 참여시켜 모델 조각이 더한 모든 기기에 걸치게 한다.
5. 앱이나 스크립트를 로컬 엔드포인트로 향하게 하고 OpenAI 호환 API에 보내듯 요청을 전송한다.