TurboQuant

TurboQuant는 LLM 추론의 메모리 사용량을 줄이기 위해 만든 벡터 양자화 알고리즘이다. Google Research가 공개했고 2026년 3월 24일 블로그 글에서 공식 발표했다. 기반 논문은 2025년 4월 arXiv에 올라 이후 ICLR 2026에 채택됐다. 제1저자는 Google Research의 연구 과학자 Amir Zandieh다.

이 기법이 푸는 문제는 계산이 아니라 메모리다. 트랜스포머 모델이 토큰을 하나 생성할 때마다, 계산을 다시 하지 않으려고 이전 모든 토큰의 키와 값 벡터를 저장한다. 이 저장 공간이 KV 캐시이며 문맥 길이에 따라 커진다. 모델을 128K 토큰까지 밀어붙이면 캐시가 모델 가중치 자체보다 커질 수 있다. 장문맥 추론 서비스가 이렇게 비싼 이유는 무엇인가. GPU를 먼저 채우는 것이 가중치가 아니라 이 캐시이기 때문이다.

옛 양자화 방식의 함정은 오버헤드다. 대부분은 스케일 계수와 영점 같은 완전 정밀도 상수 블록을 유지하는데, 값마다 1~2비트를 더해 절감분의 일부를 되돌려준다. TurboQuant는 이를 피한다. 무작위 회전을 적용해 벡터 좌표를 거의 독립적으로 만든 뒤, 블록별 보정 데이터를 들고 다닐 필요가 없는 최적 스칼라 양자화기를 돌린다.

추론 비용을 내는 사람이라면 누구에게나 중요한 이야기다. GPU 메모리가 바닥나면 모델을 아예 서비스할 수 없다. 더 싸고 작은 KV 캐시는 같은 하드웨어에서 더 긴 문맥을 뜻하고 요청당 비용을 낮춘다. 주요 한계는 이것이 연구 기법이지 완성된 제품이 아니라는 점이다. 호출할 공개 API가 없다. 추론 엔진을 통해 도입하거나 알고리즘을 직접 통합해야 한다.

시작하기

1. Google Research 블로그 글을 읽고 2단계 파이프라인과 각 단계의 역할을 이해한다.
2. arXiv에서 논문을 받아 벤치마크 표를 실제로 돌리는 모델과 대조한다.
3. 자신의 추론 스택이 사용자 정의 KV 캐시 양자화를 지원하는지 확인한다. 지원하지 않으면 통합 작업은 엔지니어링 팀 몫이다.
4. 자기 워크로드로 시험한다. 공개된 효과는 표준 벤치마크에서 측정된 것이고 자신의 트래픽은 다르게 나올 수 있다.
5. 압축 전후의 메모리와 지연을 비교하고, 검토 중인 압축 수준이 출력을 쓸 만하게 유지하는지 판단한다.