wafer

Wafer의 에이전트는 단일 계층이 아니라 서빙 경로 전체를 프로파일링하며, 지연 시간이나 처리량이 스케줄링, 디코딩, 커널, 메모리 압박, 어긋난 하드웨어 궁합 중 어디서 오는지 짚어낸다. 이 진단이 이후 모든 것을 이끌므로, 변경은 추측이 아니라 실제 병목을 겨냥한다. 지연 시간 고원에 머문 팀에게 이건 추측과 측정의 차이다. 눈 감고 하는 조정은 이제 끝이다.

에이전트는 배칭, 디코딩, 양자화, 서빙 엔진, 커널, 하드웨어에 걸친 수많은 후보 구성을 생성한 뒤 각각을 측정한다. 이론만으로 배포되는 것은 없다. 이것이 플랫폼이 존재하는 핵심 이유다. 종이 위에서 빨라 보이는 것은 실전에서 다른 조합에 지는 경우가 많다. 직감이 아니라 숫자를 믿어라.

Wafer는 특정 모델 형태와 하드웨어 목표에 맞춰 융합 연산, 어텐션 경로, GEMM 변형, 디코드 커널을 작성한다. 이들은 CUDA 커널과 그 등가물이며, 같은 접근이 HIP, Triton, NKI를 아우르므로 NVIDIA, AMD 및 다른 가속기 스택에 걸친다. 맞춤 커널은 기성 경로가 성능을 놓칠 때 가장 크게 작용한다.

서빙 엔진은 정확한 모델, 트래픽 형태, 메모리 압박, 지연 시간 목표에 맞춰 조정되며 스케줄러 동작, KV 캐시 처리, 런타임 설정을 포함한다. 여기서의 자동 튜닝은 대부분의 팀이 손으로 돌렸을 수동 스윕을 없앤다. 엔진을 워크로드의 실제 동작에 맞춰 유지하기도 한다. 관리가 줄고 처리량이 는다.

Wafer는 추측 디코딩, FP8과 FP4 양자화, 배칭 전략, MoE 모델의 전문가 샤딩을 비교한다. 이 선택들은 서로 강하게 얽히므로, 하나씩 조정하는 것보다 함께 시험하는 편이 낫다. 대형 모델을 서빙하는 사람에게 디코드 전략은 가장 큰 이득이 숨은 곳인 경우가 많다. 이걸 건너뛰면 돈을 책상 위에 두고 가는 셈이다.

모든 후보는 배포되기 전에 정확성을 지키고 신뢰성 목표를 충족해야 한다. 최적화와 양자화가 출력을 조용히 바꿀 수 있는 만큼 이 안전장치는 중요하다. 사용자가 의존하는 결과를 말없이 포기하지 않고 속도 향상을 얻는다. 그게 핵심이다.

플랫폼은 배포 후에도 루프에 남는다. 트래픽이 옮겨가고 모델이 갱신되고 새 하드웨어가 도착하면 Wafer는 다시 측정하고 적응한다. 추론 성능은 흘러가므로 일회성 조정은 낡기 쉽다. 지속적 재조정이야말로 엔드포인트를 며칠이 아니라 몇 달 동안 경쟁력 있게 유지한다.