nCompass Technologies

nCompass Technologies란

nCompass Technologies는 AI 시스템의 속도를 지키는 사람들을 위한 성능 분석 도구를 만드는 Y Combinator 지원 스타트업이다. 지금의 주력 제품은 AI 에이전트와 가벼운 VS Code, Cursor 확장의 조합이다. 트레이스를 열고 서빙 작업이 왜 멈추는지 물으면 특정 커널, 메모리 복사, 스케줄링 공백 중 하나를 가리키는 답이 돌아온다.

회사는 2024년 요청 제한이 없는 API를 파는 추론 플랫폼으로 출발했다. 그 사업이 팀을 고객이 반복하던 문제로 밀어 넣었다. 서빙 스택은 문서상 멀쩡한데 운영에서는 느리고, 시간이 어디로 가는지 아무도 설명하지 못한다. 이 질문에 답하려고 만든 도구가 지금 파는 제품이 됐다. 겨냥하는 대상은 생성형 추천, 랭킹, 대규모 LLM 서빙을 돌리는 플랫폼 팀이다.

전제는 말하기 쉽고 실행은 어렵다. 성능 문제의 원인을 찾는 데는 고치는 코드를 쓰는 시간의 네 배에서 여덟 배가 걸린다. 엔지니어는 몇 기가바이트짜리 트레이스를 노트북으로 복사하고, 카운터 벽을 스크롤하며 짐작한다. nCompass는 이 반복을 에디터 창 하나와 대화로 압축한다.

한계도 약속만큼 중요하다. 이미 NVIDIA 프로파일러를 쓰고 느린 작업을 필요할 때 다시 돌릴 수 있는 팀을 위한 도구다. 트레이스가 없으면 분석할 대상도 없다. 모델 하나에 지연 목표도 없는 작은 프로젝트가 얻을 것은 적고, 유료 부분은 결제 페이지가 아니라 영업과의 대화로 정해진다.

시작하기

1. ncompass.tech에서 계정을 만들고 VS Code 마켓플레이스에서 확장을 설치한다. Cursor에 추가해도 된다.
2. Nsight Systems나 PyTorch 프로파일러로 대상 작업을 측정해 트레이스 파일을 확보한다.
3. 확장에서 트레이스를 열거나 npx ncompass 명령으로 클라우드에 올려 팀원도 같은 파일을 보게 한다.
4. 커널 사이의 빈 시간이 어디서 오는지처럼 구체적인 질문을 에이전트에 던지고, 영향도 순으로 정리된 의심 목록을 읽는다.
5. 새 실행과 이전 실행을 TraceDiff로 비교해 변경이 실제로 수치를 움직였는지 확인한다.