nCompass Technologies

nCompass Technologies とは

nCompass Technologies は、AI システムの速度を維持する担当者向けの性能分析ツールを作る Y Combinator 支援のスタートアップだ。現在の主力製品は、AI エージェントと軽量な VS Code / Cursor 拡張機能の組み合わせである。トレースを開き、サービングジョブが止まる理由を尋ねると、特定のカーネル、メモリコピー、スケジューリングの隙間のいずれかを指し示す答えが返る。

同社は 2024 年、レート制限なしの API を売る推論プラットフォームとして出発した。その事業がチームを顧客の繰り返す不満へと押しやった。サービングスタックは紙の上では問題なく見えるのに本番では遅く、誰も時間の行き先を説明できない。この問いに答えるために作った道具が、いま売っている製品になった。狙うのは、生成レコメンダー、ランキング、大規模な LLM サービングを回すプラットフォームチームである。

前提は口にするのは簡単で、実行は難しい。性能問題の原因を見つけるには、直すコードを書く時間の四倍から八倍かかる。エンジニアは数ギガバイトのトレースをノート PC にコピーし、カウンタの壁をスクロールして勘を働かせる。nCompass はこのループをエディタの一画面と会話に畳み込む。

制約は約束と同じだけ重い。すでに NVIDIA のプロファイラを使っていて、遅い処理を必要時に再現できるチーム向けの道具だ。トレースがなければ分析する対象がない。モデル一つでレイテンシ目標もない小規模な案件では得るものが少なく、有料部分は決済ページではなく営業との会話で決まる。

はじめかた

1. ncompass.tech でアカウントを作り、VS Code マーケットプレイスから拡張機能を入れる。Cursor に追加してもよい。
2. Nsight Systems か PyTorch プロファイラで対象の処理を計測し、トレースファイルを用意する。
3. 拡張機能でトレースを開くか、npx ncompass コマンドでクラウドに送り、チームの誰でも見られるようにする。
4. カーネル間の空き時間がどこから来るのかなど、具体的な問いをエージェントに投げ、影響度順に並んだ容疑者リストを読む。
5. 新しい実行と前回の実行を TraceDiff で比べ、変更が数字を動かしたかを確かめる。