nCompass Technologies

nCompass Technologies

nCompass Technologies Inc. · 寫作 · 語音與語言 · 其他

nCompass Technologies 提供 AI 代理與 VS Code 擴充套件,能讀取 GPU 追蹤檔、指出 CPU 與 GPU 之間的效能瓶頸,並提出對推論堆疊的具體修正。

nCompass Technologies 的介面預覽

關於 nCompass Technologies

About

nCompass Technologies 是什麼

nCompass Technologies 是一家 Y Combinator 支持的創業公司,產品是一套給「要讓 AI 系統跑得快」的人用的效能分析工具。目前的主力產品把 AI 代理與輕量的 VS Code、Cursor 擴充套件綁在一起:你打開一份追蹤檔,問一句為什麼某個服務工作卡住,回覆會直接指向某個核心、某次記憶體複製,或排程上的空檔。

公司 2024 年以推論平台起家,賣的是沒有速率限制的 API。這門生意把團隊推向客戶反覆抱怨的同一件事:服務堆疊在紙上看起來沒問題,上線後卻很慢,而且沒有人說得出時間花在哪裡。為了回答這個問題而做的工具,最後變成現在賣的產品,客群是跑生成式推薦、排序與大規模 LLM 服務的平台團隊。

前提講起來簡單,做起來很難。找出效能問題的成因,比寫出修正那段程式碼要多花四到八倍的時間。工程師把好幾 GB 的追蹤檔複製到筆電,在一整面計數器裡往下捲,然後猜。nCompass 把這個循環收進一個編輯器視窗和一段對話裡。

限制和承諾一樣重要。這套工具給已經在用 NVIDIA 分析工具、而且能隨時重跑慢速工作負載的團隊使用。沒有追蹤檔,就沒有東西可分析。只有一個模型、也沒有延遲目標的小專案,能得到的幫助有限,而付費部分要跟業務談,網站上沒有結帳頁。

開始使用

  1. 到 ncompass.tech 建立帳號,從 VS Code 市集安裝擴充套件,或加進 Cursor。
  2. 用 Nsight Systems 或 PyTorch 分析工具對工作負載取樣,取得一份追蹤檔。
  3. 在擴充套件裡開啟追蹤檔,或用 npx ncompass 指令上傳到雲端,讓同事也能打開。
  4. 直接問代理一個具體問題,例如核心之間的空檔從哪裡來,然後讀它按影響排序的嫌疑清單。
  5. 用 TraceDiff 把新的執行結果和舊的並排比對,確認改動真的讓數字動了。

產品資訊

快速了解 nCompass Technologies 的定價、支援平台與效能。

免費方案是
付費方案$0 - Custom (team plans on request)
平台VS Code, Cursor, Claude Code, web console, CLI
開發者nCompass Technologies Inc.
類別寫作 · 語音與語言 · 其他
發布日期Sep 2025
最近更新Oct 2026
網站訪問量N/A
網站全球排名10.5M
API 提供狀態N/A

適合對象

這項工具最適合的使用者、任務與情境。

使用者

  • ML 平台工程師:代理聽得懂服務堆疊與分析工具輸出,你不必先解釋什麼是首字延遲。前提是手上有一份能重跑的追蹤檔。
  • GPU 與推論工程師:核心層級的分析才是這套工具真正的價值,尤其是開源社群還沒調到極致的自製堆疊。
  • 分配效能工作的技術主管:共用連結讓你把一整份調查交給別人,不必開螢幕分享。團隊本來就有取樣習慣時效果最好。
  • 寫 CUDA 的核心開發者:代理會讀 ncu 輸出、辨識重複出現的核心樣式,省下讀計數器資料的大量時間。

任務

  • 查清服務工作為何閒置:代理會排序核心之間的空檔,並指出背後是哪次記憶體複製或主機呼叫。
  • 改完設定後比較兩次執行:TraceDiff 把兩份追蹤檔對齊,直接指出哪個核心變慢,不必從總結數字去推。
  • 跟同事一起看追蹤檔:共用連結取代了傳檔案和「你看得到我的螢幕嗎」。
  • 準備重寫核心:工具把分析資料接回產生它的程式碼,你從熱點迴圈開始,而不是整個檔案從頭讀。

情境

  • 框架升級後出現延遲退化,團隊只有一週能找原因:差異檢視把範圍縮小到幾個核心。
  • 生成式推薦堆疊沒有公開的調校社群:vLLM 使用者能從 issue 和部落格得到的東西,這裡由代理補上。
  • 正在判斷 GPU 機隊該加卡還是該改程式碼:分析會顯示時間軸裡有多少是真的在算。

主要功能

會讀追蹤檔的 AI 代理

代理吃下一份效能分析檔和周圍的程式碼,回傳一份附上推論過程的瓶頸清單。它同時處理兩個層次:排程與資料搬移這類系統問題,以及佔用率、記憶體存取、指令組成這類核心問題。你可以反駁它的答案,要求它驗證另一個假設,這更像跟同事討論,而不是等一份報告出爐。

編輯器裡的追蹤檢視

Nsight Systems 與 PyTorch 分析工具的輸出都能在同一視窗開啟,追蹤檔不必離開你工作的機器。時間軸、核心清單與程式碼面板並排,從慢速核心跳到啟動它的那一行只要一次點擊。在網頁版檢視器裡捲過一整個下午的人,大概都知道差別在於不會看到迷失方向。

TraceDiff 執行比對

TraceDiff 把兩次執行並排,標出變化:哪些核心出現、哪些變慢、空檔在哪裡變大。部署後最常被問的那個問題,由它用資料回答,不是靠直覺。

追蹤檔分享與協作

追蹤檔能用 npx ncompass 指令上傳雲端,列出、下載、用連結分享。同事打開的是同一個畫面,同樣的縮放層級、同樣的註記。聽起來沒什麼,直到你真的要在聊天串裡除錯效能問題。

核心層級分析

慢速 AI 系統的時間多半花在核心上,一般用途的助理正是在這裡失手。代理會讀 ncu 風格的計數資料,找出執行中重複的核心樣式,並提出具體改法,例如切割區塊、向量化載入,或換一組啟動參數。公司表示自家團隊曾用這套工具在一天內寫出 Hopper 的 GEMM 核心,比 NVIDIA 的 CUTLASS 快約 3%,同樣的工作以前要花幾個月。

在 Cursor 與 Claude Code 裡直接運作

代理接上工程師本來就在用的編輯器,推論與改程式碼發生在同一個地方。你在 Cursor 裡要求分析,拿到診斷,修補版本已經起草好,不必換工具。對已經把 AI 輔助開發標準化的團隊來說,分析報告與 commit 之間那道落差就消失了。

優缺點

優點

  • 把追蹤檔閱讀、分享與診斷收進同一個編輯器視窗,正好是效能調查裡最慢的那一段。
  • 系統層與核心層的問題都能處理,做 CUDA 工作不必再開第二套工具。
  • TraceDiff 對「這次改動有沒有用」給得出有依據的答案,不必重跑整套基準測試。
  • VS Code 擴充套件可免費開始用,在跟業務談之前先拿真實工作負載試,成本很低。

缺點

  • 沒有追蹤檔就無用。工作負載無法重現或取樣時,代理沒有東西可以推理。
  • 整套流程圍繞 NVIDIA 的工具打造,用其他加速器的團隊會發現工作方式和自己的堆疊對不上。
  • 付費方案與團隊功能走業務流程,沒有公開價格,採購決策也因此拖得比較久。

常見問題

賣的是做 GPU 效能工作的 AI 代理與編輯器擴充套件。它讀取服務與訓練工作負載的分析追蹤檔,指出效能瓶頸,並建議程式碼改法。公司另外提供專案形式的工程協助。