nCompass Technologies
nCompass Technologies Inc. · Schreiben · Stimme & Sprache · Sonstiges
nCompass Technologies bietet einen KI-Agenten und eine VS Code-Erweiterung, die GPU-Traces lesen, Engpässe zwischen CPU und GPU finden und konkrete Korrekturen für Inferenz-Stacks vorschlagen.
Über nCompass Technologies
About
Was ist nCompass Technologies
nCompass Technologies ist ein von Y Combinator gefördertes Startup hinter einem Werkzeug für GPU-Performance und Profiling, gedacht für alle, die KI-Systeme schnell halten. Das aktuelle Produkt verbindet einen KI-Agenten mit einer schlanken Erweiterung für VS Code und Cursor. Sie öffnen eine Trace, fragen, warum ein Serving-Job hängt, und bekommen eine Antwort, die einen bestimmten Kernel, eine Speicherkopie oder eine Lücke im Scheduling benennt.
Das Unternehmen startete 2024 als Inferenz-Plattform mit einer API ohne Ratenlimit. Dieses Geschäft brachte das Team zu dem Problem, das Kunden immer wieder schilderten: Der Serving-Stack sah auf dem Papier gut aus und lief in der Produktion langsam, und niemand wusste, wohin die Zeit ging. Das Werkzeug, das diese Frage beantworten sollte, wurde zum heutigen Produkt. Es richtet sich an Plattform-Teams, die generative Recommender, Ranking und LLM-Serving in großem Maßstab betreiben.
Die Grundidee ist leicht zu formulieren und schwer umzusetzen. Die Ursache eines Performance-Problems zu finden dauert vier- bis achtmal länger als das Schreiben des Codes, der sie behebt. Trace-Analyse heißt hier: Ingenieure kopieren eine Trace mit mehreren Gigabyte auf den Laptop, scrollen durch eine Wand von Zählern und raten. nCompass holt diese Schleife in ein Editorfenster und ein Gespräch.
Die Grenzen zählen so viel wie das Versprechen. Das Werkzeug ist für Teams gedacht, die bereits die Profiler von NVIDIA nutzen und eine langsame Last bei Bedarf reproduzieren können. Ohne Trace gibt es nichts zu analysieren. Ein kleines Projekt mit einem Modell und ohne Latenzziel gewinnt wenig, und den bezahlten Teil klären Sie im Gespräch mit dem Vertrieb, nicht auf einer Checkout-Seite.
Erste Schritte
- Legen Sie ein Konto auf ncompass.tech an und installieren Sie die Erweiterung aus dem VS Code Marketplace oder fügen Sie sie in Cursor hinzu.
- Profilen Sie Ihre Last mit Nsight Systems oder dem PyTorch-Profiler, damit eine Trace-Datei entsteht.
- Öffnen Sie die Trace in der Erweiterung oder laden Sie sie mit dem Befehl npx ncompass in die Cloud, damit Ihr Team sie ebenfalls öffnen kann.
- Stellen Sie dem Agenten eine konkrete Frage zum Lauf, etwa woher die Leerlaufphasen zwischen den Kernels kommen, und lesen Sie die nach Wirkung sortierte Liste.
- Vergleichen Sie den neuen Lauf mit TraceDiff gegen den alten, um zu prüfen, ob die Änderung die Zahlen wirklich bewegt hat.
Produktinformationen
Ein kurzer Überblick über Preise, unterstützte Plattformen und die Leistung von nCompass Technologies.
Am besten für
Die Nutzer, Aufgaben und Szenarien, für die dieses Tool am besten passt.
Nutzer
- ML-Plattform-Engineers
- GPU- und Inferenz-Engineers
- Technische Leiter, die Performance-Arbeit verteilen
- CUDA-Entwickler
Aufgaben
- Herausfinden, warum ein Serving-Job Leerlauf hat
- Zwei Läufe nach einer Konfigurationsänderung vergleichen
- Eine Trace mit einem Kollegen durchgehen
- Einen Kernel-Umbau vorbereiten
Szenarien
- Nach einem Framework-Update tritt eine Latenz-Regression auf und das Team hat eine Woche Zeit
- Ein generativer Recommender-Stack hat keine öffentliche Community, die ihn abstimmt
- Sie müssen entscheiden, ob die GPU-Flotte mehr Karten oder besseren Code braucht
Wichtigste Funktionen
KI-Agent, der Ihre Traces liest
Der Agent bekommt eine Profiling-Datei und den umgebenden Code und liefert eine kurze Liste von Engpässen samt Begründung. Er arbeitet auf zwei Ebenen: Systemfragen zu Scheduling und Datenverkehr, dazu Kernel-Fragen zu Auslastung, Speicherzugriff und Instruktionsmix. Sie können seiner Antwort widersprechen und eine andere Hypothese prüfen lassen, was näher an einem Gespräch mit einem Kollegen ist als an einem Bericht.
Trace-Ansicht im Editor
Ausgaben von Nsight Systems und dem PyTorch-Profiler öffnen sich im selben Fenster, die Trace muss also nicht von der Arbeitsmaschine weg. Zeitachse, Kernel-Liste und Codebereich liegen nebeneinander, und der Sprung von einem langsamen Kernel zu der Zeile, die ihn gestartet hat, kostet einen Klick. Wer schon einen Nachmittag in einem Web-Viewer gescrollt hat, weiß, dass der Unterschied vor allem darin liegt, den Faden nicht zu verlieren.
TraceDiff für den Lauf-Vergleich
TraceDiff stellt zwei Läufe nebeneinander und markiert, was sich geändert hat: welche Kernels auftauchten, welche langsamer wurden und wo die Lücken wuchsen. Das ist die Funktion, die die häufigste Frage nach einem Deployment beantwortet, und zwar mit Daten statt mit Bauchgefühl.
Traces teilen und zusammenarbeiten
Traces lassen sich mit dem Befehl npx ncompass in die Cloud laden, auflisten, herunterladen und per Link teilen. Kollegen öffnen dieselbe Ansicht, mit gleichem Zoom und gleichen Anmerkungen. Das klingt nach einer Kleinigkeit, bis Sie ein Performance-Problem in einem Chat-Thread debuggen müssen.
Analyse auf Kernel-Ebene
In einem langsamen KI-System geht die Zeit vor allem in den GPU-Kernel verloren, und genau dort scheitern allgemeine Assistenten. Der Agent liest Zählerdaten im ncu-Stil, erkennt wiederkehrende Kernel-Muster und schlägt konkrete Änderungen vor: Tiling, vektorisierte Ladevorgänge oder eine andere Startkonfiguration. Das Unternehmen berichtet, sein eigenes Team habe mit dem Werkzeug an einem Tag einen Hopper-GEMM-Kernel gebaut, der rund 3 Prozent schneller als NVIDIAs CUTLASS lief, eine Arbeit, die vorher Monate dauerte.
Arbeitet in Cursor und Claude Code
Der Agent hängt an den Editoren, die Ingenieure ohnehin nutzen, sodass Analyse und Code-Änderung an derselben Stelle passieren. Sie fragen in Cursor nach der Analyse, bekommen die Diagnose und haben den Patch bereits entworfen, ohne das Werkzeug zu wechseln. Für Teams, die auf KI-gestützte Entwicklung setzen, verschwindet der Sprung zwischen Profiling-Bericht und Commit.
Vor- und Nachteile
Vorteile
- Bündelt Trace-Lektüre, Teilen und Diagnose in einem Editorfenster, also genau den langsamen Teil jeder Performance-Untersuchung.
- Deckt System- und Kernel-Fragen ab, ein zweites Werkzeug für CUDA-Arbeit ist nicht nötig.
- TraceDiff liefert eine belastbare Antwort auf „hat die Änderung geholfen“, ohne eine komplette Benchmark-Suite zu wiederholen.
- Der Einstieg mit der VS Code-Erweiterung ist kostenlos, ein Test mit einer echten Last kostet also wenig, bevor Sie mit dem Vertrieb sprechen.
Nachteile
- Ohne Trace nutzlos. Lässt sich eine Last weder reproduzieren noch profilen, hat der Agent nichts, worüber er nachdenken kann.
- Das Werkzeug ist um die NVIDIA-Tools herum gebaut, Teams mit anderen Beschleunigern werden merken, dass der Ablauf nicht zu ihrem Stack passt.
- Bezahlte Pläne und Team-Funktionen laufen über den Vertrieb: kein veröffentlichter Preis und ein längerer Weg zur Kaufentscheidung.
Häufige Fragen
Einen KI-Agenten und eine Editor-Erweiterung für Performance-Arbeit auf GPUs. Er liest Profiling-Traces aus Serving- und Trainingslasten, zeigt die Engpässe und schlägt Code-Änderungen vor. Dazu bietet das Unternehmen Ingenieurshilfe auf Projektbasis an.
Ähnliche Inhalte
Entdecke passende Tools, Skills und Artikel zu nCompass Technologies.
Alternativen zu nCompass Technologies
Claude for Google Workspace
Anthropic · Schreiben · Produktivität · BusinessClaude for Google Workspace öffnet eine Claude-Seitenleiste in Google Docs, Sheets und Slides. Sie liest die geöffnete Datei und ändert sie direkt im Dokument.
Claude Haiku 5.5
Anthropic · Schreiben · Coding · ChatbotClaude Haiku 5.5 ist Anthropics schnellstes und günstigstes kleines Modell: 0,10 US-Dollar pro Million Eingabe-Tokens und ein Kontext von 1M Tokens.
NoteWorthy
Suman Hansada · Schreiben · Produktivität · KI-AssistentNoteWorthy ist eine Notizen-App für iPhone, iPad und Mac, die Titel schreibt, Formatierung aufräumt, lange Notizen zusammenfasst und jede Notiz mit KI direkt auf dem Gerät einsortiert. Kein Konto, kein Upload, keine Netzwerkanfrage.