RightNow AI

어시스턴트는 눈앞의 GPU에 맞춰져 있어, 제안이 그 아키텍처의 한계를 반영한다. 일반론이 아니다. 코드와 프로파일링 결과를 함께 읽고, 적용하고 다시 측정할 수 있는 커널 변경을 내놓는다. 이 조합이 그럴듯한 코드 답변과 실제로 더 빨라지는 답변을 가른다.

커널 지표는 입력하는 동안 에디터에 나타난다. 별도 프로파일링을 기다리지 않는다. CodeLens가 성능 숫자를 그것이 설명하는 함수 옆에 둔다. 느려지는 변경은 아직 편집하는 중에 발견된다. 프로파일링은 가끔 하는 절차가 아니라 일상 작업과 나란히 도는 일이 된다.

에뮬레이터는 86개 이상의 NVIDIA 아키텍처에서 CUDA 커널을 시험한다. A100, H100, H200을 포함하며 오차는 2% 미만이다. 갖고 있지 않은 하드웨어를 확인할 수 있다. 추정이 아니라 에뮬레이션하기에 숫자는 실제 실리콘이 보고하는 값에 가깝게 남는다. RightNow AI에 따르면 이것이 하드웨어 예산이 없는 학생과 작은 팀의 문턱을 낮춘다.

카운터의 벽을 돌려주는 대신, 프로파일링 터미널은 무엇이 잘못됐고 어떻게 고칠지를 쉬운 말로 설명한다. 바탕이 되는 Nsight Compute 명령도 대신 만들어주므로, 같은 측정을 손으로 확인하거나 다시 돌릴 수 있다. 프로파일링은 Nsight 데이터에 기대를 둔 채로, 그것을 읽는 일이 쉬워진다.

이 도구는 커널 벤치마킹을 한다. 블록 크기, 스레드 수, 메모리 배치를 스스로 훑고 가장 빠른 설정을 보고한다. 후퇴를 시간축으로 추적할 수도 있어, 느린 커밋이 막연한 감이 아니라 숫자로 드러난다. 상수를 바꾸고 실행하고 결과를 적는 수작업 루프가 사라진다.

Godbolt 스타일 화면이 각 커널이 컴파일되는 어셈블리를 보여준다. PTX와 SASS 명령이 소스 줄에 붙는다. 줄에 커서를 올리면 GPU가 실제로 실행하는 것이 보인다. 변경이 하드웨어에 닿았는지를 두고 벌어지는 논쟁이 정리된다. 저수준 점검은 에디터 안에 머문다. 별도 도구로 옮기지 않는다.

원격 GPU 가상화 덕분에 Mac이나 가벼운 노트북을 쓰는 사람도 설정 없이 클라우드 H100에서 코드를 실행한다. Ollama, vLLM, LM Studio를 통한 로컬 LLM 지원은 전용 코드를 외부 서비스에서 멀어지게 둔다. 기밀성과 원격 성능은 더 이상 맞바꿀 대상이 아니다.