Thunder Compute

Thunder Compute는 모델을 훈련하거나 평가를 돌리거나 에이전트에 연산을 쓰게 하는 사람을 위한 클라우드 GPU 제공자다. 몇 달 전에 장비를 준비하거나 랙을 예약할 필요가 없다. GPU를 요청하면 1분 이내에 받고, 코드를 돌리고, 작업이 멈추면 지불도 멈춘다. 한 줄로 요약하면 그렇다. 대기열도, 노는 하드웨어도 없다.

이 회사는 시스템 연구소로 시작했다. 창업자들은 Georgia Tech에서 만났는데, 그곳에서는 연구자들이 공유 스프레드시트로 몇 주 전에 GPU 시간을 예약했고, 다른 사람이 예약을 쥐고 있으면 실험은 멈춰 섰다. 그 병목이 제품이 됐다. Thunder Compute는 GPU를 가상화해 예약 사이에 놀리는 대신 하드웨어를 계속 돌린다. Y Combinator는 2024년 여름 배치에서 이 팀을 지원했다.

클라우드 GPU 가격은 기술만큼이나 중요한 selling point다. 대부분의 제공자는 시간 단위로 올림하고 나가는 데이터에도 요금을 매긴다. 여기는 다르다. 그럼 실제로 얼마나 아낄까. 지금 얼마나 많은 유휴 시간을 쓰고 있느냐에 달렸다.

서비스는 두 제품으로 나뉜다. 인스턴스는 접속해 계속 보유하는 영구 GPU 장비이며 실행 중에는 분 단위로 청구된다. 샌드박스는 수명이 짧은 격리 작업으로, 몇 줄의 Python으로 수백 개까지 펼칠 수 있고 초 단위로 청구된다. 둘 다 같은 플릿에서 돈다. 필요할 때 A100 대여와 H100 GPU 클라우드 용량이 남아 있는지가 중요하다면 이 점이 의미가 있다. 주요 한계는 범위다. 이미 코드를 쓸 수 있는 사람을 위한 인프라다. 드래그 앤 드롭 방식의 노코드 빌더는 없고, 워크로드가 노트북 GPU에 들어간다면 시간 단위 대여는 대개 이득이 없다. 무엇을 사는지 알고 시작하자.

시작하는 방법

1. 콘솔에서 가입하고 결제 수단을 추가한다. GPU가 켜지는 순간부터 과금이 시작되기 때문이다.
2. 편집기나 인터페이스를 고른다. VS Code 확장, 명령줄, 웹 콘솔, 에이전트 워크플로용 MCP 서버가 있다.
3. tnr create --gpu a100 같은 단일 명령으로 인스턴스를 만들거나, thunder_sandbox 라이브러리로 Python에서 샌드박스를 연다.
4. VS Code, CLI, 브라우저에서 접속해 기존 코드를 GPU에서 돌린다.
5. 환경을 유지하고 싶으면 끝날 때 디스크 스냅샷을 남기고, 그다음 인스턴스를 꺼서 미터를 멈춘다.