Trooper AI

Blib은 며칠이 아니라 몇 분 만에 온라인 상태가 된다. 구성을 주문하면 선택한 GPU, CPU, RAM, NVMe 스토리지로 서버가 프로비저닝된다. 그다음 SSH만 하면 된다. 시간 단위로 요금을 내면서 학습 실행을 바로 시작하고 싶을 때 이 속도가 중요하다.

Trooper AI에는 클릭 한 번으로 설치되는 사전 구성 템플릿이 15개 이상 있다. 고처리량 추론을 위한 vLLM, Ollama와 함께 채팅 인터페이스를 만드는 OpenWebUI, 이미지 생성을 위한 ComfyUI와 InvokeAI, 데이터 과학을 위한 Jupyter Notebook, 워크플로 자동화를 위한 n8n이나 Flowise를 아우른다. 각각 공식 코드를 가져오고 의존성을 정리하며 보안 포트를 스스로 설정한다. 환경과 씨름할 일이 없다. 보통 첫 오후를 통째로 잡아먹는 작업이다.

모든 서버는 SSH를 통해 완전한 root 권한을 준다. 제한된 샌드박스는 없다. 어떤 드라이버나 라이브러리가 허용되는지 지시하는 벤더도 없다. 무엇이든 설치하고 네트워크 구성을 고쳐 쓰며 어떤 템플릿도 다루지 않는 스택을 돌릴 수 있다. 워크플로가 표준 틀에 맞지 않을 때 원하는 바로 그것이다.

시간 단위 요금제는 쓰지 않는 서버를 동결하고 유휴 시간에 대한 지불을 멈출 수 있게 한다. 한 달에 한 번 파인튜닝하거나 정기적으로 추론 배치를 돌리는 것처럼 간헐적인 작업에는 머신을 계속 켜 두는 것보다 훨씬 저렴할 수 있다. 설정은 그대로 유지된다. 다음 작업이 들어오면 재개하면 된다.

서버는 독일 EU 데이터센터에서 GDPR 준수 조건으로 돌아가며, 원클릭으로 DPA 또는 AVV 계약에 서명할 수 있다. 이것이 GPU 대여를 규정 양식에 기재할 수 있는 GDPR 준수 GPU 서버로 바꿔 준다. 사용자 정의 가능한 네트워크 방화벽, 무차별 대입 공격과 DDoS 방어, 공용 포트의 무료 SSL도 있다. 데이터가 어디에 있는지 입증해야 하는 팀에게 서류 작업이 결정적 요인인 경우가 많다. 지루한 일이다. 그래도 중요하다.

하드웨어 라인업은 폭넓고 그 범위에 솔직하다. 소형 모델용 엔트리 V100 32 GB, 주류 작업용 최신 RTX 4080 Super Pro나 RTX 4090 Pro, 더 무거운 학습용 A100 40 GB, 최전선 추론용 새로운 RTX Pro 6000 Blackwell을 대여할 수 있다. RTX 4090 클라우드 박스를 중간 등급 선택으로 보고, 작업이 요구할 때만 올리면 된다. 구형 재활용 카드가 하위 가격대를 저렴하게 유지하고, Blackwell 머신이 예약형 주문 제작 배포를 담당한다.