ComputeArena
Base Compute Pty. Ltd. · 코딩 · 기타
ComputeArena는 로컬 AI를 위한 커뮤니티 벤치마크 플랫폼이다. 실제 기기에서 AI 처리량 측정값을 모아, 특정 칩에서 프롬프트를 처리하는 속도(prefill)와 토큰을 생성하는 속도(decode)를 기준으로 모델 순위를 매긴다. macOS나 Linux에 CLI를 설치하고 모델을 오프라인으로 돌린 뒤, 공유하고 싶을 때 서명된 보고서를 제출하면 된다. 그 결과로 나오는 순위표는 단일 연구소의 테스트 벤치가 아니라 사람들이 실제로 가진 하드웨어로 만들어진다.
ComputeArena 소개
ComputeArena란 무엇인가
ComputeArena는 스펙 문서가 답하지 못하는 질문에 답한다. 지금 가진 하드웨어에서 특정 모델이 실제로 얼마나 빨리 도는가. 벤더 자료를 믿는 대신, 자신의 노트북과 데스크톱, 워크스테이션에서 모델을 돌리는 자원봉사자들의 측정값을 모은다. 각 결과는 커뮤니티의 실제 하드웨어에서 생성된 서명된 보고서로 이어진다.
플랫폼은 결과를 모델, 양자화 수준, 칩별로 정렬하고, prefill(모델이 프롬프트를 읽는 속도)과 decode(모델이 답을 쓰는 속도)를 별도 수치로 보여준다. 이 구분은 중요하다. 긴 프롬프트를 잘 다루는 칩이 항상 토큰을 빠르게 내보내는 것은 아니기 때문이다.
단일한 정답이 되지 못하는 이유는 두 가지다. 첫째, 결과는 실행 환경과 양자화, 컨텍스트 길이의 정확한 조합에 달려 있어 조건이 다른 측정값은 직접 비교할 수 없다. 둘째, 초점은 처리량이지 답변 품질이 아니다. 그래서 어느 모델이 글을 더 잘 쓰는지는 알려주지 않는다.
시작하기
- macOS나 Linux에서 설치 명령을 실행한다. 설치 프로그램이 최신 안정 버전을 받아오며 curl, tar, Python 3가 필요하다. sudo는 쓰지 않는다.
- 대화형 메뉴에서 실행 환경을 고른다. ComputeArena는 BaseRT와 llama.cpp를 지원한다.
- 모델과 양자화 수준을 선택하고 벤치마크를 시작한다. 모든 과정은 오프라인으로 돌아간다.
- 실행이 끝날 때까지 기다린 뒤, 자신의 기기에 저장된 보고서를 확인한다.
- 공개하고 싶은 벤치마크를 제출할 준비가 되면 로그인한다.
제품 정보
ComputeArena의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 로컬 AI 애호가
- 하드웨어 구매자
- 모델 실험가
작업
- 로컬 LLM 성능 측정
- 양자화 수준 선택
- 하드웨어 업그레이드 검증
활용 상황
- 기기가 모델을 편하게 돌릴 수 있는지 판단
- 한 기기에서 실행 환경 비교
- 구성의 이상치 발견
주요 기능
prefill과 decode 분리
ComputeArena는 실행마다 두 수치를 보고한다. prefill PP512와 decode TG128이다. prefill은 모델이 프롬프트를 읽는 속도, decode는 답을 되쓰는 속도를 다룬다. 둘을 나눠 두면 칩이 작업 부하의 어느 절반을 더 잘 감당하는지 보인다.
커뮤니티가 제출한 벤치마크
결과는 단일 연구소가 아니라 자원봉사자에게서 온다. 각 항목은 기여자의 기기에서 생성된 서명된 보고서로 이어지고, 순위표는 누가 언제 실행했는지 보여준다. 통제된 테스트 벤치 하나가 아니라 실제 구성의 폭을 얻는다.
모델, 양자화, 칩 필터
순위표에서는 결과를 모델, 실행 환경, 양자화, 칩으로 좁힐 수 있다. 사이트 전체에 수백 개 구성이 올라 있어, 자신의 기기에 맞는 비교를 가장 빠르게 찾는 수단이 필터이며, 구매를 고민하는 칩과 항목을 견주는 데도 도움이 된다.
오프라인 실행과 선택적 공유
CLI는 계정 없이 벤치마크를 돌리고, 보고서는 제출을 결정할 때까지 디스크에 남는다. 원하는 만큼 시험하고 만족스러운 실행만 공개하면 된다.
실행 환경 선택
실행을 시작할 때 BaseRT와 llama.cpp 중에서 고른다. 같은 모델을 양쪽에 통과시켜 보자. 두 번 돌리면 실리콘뿐 아니라 소프트웨어 스택이 처리량을 얼마나 바꾸는지 드러난다.
Apple과 외장 GPU의 칩 커버리지
항목은 Apple Metal 칩과 Vulkan 같은 백엔드를 통한 외장 GPU를 아우른다. 이 조합 덕분에 비슷한 부하에서 Apple 통합 칩과 전용 그래픽 카드를 비교할 수 있다.
공개 기여자 프로필
기여자에게는 프로필이 있어, 특정인의 제출을 따라가거나 어떤 결과 뒤의 이력을 확인할 수 있다. 그렇지 않으면 떠돌던 수치에 약간의 책임감이 더해진다.
장단점
장점
- 수치가 여러 기여자의 실제 하드웨어에서 오므로, 단일 연구소 결과가 아니라 현실적인 범위를 얻는다.
- prefill과 decode를 나누는 편이 하나로 섞은 점수보다 유용하다.
- 그게 핵심이다. 벤치마크 실행에 계정이 필요 없고, 보고서는 제출하기 전까지 비공개로 남는다.
- 모델, 양자화, 칩으로 거르면 비교가 간단해진다.
단점
- 실행 환경, 양자화, 컨텍스트 길이가 맞지 않으면 결과를 엄격히 비교할 수 없어, 각 항목 뒤의 구성을 확인해야 한다.
- 처리량만 측정하므로 출력 품질은 전혀 평가하지 않는다. 따라서 자신의 작업에 더 나은 모델을 고르는 데는 도움이 되지 않는다.
- 현재는 데스크톱 전용이다. macOS와 Linux를 지원하며, 빠른 시작 페이지에 Windows 경로는 없다.
자주 묻는 질문
로컬 AI를 위한 커뮤니티 벤치마크 플랫폼이다. 사람들이 자기 기기에서 모델을 돌려 처리량 결과를 제출하고, 그것이 모델, 양자화, 칩별로 순위가 매겨진다. 실제 하드웨어에서 모델이 얼마나 빨리 도는지 알고 싶은 사람에게 맞는다. 책상 위 노트북이든 벽장 속 워크스테이션이든 마찬가지다.
관련 콘텐츠
ComputeArena와 관련된 도구, 스킬, 아티클을 살펴보세요.
ComputeArena 대안
Forefront
Forefront · 코딩Forefront는 오픈소스 AI로 무언가를 만드는 웹 플랫폼이다. 대표적인 오픈소스 언어 모델을 자신의 데이터로 미세 조정하고, 성능을 평가하고, API로 실행하거나 내보내 직접 호스팅할 수 있다. 폐쇄형 플랫폼의 편의를 원하면서도 모델과 데이터의 소유권은 놓지 않으려는 개발자가 대상이다.
Startkit
StartKit.AI · 코딩Startkit은 AI SaaS와 AI 래퍼 제품을 만들기 위한 보일러플레이트다. 지루한 부분을 미리 연결해 둔 AI 스타트업 보일러플레이트라고 생각하면 된다. 인증, Stripe와 Lemon Squeezy 결제, 사용량 제한, 트랜잭션 이메일, 그리고 OpenAI, Anthropic, Groq, Llama와 통신하는 AI API 스타터 키트가 포함된다. 저장소를 복제하고 가격을 정한 뒤 사용자가 실제로 돈을 내는 부분에 착수하면 된다. React와 Tailwind 위의 Next.js로 만들어졌기 때문에 보일러플레이트 코드의 상당 부분이 이미 익숙하게 느껴진다.
Testim
Tricentis · 코딩Testim은 웹, 모바일, Salesforce 애플리케이션 전반에 걸쳐 엔드투엔드 테스트를 만들고 실행하는 AI 기반 테스트 자동화 플랫폼이다. 머신러닝에 기대어 인터페이스가 바뀌어도 테스트를 안정적으로 유지하므로, 팀은 깨진 셀렉터를 고치는 데 쓰는 시간을 줄인다. 오늘부터 쓸 수 있는 자동화 테스트 도구치고 나쁘지 않다. 브라우저에서 동작을 녹화해 테스트를 만들고, 더 세밀한 제어가 필요하면 JavaScript를 더한다. 바쁜 QA 팀에게 탄탄한 선택이다.