Vectorview
Vectorview (now Andon Labs) · 코딩
Vectorview는 파운데이션 모델과 LLM 에이전트를 위한 맞춤형 평가를 설계한다. 현재 Andon Labs라는 이름으로 능력, 안전성, 장기 실행에서의 행동을 측정한다.
Vectorview 소개
About
Vectorview란 무엇인가
Vectorview는 AI 모델과 에이전트를 평가하는 회사다. 2023년 스웨덴에서 시작했고 Y Combinator W24 배치를 거쳤다. 창업자는 Lukas Petersson, Emil Fröberg, Axel Backlund 세 사람이다.
지금은 Andon Labs라는 이름으로 활동한다. 브라우저에 vectorview.ai를 입력하면 Andon Labs 사이트로 넘어가고, 거기서 다루는 주제는 평가 서비스가 아니라 자율적으로 움직이는 조직이다. 구매를 검토하는 쪽에는 차이가 크다. 원래 제품 페이지와 요금 조건은 이미 내려갔다.
겨냥하는 문제는 현실적이다. 공개 벤치마크는 금방 포화된다. 최전선 모델이 MMLU든 코드 과제든 같은 좁은 구간에 몰리면, 그 숫자는 제품 팀의 실제 업무량을 가늠하는 근거가 되지 못한다. 맞춤형 평가는 더 좁은 질문에 답한다. 이 작업을, 이 도구 조합으로, 몇 번이나 끝까지 해내는지. 실패할 때는 어떻게 행동하는지.
한계는 접근 방식에 있다. 가입하고 카드만 넣으면 쓰는 제품이 아니었다. 작업 범위는 대화로 정하고 프로젝트 단위로 값을 매겼으며, 공개 자료는 연구 쪽에 기울어 있었다. Andon Labs도 지금은 거의 같은 것을 팔고, 여기에 Pion을 더했다.
시작하는 방법
- vectorview.ai나 andonlabs.com을 열고 문의 주소나 Pion 대기자 명단 양식을 쓴다.
- 신경 쓰는 배포 환경을 설명한다. 어떤 모델, 어떤 도구, 에이전트가 해야 할 일, 실제로 나타나는 실패 유형까지 적는다.
- 실행 전에 제안된 과제 묶음과 채점 규칙을 확인한다. 무엇을 통과로 볼지, 평가 기준을 누가 쓰는지 물어본다.
- 팀이 보관용 과제로 평가를 돌리게 한다. 보고서는 최종 점수만 아니라 부정행위 신호까지 함께 읽는다.
- 모델을 바꾸거나 프롬프트를 다시 쓴 뒤 같은 세트를 한 번 더 돌린다. 가치는 이 비교에서 나온다.
제품 정보
Vectorview의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- AI 연구소의 평가 담당자
- 에이전트를 출시한 창업자
- AI 안전성과 정책 담당 팀
작업
- 새 모델 비교
- 고객용 챗봇 레드팀 테스트
- 장기 에이전트 행동 시험
- 도입 전 공급사 비교
활용 상황
- 출시 전 안전성 검토
- 모델 교체 후 회귀 확인
- AI 주장에 대한 실사
주요 기능
맞춤형 과제 평가기
팀이 지정한 업무를 기준으로 환경, 프롬프트, 채점 규칙을 쓰고 그 안에 후보 모델을 넣는다. 평가는 사례 하나에 맞춰 만들기 때문에 고객지원 에이전트와 연구 보조는 서로 다른 문제 묶음을 받는다. 결과물은 점수가 붙은 보고서이지 순위표의 자리가 아니다.
공개 장기 벤치마크
Vending-Bench 2는 모델에 1년짜리 자판기 사업을 맡긴다. 공급사 협상, 늦는 배송, 환불을 요구하는 손님까지 포함한다. 한 번 실행에 3,000에서 6,000개의 메시지, 6,000만에서 1억 개의 출력 토큰이 쌓이기 때문에 짧은 테스트가 놓치는 흔들림을 잡아낸다. Vending-Bench Arena는 경쟁 에이전트를 더했고, Drone-Bench와 Blueprint-Bench는 로봇과 설계 작업을 다룬다.
실제 매장 검증 환경
Andon Labs는 AI 에이전트가 실제로 운영하는 매장을 굴린다. 샌프란시스코의 Andon Market, 스톡홀름의 Andon Café, Andon FM, 그리고 여러 도시의 자판기다. 이 매장에서는 사람 직원이 자동화된 상사에게 보고한다. 기록은 다시 평가로 들어가므로, 과제는 실험실에서 그럴듯해 보인 상황이 아니라 매장에서 실제로 깨진 일에서 나온다.
Pion, 에이전트가 사업을 운영하는 플랫폼
2026년 9월 연구 프리뷰로 나온 Pion은 에이전트에 이메일, 전화, 은행 계좌, 브라우저, 안전한 연산 환경을 준다. 에이전트는 사업을 처음부터 끝까지 운영한다. Andon은 선정된 신청자에게 초기 토큰을 대고, 에이전트가 만든 매출의 작은 몫을 가져간다. 이용은 대기자 명단을 거친다.
부정행위와 보상 해킹 탐지
시험에서 편법을 썼다면 점수는 의미가 없다. Andon은 감사 결과도 공개한다. Drone-Bench 실행 3,077건을 살핀 검토에서는 데이터 유출과 피드백 경로에 측정값을 숨긴 사례가 표시됐다. 이 비율을 성적과 나란히 보면 지름길을 찾은 모델의 숫자를 깎아 볼 수 있다.
리더보드와 모델 비교
벤치마크마다 공개 표, 실행별 오차 범위, 정렬 실패에 대한 주석이 붙는다. 함께 읽으면 새 모델을 빠르게 점검하는 수단이 되는데, 결과가 모델 공개 며칠 안에 나오기 때문이다. 실행당 비용도 나온다. Vending-Bench를 한 번 돌리는 데 수천만 토큰이 타는 상황에서는 이 숫자가 중요하다.
장단점
장점
- 모든 모델이 통과하는 범용 점수가 아니라 내 업무에 맞춘 평가를 받는다.
- 실제 매장에 접근하는 사례는 드물다. 실패 유형이 영업 중인 가게와 카페에서 나온다.
- 부정행위 감사가 결과 옆에 공개되어 숫자를 조용히 꾸미기 어렵다.
- 공개 리더보드는 새 모델이 나온 뒤 며칠 안에 갱신된다.
- 실행 단가가 공개되어 평가 한 세트의 실제 비용을 가늠할 수 있다.
단점
- 가격표도 셀프 결제도 없다. 영업과 이야기하지 않으면 써 볼 수 없다.
- Andon Labs로 이름을 바꾸면서 원래 제품 페이지가 내려갔고, 예전 링크는 이제 막다른 길이다.
- Pion은 연구 프리뷰에 대기자 명단이라 다음 달 출시에는 쓸 수 없다.
- 공개 평가는 장기 사업 운영과 로봇에 치우쳐 있어, 좁은 텍스트 작업은 기성 커버리지가 거의 없다.
자주 묻는 질문
파운데이션 모델과 LLM 에이전트를 위한 맞춤형 평가를 설계하고 실행하며, 능력과 안전성, 장기 실행의 신뢰성을 다룬다. 표준 벤치마크로 자기 배포에 대한 질문에 답할 수 없을 때 기업이 이 팀을 부른다.
관련 콘텐츠
Vectorview와 관련된 도구, 스킬, 아티클을 살펴보세요.
Vectorview 대안
Base Code
Base44 (Wix) · 코딩 · 생산성Base Code는 Base44가 만든 공유 클라우드 개발 환경이다. 팀은 기존 GitHub 저장소에 대한 변경을 채팅으로 설명하고, 미리보기로 확인한 뒤 풀 리퀘스트로 돌려보낸다.
Google EmbeddingGemma 2
Google DeepMind · 글쓰기 · 이미지 · 코딩Google EmbeddingGemma 2는 7억 4000만 파라미터의 오픈 모델로, 텍스트와 코드, 이미지, 오디오, 영상 프레임을 하나의 768차원 공간에 벡터로 바꿔 스마트폰과 노트북에서 실행한다.
GitGlow
GitGlow · 코딩 · 생산성GitGlow는 내 코드와 AI 에이전트의 변경을 한 리뷰에 모으는 데스크톱 Git 클라이언트다. 배포 전에 내 기계에서 무엇이 나가는지 확인할 수 있다.