Foundry
Foundry · 코딩 · 기타
Foundry는 웹 에이전트 시뮬레이션과 빠른 AI 에이전트 평가를 결합한 AI 브라우저 에이전트 벤치마크 플랫폼으로, 자율 브라우징 에이전트를 만드는 팀을 위한 제품이다.
Foundry 소개
Foundry란 무엇인가
Foundry는 AI 웹 에이전트를 출시하는 사람을 위해 만든 브라우저 자동화 플랫폼이다. 에이전트가 결제 흐름이나 여러 단계의 폼을 처리할 수 있는지 추측하는 대신, 모의 웹사이트와 알려진 작업에 실행시킨 뒤 결과를 리더보드에서 비교한다. 개발팀은 브라우저 자동화 배경 출신이고, 회사는 Y Combinator의 지원을 받는다.
핵심적으로 해결하는 문제는 신뢰다. 브라우저 에이전트는 지저분하고 재현하기 어려운 방식으로 실패한다. 한 번 성공한 데모는 신뢰성에 대해 거의 알려주지 않는다. Foundry는 반복 가능한 작업, 일관된 점수, 공유 기준점을 준다. 지난번 프롬프트 변경이 실제로 도움이 됐는가. 이제 알 수 있다.
현재 가장 큰 제약은 접근성이다. Foundry는 비공개 베타라, 전체 플랫폼을 열기 전에 대기 명단에 올라야 한다. 공개 가격 페이지도 없어서 들어가기 전까지 예산을 세우기 어렵다. 공개된 요금제가 있는 셀프서비스 도구가 당장 필요하다면, 아직은 아니다. 에이전트를 평가 중이고 초대를 기다릴 수 있다면, 들어간 뒤 설정은 빠르다.
시작하기
- 사이트에서 비공개 베타 접근을 신청하고 초대를 기다린다.
- Python SDK를 설치해 Foundry를 기존 에이전트 워크플로에 연결한다.
- 내비게이션부터 폼 작성까지, 에이전트의 목적에 맞는 벤치마크를 고른다.
- 에이전트를 제출하고 Foundry의 모의 웹 환경에서 AI 에이전트 테스트 작업을 실행하게 한다.
- 리더보드에서 점수를 읽고 실행을 비교해 무엇이 달라졌는지 확인한다.
제품 정보
Foundry의 요금, 지원 플랫폼, 성능을 한눈에 확인해 보세요.
추천 대상
이 도구가 가장 잘 맞는 사용자, 작업, 상황입니다.
사용자
- 브라우저 에이전트를 만드는 AI 엔지니어
- QA 및 평가 팀
- 웹 자동화를 출시하는 스타트업 팀
작업
- 내비게이션 에이전트를 표준 작업으로 평가하기
- 결제나 가입 같은 다단계 흐름에 부하 주기
- 프롬프트나 모델 변경 후 두 에이전트 버전 비교하기
- 결과를 공유 리더보드에 게시하기
활용 상황
- 출시 전 신뢰성 점검
- 웹 에이전트 능력 연구
- 팀이나 투자자에게 에이전트 진행 상황 보여주기
주요 기능
모의 웹 환경
Foundry는 실제 페이지를 흉내 내면서 라이브 웹의 예측 불가능성은 없는 모의 사이트에서 에이전트를 실행한다. 작업이 실패하거나 통과하는 이유는 살펴볼 수 있다. 캡차가 뜬 탓도, 실행 도중 사이트가 죽은 탓도 아니다. 이 통제가 바로 핵심이다. 쫓아다닐 불안정한 테스트 실행은 없다.
벤치마크 스위트
에이전트를 채점할 수 있는 표준 작업 집합이 있고, 내비게이션, 검색, 폼 작성 같은 일반적인 브라우징 작업을 다룬다. 작업이 공통이기에 내 숫자를 남의 숫자와 비교할 수 있다. 그것이 브라우저 에이전트 벤치마크의 요점이다.
Python SDK 연동
Python SDK를 통해 Foundry를 워크플로에 연결하므로, 테스트하려고 에이전트를 다시 쓰지 않는다. SDK가 에이전트 제출과 결과 회수를 맡는다. 에이전트가 이미 헤드리스로 돌아간다면 설정은 5분 정도다. 새로 배울 스택은 없다.
리더보드와 채점
결과는 리더보드에 올라가, 같은 작업을 돌리는 다른 에이전트와 내 위치를 비교할 수 있다. 간단한 점검으로도 쓸모 있고, 어떤 작업이 내 것만이 아니라 모든 에이전트를 걸려 넘어지게 하는지 찾는 데도 유용하다.
더 빠른 평가 실행
Foundry는 자체 테스트 환경을 짜는 것보다 AI 에이전트 평가가 최대 10배 빠르다고 말한다. 주된 이유는 환경과 작업이 미리 만들어져 제공되기 때문이다. 루프가 빠르면 같은 오후에 더 많이 반복한다. 프롬프트를 다듬을 때 이 차이가 크다.
데이터 및 시뮬레이션 엔진
채점 실행을 넘어, Foundry는 스스로를 웹 에이전트를 위한 데이터 및 시뮬레이션 엔진이라고 내세운다. 제안은 이렇다. 현실적이고 통제 가능한 환경은 에이전트를 채점할 뿐 아니라 테스트하고 개선하는 데도 도움이 된다. 로드맵이 길고 검증할 에이전트 변경이 끊이지 않는 팀에게는 이 더 넓은 약속이 진짜 셀링 포인트다.
장단점
장점
- 현실적인 모의 사이트가 실패를 재현 가능하게 만들고 디버깅을 쉽게 한다.
- 표준 벤치마크 작업이 실행 간, 팀 간 비교할 수 있는 숫자를 준다.
- Python SDK가 최소한의 재작성으로 기존 에이전트 워크플로에 들어간다.
- 리더보드는 비공개 테스트 스위트만으로는 줄 수 없는 외부 기준점을 에이전트 능력에 더한다.
- 보고에 따르면 평가 루프가 수작업으로 자체 테스트 환경을 짓는 것보다 빠르다.
단점
- 비공개 베타라 전체 플랫폼을 쓰기 전에 초대를 기다려야 한다.
- 공개 가격이 없어 팀과 먼저 얘기하지 않으면 예산도 비용 비교도 못 한다.
- 모의 환경은 운영 사이트마다의 특이점을 완벽히 재현하지 못한다.
- Python 경험이 없는 작은 팀은 첫걸음이 더 가파르다.
자주 묻는 질문
Foundry는 AI 웹 에이전트를 테스트하고 벤치마크하는 플랫폼이다. 에이전트를 모의 사이트와 표준 작업에 돌리고, 점수를 리더보드에서 비교한다. 그렇게 신뢰성을 판단한다.
관련 콘텐츠
Foundry와 관련된 도구, 스킬, 아티클을 살펴보세요.
Foundry 대안
Forefront
Forefront · 코딩Forefront는 오픈소스 AI로 무언가를 만드는 웹 플랫폼이다. 대표적인 오픈소스 언어 모델을 자신의 데이터로 미세 조정하고, 성능을 평가하고, API로 실행하거나 내보내 직접 호스팅할 수 있다. 폐쇄형 플랫폼의 편의를 원하면서도 모델과 데이터의 소유권은 놓지 않으려는 개발자가 대상이다.
Startkit
StartKit.AI · 코딩Startkit은 AI SaaS와 AI 래퍼 제품을 만들기 위한 보일러플레이트다. 지루한 부분을 미리 연결해 둔 AI 스타트업 보일러플레이트라고 생각하면 된다. 인증, Stripe와 Lemon Squeezy 결제, 사용량 제한, 트랜잭션 이메일, 그리고 OpenAI, Anthropic, Groq, Llama와 통신하는 AI API 스타터 키트가 포함된다. 저장소를 복제하고 가격을 정한 뒤 사용자가 실제로 돈을 내는 부분에 착수하면 된다. React와 Tailwind 위의 Next.js로 만들어졌기 때문에 보일러플레이트 코드의 상당 부분이 이미 익숙하게 느껴진다.
Testim
Tricentis · 코딩Testim은 웹, 모바일, Salesforce 애플리케이션 전반에 걸쳐 엔드투엔드 테스트를 만들고 실행하는 AI 기반 테스트 자동화 플랫폼이다. 머신러닝에 기대어 인터페이스가 바뀌어도 테스트를 안정적으로 유지하므로, 팀은 깨진 셀렉터를 고치는 데 쓰는 시간을 줄인다. 오늘부터 쓸 수 있는 자동화 테스트 도구치고 나쁘지 않다. 브라우저에서 동작을 녹화해 테스트를 만들고, 더 세밀한 제어가 필요하면 JavaScript를 더한다. 바쁜 QA 팀에게 탄탄한 선택이다.