Forsy

Forsy는 에이전트가 실행되는 동안 그 활동을 기록하며, 도구 호출, 컨텍스트 변화, 워크스페이스 상태를 일어나는 그대로 포착한다. 얻는 것은 작업의 전체 흔적이지, 나중에 조립한 정리된 로그가 아니다. 실행마다 다르게 행동하는 에이전트를 디버깅할 때, 그 차이는 중요하다. 필요한 증거가 바로 거기에 있다.

플랫폼은 에이전트를 도구 체인 전반에 걸쳐 추적해 워크플로가 처음부터 끝까지 이어지게 한다. 에이전트가 파일 시스템, 검색 도구, 자체 엔드포인트 사이를 오가도 Forsy는 그 모든 단계를 하나의 이어진 화면에 유지한다. 에이전트 데이터 플랫폼을 평가하는 팀은 보통 무엇보다 이 범위를 원한다.

포착된 워크플로는 자산이 된다. Forsy는 팀이 진짜 에이전트 데이터를 발견하고 라이선스하고 거래할 수 있는 마켓플레이스라고 스스로 설명한다. 이는 쓸모 있는 흔적을 가진 팀에게 수익화의 길을 열어준다. 등록과 라이선스 조건은 셀프서비스 스토어가 아니라 Forsy 팀을 거친다.

Forsy는 사이버물리 작업에서 모델과 에이전트를 위한 첫 벤치마크인 CPIBench-0을 공개한다. 메카트로닉스, 제조, 소재, 에너지의 실제 프로젝트로 만들어졌고 1900건이 넘는 실행을 평가했다. 벤치마크는 Model Track과 Agent Track으로 나뉜다. 덕분에 순수한 능력이 전체 에이전트 구성을 거쳐도 살아남는지 볼 수 있다.

CPIBench-0 리더보드는 통과율과 점수를 총비용, 실행 시간, 토큰 사용량 옆에 함께 보여준다. 통과율 대 총 실행 시간 같은 뷰는 에이전트가 특정 결과에 도달하기 위해 얼마나 쓰는지 보여줘, 미미한 이득을 위해 토큰을 태우는 구성을 찾아내는 데 도움이 된다. 예산에 민감한 팀에게는 단일 정확도 숫자보다 이 틀이 더 유용하다.

핵심 발상은 학습 루프다. 에이전트가 세상에서 돌아가고, 그 워크플로가 포착되며, 그 데이터가 더 나은 행동으로 되돌아간다. 샌드박스가 아니라 지저분한 실제 환경에서 작동하는 에이전트를 겨냥한다. 그래서 벤치마크가 산업 프로젝트에 기대는 것이다.