MCPJam Inspector

Playground는 여러 AI 클라이언트가 내 서버를 어떻게 다루는지 흉내 내는 채팅 화면이다. 프롬프트를 하나 보내면 Claude, ChatGPT, Copilot, Cursor 등에서 도는 모습을, 도구 호출마다 완전한 트레이스와 함께 본다. OpenAI Apps SDK와 MCP 앱 UI도 Chrome DevTools 스타일 위젯 에뮬레이터로 렌더링하므로, 사용자가 실제로 볼 화면을 확인할 수 있다. 한 호스트에서는 통합이 깨지고 다른 쪽에서는 멀쩡한 팀에게, 이유를 가장 빨리 찾는 방법이다.

인증은 대부분의 MCP 통합이 조용히 실패하는 지점이고, MCPJam은 이를 일급 문제로 다룬다. OAuth 디버거는 인증과 메타데이터 요청을 단계별로 시각화해서, 오류를 일으킨 정확한 교환까지 거슬러 추적하게 해 준다. DCR과 클라이언트 사전 등록, CIMD를 포함한 프로토콜 버전 전반의 안내식 적합성 검사를 돌린다. 서버가 자격 증명 제공자를 쓴다면, 눈먼 로그 읽기에서 몇 시간을 아낀다.

기대하는 도구 호출을 담은 테스트 케이스를 쓰고, 여러 모델에서 돌리고, 정확도를 시간에 따라 추적할 수 있다. eval이 재는 건 핸드셰이크의 반대편이다. 내가 통제하지 않는 외부 에이전트가 내 소프트웨어를 호출할지, 어떤 인수로 호출할지, 결과를 어떻게 쓸지를 정하는 과정이다. 에이전트 관측 도구는 내가 만든 에이전트를 재고, MCP eval은 남의 에이전트가 내 서버를 집어 들었을 때의 동작을 잰다.

CLI는 서버를 탐사하고 doctor 검사를 돌리고 OAuth를 연습하며, 터미널에서 도구와 리소스, 프롬프트를 나열한다. 출력은 JUnit과 JSON이다. 이 실행을 GitHub Actions나 아무 파이프라인에 넣어 필수 검사로 만들 수 있다. 회귀는 지원 티켓이 아니라 풀 리퀘스트에서 잡힌다. eval을 프로덕션 앞에 두는 이유가 바로 그것이다.

TypeScript SDK는 내 테스트 스위트에서 검사를 구동하고, 서버 기능을 스냅샷하고, 도구와 리소스의 형태를 검증한다. Jest나 Vitest로 돌고, 로컬 STDIO 서버를 띄우거나 HTTP로 연결한다. 이미 쓰고 있는 코드 안에서 계속 테스트하고 싶다면, 이게 진입점이다.

워크스페이스는 실시간 팀 동기화가 붙은 공유 서버 그룹이라, 모두 같은 구성으로 테스트한다. 스킬은 Playground에서 재사용 가능한 동작을 모델에 더한다. 로컬 스킬은 파일 시스템에서 읽고 내 컴퓨터를 벗어나지 않는다. 두 기능 모두 팀을 겨냥하며, 각자 자기 로컬 환경을 유지할 때 생기는 어긋남을 줄여 준다.