Future AGI

Future AGI는 모델 출력을 여러 방식으로 채점하므로 검사마다 맞는 방식을 고르면 된다. BLEU, ROUGE, 정규식 같은 규칙 기반은 무료에 무제한이다. 코드 평가와 호스팅된 Turing 심사 모델은 실행마다 AI 크레딧을 쓰고, 심사에 자기 키를 쓰면 플랫폼 비용은 들지 않는다. 한 번의 호출로 텍스트, 이미지, 오디오를 아우르는 넓은 지표를 돌린다. 근거 유무와 할루시네이션 검사부터 도구 호출 정확성, 개인정보 유출까지 포함한다.

traceAI SDK는 종단 간 트레이스, 스팬, 세션을 담아 특정 요청에서 앱이 무엇을 했는지 정확히 보여준다. 30개가 넘는 라이브러리와 11가지 스팬 유형을 갖췄고, 70개 이상의 필터와 전문 검색으로 실행을 파고들 수 있다. 세션, 최종 사용자, 에이전트 그래프가 개별 호출을 그 뒤의 사람과 흐름에 다시 연결한다. 맞춤 대시보드와 Slack, 이메일 알림이 시야를 채운다.

가드레일은 모델 앞에 서서 양방향으로 트래픽을 거른다. 개인정보, 비밀, 자체 패턴을 다루는 15가지 규칙 기반 검사는 항상 무료이고, ML 검열 모델(Gemma 3n)은 검사마다 AI 크레딧을 쓴다. 차단, 감시, 기록 세 모드로 돌릴 수 있고 점수 임계값도 정할 수 있다. 이미 이런 도구를 쓰는 팀을 위해 Lakera, Presidio, Llama Guard 등 15가지 외부 연동도 있다.

시뮬레이션은 프롬프트가 아니라 사람을 상대로 에이전트를 시험하게 한다. 28개가 넘는 기성 페르소나에서 고르거나 직접 쓴다. 플랫폼은 스크립트, 데이터셋, 그래프 세 가지 시나리오에서 텍스트나 음성 대화를 에이전트와 주고받는다. 전사본과 세션 비교가 에이전트가 흐름을 놓친 지점을 보여주고, AI 시나리오 생성이 설명에서 새 테스트 케이스를 초안으로 만든다. 음성과 텍스트 분은 따로 청구된다.

커맨드 센터는 앱과 모델 제공자 사이에 놓이는 AI 게이트웨이다. OpenAI, Anthropic, Gemini, Bedrock 등 15개 이상 제공자로 라우팅하며, 9가지 부하 분산 전략과 자동 페일오버, 재시도를 갖췄다. 정확 일치와 의미 기반 캐시가 반복 호출을 줄이고, 속도 제한, 예산, 가상 키가 지출을 눌러 둔다. 무료 등급은 매달 10만 요청과 10만 캐시 적중을 감당한다.

데이터셋은 모든 등급에서 영구 보관되고 14가지 열 유형을 지원하며, 수동 입력부터 CSV, PDF, HuggingFace 가져오기까지 여섯 가지로 만든다. 실험 기능은 같은 데이터셋을 여러 모델이나 프롬프트로 돌리고 결과를 한곳에서 비교한다. 프롬프트 작업대는 버전, 라벨, 폴더에 더해 시각적 에이전트 놀이터와 프롬프트 놀이터를 갖추며, 100개가 넘는 모델을 플랫폼 비용 없이 전환할 수 있다.

Falcon AI는 트레이스를 읽고 사람이 놓치는 패턴을 끌어낸다. 네 가지 채점 축으로 오류를 묶고, 계속 무너지는 지점에 대한 통찰을 만들고, 실행에 자동으로 태그를 달아 실패 유형으로 걸러낼 수 있게 한다. 나오는 건 제안과 즉시 수정이며, 이를 일으킨 트레이스에 묶여 있다. 실패한 실행에서 프롬프트 수정까지 가는 가장 짧은 길이다.