Forsy

O Forsy registra a atividade do agente enquanto ele roda, capturando chamadas de ferramenta, mudanças de contexto e estado do espaço de trabalho conforme ocorrem. Você recebe o rastro completo de uma tarefa, e não um registro limpo montado depois. Para depurar um agente que se comporta de forma diferente a cada execução, a diferença importa. É a evidência de que você precisa.

A plataforma acompanha os agentes ao longo de suas cadeias de ferramentas para que um fluxo de trabalho fique conectado de ponta a ponta. Se um agente pula entre um sistema de arquivos, uma ferramenta de busca e um endpoint próprio, o Forsy mantém cada um desses passos junto em uma única visão conectada. Equipes que avaliam uma plataforma de dados para agentes costumam querer essa cobertura antes de qualquer outra coisa.

Os fluxos de trabalho capturados se tornam ativos. O Forsy se descreve como um mercado onde as equipes podem descobrir, licenciar e negociar dados autênticos de agentes. Isso abre um caminho para equipes que têm rastros úteis monetizá-los. As condições de listagem e licenciamento passam pela equipe do Forsy, e não por uma loja de autoatendimento.

O Forsy publica o CPIBench-0, seu primeiro benchmark para modelos e agentes em operações ciberfísicas. Ele é construído a partir de projetos reais de mecatrônica, manufatura, materiais e energia, com mais de 1900 execuções avaliadas. O benchmark separa um Model Track e um Agent Track. Assim você pode ver se a capacidade bruta sobrevive à configuração completa do agente.

Os rankings do CPIBench-0 informam a taxa de acerto e a pontuação ao lado do custo total, do tempo de execução e do uso de tokens. Visões como taxa de acerto contra tempo de execução total mostram quanto um agente gasta para chegar a um dado resultado, o que ajuda a identificar uma configuração que queima tokens por um ganho marginal. Para equipes com orçamento apertado, esse enquadramento é mais útil do que um único número de precisão.

A ideia central é um ciclo de aprendizado. Os agentes rodam no mundo, seus fluxos de trabalho são capturados e esses dados voltam para alimentar um comportamento melhor. É voltado para agentes que operam em ambientes reais e bagunçados, e não em sandboxes. Por isso o benchmark se apoia em projetos industriais.