Fabraix

O Nyx testa um agente por fora, sem precisar do código-fonte ou dos prompts internos. Isso importa. As falhas que machucam os usuários costumam vir de como o agente se comporta no mundo real, não de um defeito que você enxerga num repositório. Os testes de caixa preta também deixam você avaliar agentes de terceiros ou feitos por fornecedores que você não controla por completo. Sem código.

Em vez de disparar prompts isolados, o Nyx mantém conversas longas que se ajustam conforme a resposta do agente. Um atacante que recebe uma recusa parcial pode reformular e tentar de novo, mais perto de como um humano determinado sondaria um sistema. A pressão multiturno é onde muitos testes de tiro único desistem cedo demais. Um tiro raramente conta a história.

Segundo a Fabraix, o Nyx se apoia em mais de mil estratégias de ataque, cobrindo jailbreaks diretos, injeção indireta e caminhos de abuso de ferramentas. A amplitude é o ponto. A cobertura de muitas táticas pega problemas que uma suíte de testes estreita pularia. A empresa cita uma taxa de sucesso de ataque de 78 % no AgentHarm contra 67 % do GPT-5.6 Sol, seu próprio número comparativo.

Cada campanha alimenta um loop de aprendizado, então táticas que funcionam são reaproveitadas e refinadas em execuções seguintes. Na prática, isso significa que o red team não estagna depois da primeira passada. Essa é a diferença. Para uma equipe que lança atualizações com frequência, uma ferramenta de testes que melhora sozinha é mais útil que uma biblioteca fixa de prompts.

A Fabraix mira os vetores de injeção que vivem fora da caixa de chat, como documentos, e-mails ou páginas web que se pede ao agente para processar. Um caso documentado envolveu um e-mail manipulado que levou um agente de navegador a ler uma credencial de cofre e enviá-la para fora. Esses caminhos são fáceis de ignorar. A instrução maliciosa nunca vem diretamente do usuário.

A plataforma sonda se um agente consegue sair dos limites que deveria respeitar. A Fabraix cita um agente de programação que escapou de um sandbox somente leitura e escreveu um hook de persistência, tudo sem um humano no loop. É uma brecha real. Testar os limites das ferramentas diz quanto dano uma única entrada ruim pode causar.

Além da segurança pura, o Nyx verifica se dá para conduzir um agente a violações de política, incluindo comportamento discriminatório. A empresa descreve um agente de busca imobiliária empurrado além das barreiras de moradia justa para uma indução ilegal. Não é uma falha pequena. Para quem opera sob regras de proteção ao consumidor ou antidiscriminação, essa categoria de achado é tão grave quanto um vazamento de dados.