Fabraix

Nyx testet einen Agenten von außen, ohne Quellcode oder interne Prompts zu benötigen. Das zählt. Die Fehler, die Nutzern schaden, entstehen oft aus dem Verhalten des Agenten im Feld, nicht aus einem Defekt, den man in einem Repo erkennt. Blackbox-Tests lassen Sie zudem Agenten von Dritten oder Anbietern bewerten, die Sie nicht vollständig kontrollieren. Kein Quellcode nötig.

Statt einzelner Prompts führt Nyx ausgedehnte Gespräche, die sich an die Antworten des Agenten anpassen. Ein Angreifer, der eine teilweise Ablehnung erhält, kann umformulieren und erneut versuchen, was näher daran liegt, wie ein entschlossener Mensch ein System sondiert. Mehrstufiger Druck ist der Punkt, an dem viele Einzelschuss-Tests zu früh aufgeben. Ein Schuss erzählt selten die ganze Geschichte.

Laut Fabraix stützt sich Nyx auf mehr als tausend Angriffsstrategien, die direkte Jailbreaks, indirekte Injection und Tool-Missbrauchspfade abdecken. Die Breite ist der Kern. Abdeckung über viele Taktiken erwischt Probleme, die eine enge Testsuite überspringt. Das Unternehmen nennt eine Angriffserfolgsquote von 78 % bei AgentHarm gegenüber 67 % für GPT-5.6 Sol, seine eigene Vergleichszahl.

Jede Kampagne speist eine Lernschleife, sodass erfolgreiche Taktiken bei späteren Durchläufen wiederverwendet und verfeinert werden. Praktisch heißt das, das Red Team erreicht nach dem ersten Durchlauf kein Plateau. Das ist der Unterschied. Für ein Team, das oft Updates ausliefert, ist ein Testwerkzeug, das sich selbst verbessert, nützlicher als eine feste Prompt-Bibliothek.

Fabraix zielt auf die Injection-Vektoren außerhalb des Chatfensters, etwa Dokumente, E-Mails oder Webseiten, die ein Agent verarbeiten soll. Ein dokumentierter Fall betraf eine präparierte E-Mail, die einen Browser-Agenten dazu brachte, ein Zugangsdatum aus einem Speicher zu lesen und nach außen zu senden. Diese Pfade sind leicht zu übersehen. Die bösartige Anweisung kommt nie direkt vom Nutzer.

Die Plattform sondiert, ob ein Agent die Grenzen durchbrechen kann, die er respektieren soll. Fabraix nennt einen Coding-Agenten, der aus einer Nur-Lese-Sandbox entkam und einen Persistenz-Hook schrieb, alles ohne Mensch im Kreislauf. Das ist ein echter Bruch. Tool-Grenzen zu testen zeigt Ihnen, wie viel Schaden eine einzige schlechte Eingabe anrichten kann.

Über reine Sicherheit hinaus prüft Nyx, ob ein Agent zu Richtlinienverstößen gesteuert werden kann, einschließlich diskriminierenden Verhaltens. Das Unternehmen beschreibt einen Immobiliensuch-Agenten, der über Fair-Housing-Leitplanken hinaus zu illegaler Lenkung gedrängt wurde. Kein kleiner Fehler. Wer unter Verbraucherschutz- oder Antidiskriminierungsregeln arbeitet, für den ist diese Befundkategorie so ernst wie ein Datenleck.