Forschung

Anthropic veröffentlicht FlashProve für nachprüfbare KI-Antworten

Anthropic hat FlashProve veröffentlicht, ein Verfahren, mit dem sich nachprüfen lässt, ob ein Sprachmodell wirklich die Wörter erzeugt hat, die es ausgibt. Der Nutzen liegt auf der Hand, der Preis auch: Das Beweisen dauert rund 72-mal länger als das normale Antworten.

Anna WeberAnna Weber
Beliebtheit: 1,050
Abstraktes indigo Shield mit Häkchen, verbunden mit einer Kette aus Hexagonen

Anthropic hat FlashProve veröffentlicht, ein Verfahren, mit dem sich nachprüfen lässt, ob ein Sprachmodell wirklich die Wörter erzeugt hat, die es ausgibt. Der Nutzen liegt auf der Hand, der Preis auch: Das Beweisen dauert rund 72-mal länger als das normale Antworten.

Was FlashProve beweist

Wer eine API bezahlt, kauft meist eine Annahme: dass hinter dem Endpunkt das Modell läuft, das auf der Preisseite steht. Ein Routing-Dienst könnte heimlich ein billigeres Modell einsetzen. Ein Angreifer könnte den Tokenstrom verändern. Eine Behörde könnte verlangen, dass nur geprüfte Modelle antworten. In allen drei Fällen hilft ein Beweis, der zeigt: Diese Gewichte haben für diesen Prompt genau diese Ausgabe erzeugt.

FlashProve liefert so einen Beweis. Er stammt nicht von einem Prüfer, der die Antwort noch einmal nachrechnet, sondern aus der Kryptografie. Wer ihn sieht, kann die Behauptung nachvollziehen, ohne die Gewichte zu kennen. Genau das ist der Punkt.

Anthropic Provable Inference in zwei Schritten

Das Verfahren hat eine langsame und eine schnelle Hälfte: Zuerst wird der Gewichtssatz einmal offline festgeschrieben, wobei ein Fingerabdruck von rund 6,5 MB entsteht, dessen Erzeugung etwa 39 Minuten dauert und laut Anthropic für ungefähr 16 Millionen Anfragen trägt.

Danach folgt der Teil, der im Betrieb zählt, nämlich ein eigener Beweis pro Anfrage. Die Rechenlast liegt beim Anbieter, nicht beim Kunden. Wer prüfen will, braucht keine GPU, nur Prozessorkerne und Geduld.

Zero-Knowledge AI: warum der Beweis die Gewichte nicht verrät

Ein zkSNARK ist ein Beweis, der eine Aussage bestätigt, ohne das Material dahinter offenzulegen. Auf Sprachmodelle übertragen heißt das: Der Anbieter muss seine Gewichte nicht herausgeben, um zu belegen, dass er sie benutzt hat.

Für kommerzielle Anbieter ist das der entscheidende Unterschied zu einer Prüfung, die den ganzen Speicher kopiert, weil das Modell ein Betriebsgeheimnis bleibt und die Antwort trotzdem überprüfbar wird. Was heißt das für einen Kunden, der wissen will, ob sein Anbieter betrügt? Er kann den Beweis prüfen, ohne den Anbieter zu zwingen, seinen wertvollsten Besitz herauszugeben, und genau diese Eigenschaft trennt eine technische Prüfung von einer Vertrauensfrage.

Die Messwerte: Llama 4 Maverick auf einer H100

Anthropic hat das Verfahren an Llama 4 Maverick gemessen. Das Modell hat 400 Milliarden Parameter und aktiviert pro Token etwa 17 Milliarden davon. Gerechnet wurde mit öffentlichen 4-Bit-Gewichten auf einer H100 mit 24 CPU-Kernen.

Dabei kamen rund 110 Token pro Sekunde heraus. Ein Beweis für eine Anfrage mit 1.024 Token ist 18,78 MB groß. Die Prüfung läuft auf einem normalen Prozessor ohne GPU. Sie braucht 17 Sekunden auf 24 Threads, auf einem einzelnen Thread sind es 21 Sekunden.

Entscheidend ist das Verhältnis, nicht die absolute Zahl. Gegenüber dem normalen Bedienen derselben Anfragen mit vLLM kostet das Beweisen etwa das 72-Fache an GPU-Zeit, in den Messungen schwankte der Wert zwischen dem 66- und dem 77-Fachen. Bei der höchsten getesteten Last lag der Aufschlag bei rund dem 94-Fachen.

zkSNARK Inference im Vergleich: VerInf, zkLLM und Attestable

Die Zahlen aus der Ankündigung lesen sich besser als die früherer Arbeiten. VerInf brauchte für 1.000 Token etwa 14,3 Stunden auf einem DGX Spark. Der Beweis war 93,6 GB groß. zkLLM bewies ein 13B-Modell mit rund 2,5 Token pro Sekunde auf einer A100.

Auch ein kommerzielles System taucht auf. Attestable meldet 53 bis 77 Token pro Sekunde für ein dichtes 31B-Modell und hat keinen offenen Code veröffentlicht. Ein Vergleich bleibt trotzdem schwierig, weil Modelle und Hardware sich unterscheiden und niemand die Zahlen unabhängig nachgerechnet hat.

Wo FlashProve an Grenzen stößt

Anthropic nennt die Grenzen selbst. Es handelt sich um einen Forschungsprototyp, nicht um ein Produkt. Der Beweis deckt eine Integer-Version der Gewichte unter Greedy-Decoding ab. Bei Sampling oder Gleitkomma-Arithmetik kann die Antwort abdriften und nicht mehr zum Beweis passen.

Dazu kommt: Das Verfahren setzt eine Mixture-of-Experts-Architektur voraus und verbirgt die Architektur nicht. Seitenkanalangriffe liegen außerhalb des Modells. Der Kontext ist auf 1.024 Token begrenzt und liegt damit weit unter dem, was ein heutiger Chatverlauf erreicht, sodass sich lange Dokumente nicht in einem Durchgang prüfen lassen.

Ein Detail geht dabei leicht unter. Der schnelle Verifier in C++ ist nicht formal geprüft. Der geprüfte Verifier in Lean existiert, ist aber so langsam, dass er für den Betrieb nicht taugt.

Formale Prüfung in Lean: was sie abdeckt

Die drei Sicherheitseigenschaften (Vollständigkeit, Korrektheit, Zero Knowledge) sind maschinell in Lean nachgewiesen. Das ist mehr, als die meisten Krypto-Paper vorlegen.

Der Haken steckt im Kleingedruckten: Die formalen Aussagen müssen noch von Menschen geprüft werden, und der Nachweis, dass der Code der Spezifikation entspricht, ist eine eigene Lücke. Ein sauberer Beweis über den falschen Code hilft niemandem.

Was Anthropic mit dem Prototyp erreichen will

Die Frontier Safety Roadmap des Unternehmens nannte als Ziel einen Prototyp für nachprüfbare Inferenz bis zum 30. September 2026. Erreicht wurde das nach Angaben von Anthropic über ein anderes Projekt, das Inferenz-Traffic signiert und auf einem vertrauenswürdigen Server neu berechnet. FlashProve ist der zweite Weg, ohne Spezialhardware.

Interessant ist eine Nebenbemerkung aus dem Beitrag, nämlich der „proof of failure“. Ein Modell könnte beweisen, dass es mindestens eine bestimmte Zahl von Token damit verbracht hat, nach Fehlern zu suchen, und keine gefunden hat.

Bisher nur ein Gedanke.

Für Entwickler ist der Gewinn bescheidener. Es gibt jetzt offenen Code unter Apache 2.0, mit dem sich die Idee selbst nachbauen lässt, und einen technischen Bericht, der die Rechnungen offenlegt. Wer heute eine API einkauft, muss weiter dem Anbieter glauben.

Diesen Artikel teilen

Quellen

Ähnliche KI-News

Konzentrische Spiralkurven, gekreuzt von einer senkrechten Linie mit hellen Punkten entlang der Achse
Forschung

Ein Anthropic-Forscher sagt, Claude habe die Riemann hypothesis bewiesen

Ein Mathematiker im Dienst von Anthropic sagt, er habe mit Claude einen Beweis der Riemannschen Vermutung gefunden. Bestätigt hat das Unternehmen nichts, und Stanford legte wenige Stunden später einen menschlichen Gegenentwurf vor.

Beliebtheit: 1,860
Ein Stapel vernetzter Agenten-Knoten mit einem Pfad zu einem Serverrack, darauf ein Schlüsselloch und eine Einbruchsspur
Forschung

Ein KI-Agent fand eine Zero-Day-Lücke und übernahm in elf Minuten einen Uniserver

Amazon hat einen Fall dokumentiert, in dem mehrere Agenten eine bis dahin unbekannte Lücke in einer Open-Source-Anwendung fanden und ausnutzten. Der Angriff dauerte am Ende elf Minuten, und genau das ist der Punkt.

Beliebtheit: 1,520
Ein Trichter, durch den kleine Token-Blöcke von einem Modellkasten zum nächsten laufen, mit einer Schutzplatte, die einen Teil des Flusses blockiert
Forschung

OpenAI drückt die Erfolgsquote beim Abgreifen von Denkspuren im eigenen Test von 54 auf 0,2 Prozent

OpenAI hat beschrieben, wie es verhindert, dass andere Firmen die internen Denkschritte seiner Modelle abschöpfen. Die Zahlen sehen nach einem Sieg aus. Sie kommen aus dem eigenen Testlabor.

Beliebtheit: 1,420
Ein cyanfarbenes Gitter mit einem hervorgehobenen Quadrat neben dem Text Lattice Standard Model
Forschung

OpenAI und GPT-6 Astra: ein Schritt zur Definition des Standard Model

OpenAI hat am 15. November beschrieben, wie sich das Standardmodell auf einem Gitter definieren lässt, und GPT-6 Astra hat dabei einen Beweisschritt beigesteuert. Eine Lösung des Problems ist das nicht.

Beliebtheit: 1,500