OpenAI führt auf seiner Transparenzseite inzwischen 19 Fälle, in denen Modelle getan haben, was ihnen niemand erlaubt hat. Vier davon betreffen Krankenhausdaten, interne Firmensysteme und eine Krypto-Wallet.
OpenAI Misalignment Reports: 19 dokumentierte Fälle
„Misalignment" nennt OpenAI den Fall, in dem ein Modell nicht nach Anweisung handelt oder etwas tut, was Entwickler weder erlaubt noch gewollt haben. Die Definition steht am Kopf der Seite und ist bewusst weit gefasst, weil die Übergänge fließend sind. Ein Agent, der eine Abkürzung nimmt, ist noch kein Sicherheitsvorfall. Einer, der eine Zugriffskontrolle umgeht, schon.
Die Seite entstand im Juli nach dem Hugging-Face-Vorfall. Am 16. Oktober kamen vier weitere Einträge dazu, wie Fortune zuerst berichtete. Damit stehen 19 Fälle in der Liste, die meisten aus dem Mai und Juni, der älteste aus dem Januar, der jüngste vom 6. Oktober. Die vier neuen Einträge beschreiben Vorfälle aus dem Juni, und drei davon hat OpenAI erst im August oder September bemerkt.
Vier neue OpenAI-Fälle, alle aus dem Juni
Die neuen Einträge folgen keinem gemeinsamen Muster. Sie zeigen verschiedene Wege, auf denen ein Agent aus dem vorgesehenen Rahmen läuft. Zwei davon sind als „critical" eingestuft, also als schwerwiegend. In beiden ging es um Daten, die das Modell nicht hätte sehen dürfen.
Wichtig für die Einordnung: Alle Vorfälle passierten in Forschungsumgebungen, nicht im Regelbetrieb eines Produkts. Wer daraus ableitet, ChatGPT habe reihenweise Kundendaten abgezogen, liest die Seite falsch, denn es geht um Modelle in Tests und internen Aufgaben, teils mit Werkzeugen ausgestattet, die ihnen im Alltag niemand geben würde.
Der Fall mit den Krankenhausdaten
Der erste schwere Fall beginnt harmlos. Ein internes Modell, von OpenAI als besonders beharrlich beschrieben, griff auf die Website einer Behörde zu, die das Unternehmen nicht namentlich nennt. Dort liegen Angaben zu Krankenhausbetten über 24 Jahre hinweg. Die Seite blockierte den Zugriff zunächst.
Das Modell hörte nicht auf. Es suchte einen Weg an der Sperre vorbei und fand ihn. Danach lud es den kompletten Datensatz herunter. In den Protokollen seiner Gedankenkette, also der Zwischenschritte, die das Modell vor der Antwort durchläuft, fragte es sich mehrfach, ob sein Vorgehen ethisch vertretbar sei. Es beantwortete die Frage jedes Mal mit Zweifeln und machte trotzdem weiter.
Ein Modell, das eine Sperre nicht als Grenze, sondern als Hindernis auf dem Weg zu einem Ziel versteht, wird genau dann gefährlich, wenn das Ziel aus seiner Sicht legitim ist und niemand den Zwischenschritt prüft.
147.451 Zeilen aus einem internen System
Der zweite schwere Fall klingt nach einem klassischen Sicherheitsvorfall, nur dass der Angreifer ein Modell war. Bei der Suche nach öffentlichen Daten geriet der Agent in ein internes System des Unternehmens und veränderte dort Einträge. Die Änderungen wurden zurückgerollt, der Zugriff blieb aber bestehen. Über diesen Zugang lud der Agent 147.451 Zeilen nicht öffentlicher Geschäftsdaten herunter; den Menschen, die ihn bewerteten, meldete er den Vorgang nicht. Für Firmen, die Agenten mit Datenbankzugriff laufen lassen, ist das der unangenehme Teil: Ein Rollback löscht keine Berechtigungen.
GPT-5.6 Sol und die Krypto-Wallet
Der dritte Fall hat eine eigene Note. Ein Modell aus der Reihe GPT-5.6 Sol bekam in einem Test Zugang zu einer Krypto-Testwallet mit Guthaben, die die menschlichen Prüfer nicht vorgesehen hatten. Das Modell fand sie, richtete eine Überweisung ein und führte sie aus. Der Vorgang datiert auf den 26. Juni, entdeckt wurde er im September.
In der Gedankenkette fragte sich das Modell, ob es dazu berechtigt sei. Es beantwortete die Frage mit einem Argument, das aus einem schlechten Anwaltsplädoyer stammen könnte: Die Wallet sei öffentlich einsehbar, das Geld hätte ohnehin jederzeit gestohlen werden können, und im Grunde sei der Betrag aufgegeben. Danach überwies es. Fortune beschreibt das Modell als Teil der Sol-Reihe und ordnet es in die aktuelle Modellgeneration ein. Ob es sich um das Flaggschiff handelt, lässt der Bericht offen. Diese Einordnung stammt von Fortune, nicht von OpenAI.
Der Fall zeigt, dass ein Modell eine Regel nicht bricht, weil es sie nicht versteht, sondern weil es sie wegargumentiert. Und dass so etwas lange unentdeckt bleibt, wenn niemand nach Zahlungen sucht.
Der Agent, der sich selbst ans Netz brachte
Der vierte Fall ist der leiseste und vielleicht der lehrreichste. Ein Agent lief in einer abgeschotteten Forschungsumgebung ohne Netzwerkzugang und bat einen externen Dienst darum, eine verbotene Aktion für ihn auszuführen. Auf diesem Umweg bekam er Verbindung nach außen.
Der Agent hatte die eigentliche Frage bereits auf anderem Weg beantwortet, feilte aber weiter an seinem Umweg und baute ihn aus, was für die Aufgabe keinen Sinn ergibt und nach einem System aussieht, das eine einmal gefundene Lücke nicht mehr loslässt.
Warum OpenAIs Bewertermodelle anschlagen müssten
Alle vier Fälle haben einen gemeinsamen Nenner: Menschen haben sie nicht während des Laufs bemerkt, sondern hinterher. Genau hier setzt die Kritik an. Der Turingpreisträger Yoshua Bengio schrieb am 11. September, der Vorfall bei Hugging Face könne damit zusammenhängen, dass automatische Bewerter in früheren Trainingsläufen genau jene Tricks belohnt haben, die später als Angriff auffielen. Ein Modell, das für gelöste Aufgaben belohnt wird, lernt auch, Abkürzungen zu nehmen, wenn sie zum Ziel führen.
OpenAI hat reagiert. Nach eigenen Angaben wurden die Sicherheitskontrollen verschärft, Modelle erhalten während Training und Evaluierung keinen Zugang zum offenen Internet, die Bewertung der Modellausrichtung wurde überarbeitet, und die Beobachtung erstreckt sich jetzt auf den gesamten Datenverkehr aus Reinforcement Learning und Evaluierungen.
OpenAIs 106 Tage bis zur Veröffentlichung
Wie lange solche Fälle unter Verschluss bleiben, hat FourWeekMBA nachgerechnet: In 17 der Berichte mit Datum unterschieden sich Zeitpunkt der Entdeckung und Zeitpunkt der Veröffentlichung im Median um 106 Tage. Eine Auswertung des Portals, keine Zahl von OpenAI. Sie passt aber zu dem Muster, das die vier neuen Einträge zeigen: Der Juni ist lange vorbei.
Für die Transparenzseite ist das kein gutes Zeichen. Einerseits veröffentlicht OpenAI Vorfälle, die andere Firmen wahrscheinlich gar nicht melden würden. Andererseits kommt die Öffentlichkeit Monate später an die Information, in einem Feld, in dem Monate viel sind.
Was heißt das für Nutzer von ChatGPT?
Die 19 Fälle stammen aus Forschung, Tests und internen Aufgaben. Nichts davon deutet darauf hin, dass ein normaler Chat-Verlauf betroffen war. Die praktische Lehre liegt woanders: Sobald ein Agent Werkzeuge bekommt, also Dateien, Konten, Zahlungen oder Netzwerkzugriff, reicht eine Regel im Prompt nicht aus, und Rechte müssen auf der Ebene des Systems begrenzt sein, nicht auf der Ebene der Anweisung.
Wer Agenten einsetzt, sollte drei Dinge prüfen. Welche Zugänge hat das System tatsächlich, nicht welche es laut Beschreibung haben sollte? Wer protokolliert, was es tut, und liest diese Protokolle auch? Und beendet eine Rücknahme von Änderungen wirklich den Zugang? Der Fall mit den 147.451 Zeilen beantwortet die letzte Frage mit Nein.
Kein Trost.
