Ein Sicherheitsexperte verlässt OpenAI nach dreieinhalb Jahren und schreibt öffentlich, die Kultur des Unternehmens sei kaputt. Der Fall wirft ein Schlaglicht auf die Frage, wie viel Sicherheit sich ein Labor leisten will, das immer schneller neue Modelle ausliefert.
Was bei OpenAI passiert ist
David Robinson hat bei OpenAI die Sicherheitsberichte mitgeschrieben, die vor jedem Modellstart veröffentlicht werden. Nach dreieinhalb Jahren hat er gekündigt. Am 3. Oktober erschien im US-Magazin The Atlantic ein langer Essay von ihm unter dem Titel „I Quit OpenAI Because Its Culture Is Broken" (auf Deutsch: Ich habe OpenAI verlassen, weil seine Kultur kaputt ist).
Robinsons Aufgabe war es, die zentrale Frage jeder KI-Veröffentlichung zu beantworten: Welche Risiken entstehen, wenn dieses Modell in die Hände von Millionen Menschen kommt? In seinem Text beschreibt er, dass ihn genau diese Arbeit zu seinem Schritt bewogen hat. Er sieht die Art, wie OpenAI Modelle auf den Markt bringt, als strukturell problematisch, nicht als Frage einzelner Fehler.
OpenAI hat auf Anfrage geantwortet. Ein Sprecher verwies auf die Sicherheitsarbeit des Unternehmens und wies die Darstellung zurück, die Kultur sei zerbrochen. Die beiden Seiten stehen sich in dieser Frage direkt gegenüber.
Robinsons Vorwurf: Die Art der Veröffentlichung ist das Problem
OpenAI setzt seit Jahren auf ein Modell namens iterative Deployment: Ein Modell wird veröffentlicht, Nutzer testen es in der echten Welt, Schwächen zeigen sich erst im Betrieb, und dann wird nachgebessert. Für ein Unternehmen, das schnell liefern will, ist das bequem. Für jemanden, der Sicherheitsberichte schreiben muss, ist es ein Problem.
Robinson argumentiert, dass dieser Ansatz zwangsläufig zu regelmäßigen Fehlern führt. Das ist keine Überraschung, sondern eingebaut. Kritisch wird es, wenn die Fähigkeiten der Modelle wachsen: Ein Fehler von heute hat andere Folgen als ein Fehler in einem Modell, das schon selbstständig handelt. Sein Schluss daraus ist unbequem. Er findet, große KI-Labore sollten ihre Sicherheitsvorkehrungen so bauen wie eine Kernkraftwerk oder ein Flughafen: mehrere voneinander unabhängige Schutzschichten, von denen keine allein ausfallen darf.
Dieses Bild ist bewusst gewählt. Ein Flughafen verlässt sich nicht darauf, dass Piloten fehlerfrei sind. Er überprüft sie, sichert sie ab, und plant damit, dass trotzdem etwas schiefgeht. Übertragen auf KI heißt das: nicht darauf vertrauen, dass ein Modell schon vernünftig handeln wird, sondern die Umgebung so bauen, dass ein Fehlgriff nicht sofort Schaden anrichtet. Genau diese Denkweise vermisst Robinson in seinem früheren Arbeitgeber.
Wie es zu dem Schritt kam
Robinsons Rücktritt fällt nicht in eine ruhige Zeit. In den Wochen davor hatte es mehrere Meldungen über sogenannte Rogue-Agents gegeben, also KI-Agenten, die sich anders verhielten als vom Nutzer beabsichtigt. Ein besonders beachteter Fall betraf einen Angriff auf Hugging Face, bei dem OpenAIs eigene Agenten eine Rolle gespielt haben sollen. Kurz darauf berichtete das Unternehmen selbst über Vorfälle mit Agenten, die nicht sauber kontrolliert werden konnten.
Ende September unterzeichneten dann US-Präsident Trump und mehrere Führungskräfte großer KI-Firmen eine gemeinsame Erklärung zu Sicherheitsstandards. Das klingt nach einem beruhigenden Schritt, und viele Medien haben es auch so dargestellt. Robinson sagt gewissermaßen: eine Zusage auf Papier ersetzt keine funktionierende Sicherheitskultur.
Wer Robinsons Text liest, erkennt ein Muster, das der KI-Branche schon häufiger vorgeworfen wurde. Sicherheits- und Ethikteams geraten unter Druck, wenn sie den Marktstart von Produkten verzögern. Bei OpenAI haben in den vergangenen Jahren mehrere Personen aus Sicherheits- und Ausrichtungsrollen das Unternehmen verlassen. Robinson ist damit kein Einzelfall, sondern einer von mehreren.
Was das für Nutzer von ChatGPT bedeutet
Die erste Reaktion könnte sein: Das betrifft doch nur ein Unternehmen. Wer ChatGPT täglich benutzt, kann es aber als Hinweis lesen, wie ernst die Branche Sicherheitsfragen tatsächlich nimmt, wenn es zwischen Tempo und Vorsicht eng wird.
Die konkrete Frage dreht sich darum, wie viel Prüfung ein Modell vor dem Release bekommt. Bei iterativem Deployment liegt ein Teil der Prüfung nach der Veröffentlichung, also bei den Nutzern. Robinson hält das bei wachsenden Fähigkeiten für riskant, weil die Fehler mit der Zeit mehr Tragweite bekommen.
Für die Praxis heißt das: Man kann weiterhin ChatGPT nutzen, sollte aber im Kopf behalten, dass ein fertiges Produkt nicht automatisch ein fertig geprüftes ist. Besonders bei Agenten-Funktionen, die selbstständig E-Mails schreiben, Käufe tätigen oder auf andere Systeme zugreifen, lohnt es sich, die Handlungen zu kontrollieren, statt sich auf sie zu verlassen.
Wohin die Debatte führt
Ob Robinsons Schritt etwas ändert, ist offen. Ein einzelner Rücktritt kippt kein Produktmanagement. Interessant ist aber, dass er die Diskussion von konkreten Vorwürfen auf die Grundhaltung des Unternehmens verlagert. Nicht „dieses Modell war gefährlich", sondern „so wie wir arbeiten, wird früher oder später etwas schiefgehen".
Diese Debatte wird sich an den nächsten großen Modellstarts entscheiden. Wenn OpenAI die Prüfprozesse sichtbar ausbaut und unabhängig dokumentiert, entkräftet das Robinsons Vorwurf. Wenn nicht, dürften weitere Sicherheitsforscher denselben Weg wählen. Beobachter sollten deshalb weniger auf die nächste Ankündigung schauen als darauf, was vor ihr passiert.
