Im Versuchsaufbau überzeugt ein Modell. Im laufenden Betrieb bricht es ein. Zwischen Labor und Produktion liegen Aufgaben, die viele Teams unterschätzen und teuer bezahlen.
KI-Modelle in Produktion: die fünf Stolpersteine 2026
Ein KI-Modell zu trainieren und es in den laufenden Betrieb zu bringen, sind zwei verschiedene Aufgaben. Die erste gelingt zunehmend routinemäßig. Die zweite scheitert noch immer häufig. Fachleute nennen die Lücke zwischen Versuch und Dauerbetrieb den Deployment-Graben. Wer ihn kennt, plant genauer und spart Geld.
Die fünf größten Hürden sind heute gut dokumentiert. Sie betreffen nicht nur die Technik, sondern auch Abläufe, Kosten und Verantwortung. Jede lässt sich lösen, doch keine von selbst.
Warum der Betrieb anders tickt als der Versuch
Im Versuch läuft ein Modell auf einem Rechner mit sauberen Daten und ohne Zeitdruck. Im Betrieb treffen Anfragen in unregelmäßigen Schühen ein, teils zu Tausenden gleichzeitig, und die Daten sind unvollständig oder fehlerhaft. Was der Versuch verzeiht, legt den Betrieb lahm.
Hinzu kommt die Zeitdauer. Ein Versuch endet nach dem Auswerten. Der Betrieb muss Monate oder Jahre laufen, ohne dass die Qualität abrutscht. Diese Dauer verändert alles: Nicht nur das Modell zählt, sondern auch die Frage, wer es überwacht, wartet und aktualisiert.
Stolperstein eins: Daten driften
Daten sind nicht stabil. Nutzer ändern ihr Verhalten, Preise und Bedingungen verschieben sich, neue Fachbegriffe kommen hinzu. Fachleute sprechen von Daten-Drift. Ein Modell, das im Frühjahr gut traf, kann im Herbst danebenliegen, ohne dass jemand daran gerührt hat.
Die Folge ist tückisch, weil sie lautlos eintritt. Anders als ein Absturz meldet sich Drift nicht von selbst. Ohne regelmäßige Kontrolle sinkt die Trefferquote unbemerkt, bis Beschwerden kommen. Wer ein Modell einsetzt, muss deshalb laufend messen, ob seine Vorhersagen noch stimmen.
Stolperstein zwei: schnelle Antworten sind teuer
Nutzer erwarten Ergebnisse in Sekunden. Das Modell muss also nicht nur richtig, sondern auch schnell antworten. Rechenleistung ist aber kostspielig, und Lastspitzen treiben die Kosten weiter nach oben. Wer für jede Anfrage volle Leistung vorhält, zahlt auch in ruhigen Zeiten für Rechenleistung, die niemand nutzt, und diese verschwendete Kapazität summiert sich über Monate zu einem Betrag, der viele kleinere Projekte vollständig auffrisst.
Die Lösung liegt meist in der Abstufung: häufige, einfache Anfragen erledigt ein kleineres Modell, schwierige Fälle ein größeres. Dieses Vorgehen senkt die Kosten, verlangt aber eine ehrliche Einschätzung, welche Qualität der jeweilige Fall wirklich braucht.
Warum fällt diese Einschätzung so schwer? Weil Teams dazu neigen, für jeden Fall das stärkste verfügbare Modell zu nehmen, obwohl ein kleineres für die meisten Anfragen längst genügt.
Stolperstein drei: Datenschutz und Vorgaben
In Deutschland und Europa spielt der Datenschutz eine eigene Rolle. Verarbeitet ein Modell personenbezogene Daten, gelten die Vorgaben der Datenschutz-Grundverordnung. Wer Daten in einen fremden Dienst schickt, muss wissen, wo sie landen und wie lange sie bleiben. Der EU AI Act ergänzt diese Pflichten je nach Anwendung um weitere Auflagen.
Diese Anforderungen lassen sich nicht nachträglich ankleben. Sie gehören in die Planung. Wer zu spät prüft, ob ein Modell überhaupt eingesetzt werden darf, muss unter Umständen fertige Arbeit verwerfen.
Stolperstein vier: Änderungen ohne Bruch
Ein Modell wird nie ein für alle Mal fertig. Neue Versionen verbessern es, doch jeder Wechsel birgt ein Risiko. Ohne sorgfältigen Test kann eine neue Fassung Aufgaben schlechter lösen als die alte, gerade dort, wo es darauf ankommt.
Deshalb brauchen Änderungen einen Schutz. Eine bekannte Maßnahme ist die schrittweise Umstellung: Die neue Version läuft zunächst für einen kleinen Teil der Anfragen, während die alte weiterarbeitet. Erst wenn der Vergleich stimmt, wird umgestellt. Dazu gehört ein erprobter Rückweg, mit dem sich die vorige Version rasch wieder aktivieren lässt.
Stolperstein fünf: niemand ist zuständig
Der häufigste Grund für gescheiterte Einsätze ist kein technischer. Es fehlt die klare Zuständigkeit. Ein Modell im Betrieb braucht jemanden, der es überwacht, Fehler behebt und Änderungen freigibt. Ohne diese Verantwortung bleibt das Projekt in der Schwebe, bis es stillschweigend aus dem Betrieb verschwindet.
Diese Aufgabe lässt sich nicht nebenbei erledigen. Sie verlangt ein Team mit den vielfältigen Aufgaben, die man unter dem Begriff MLOps zusammenfasst: also das Gegenstück zu den klassischen Entwicklungs- und Betriebsabläufen, bezogen auf Modelle. Wo MLOps fehlt, treten die vier ersten Stolpersteine ohne Warnung auf.
Warnsignale vor dem Start
- niemand ist namentlich für den Betrieb zuständig
- keine Messung der Trefferquote im Betrieb
- keine feste Regel für Modellwechsel
- keine Absprache zum Datenschutz
- keine Lösung für Lastspitzen
Zeichen für einen stabilen Betrieb
- klare Zuständigkeit im Team
- laufende Kontrolle der Qualität
- geplanter Wechsel mit Rückweg
- frühe Abklärung der Vorgaben
- abgestufte Rechenleistung
Was das für Ihr Projekt bedeutet
Ein KI-Modell in Produktion zu betreiben ist ein eigenes Handwerk, nicht der Anhang eines Trainingslaufs. Die fünf Stolpersteine sind bekannt, und jeder lässt sich entschärfen, wenn man ihn früh genug bedenkt. Wer Zuständigkeit klärt, Qualität misst, Wechsel mit Rückweg vorbereitet und die Vorgaben von Beginn an einplant, hält sein Modell über Monate zuverlässig am Laufen. Der Aufwand dafür liegt selten im Modell, sondern in der Organisation drumherum.
