Ihr Anbieter zeigt glänzende Benchmark-Werte, doch in der Praxis liefert das Modell mittelmäßige Ergebnisse. Diesen Widerspruch lösen Sie nicht mit einer weiteren Rangliste, sondern mit eigenen Tests. Diese Werkzeuge machen daraus eine Routine statt Detektivarbeit.
Warum ein Benchmark-Wert wenig über Ihr Projekt sagt
Ein Benchmark ist ein standardisierter Aufgabensatz mit bekannten Lösungen. Das Modell bearbeitet die Aufgaben, ein Skript vergleicht mit dem Schlüssel. Der hohe Wert auf der Anbieterseite sagt aber nur, wie das Modell bei genau diesen Aufgaben abgeschnitten hat. Ihre Fachsprache, Ihre Daten und Ihre Sonderfälle kommen darin nicht vor.
Hinzu kommt ein zweites Problem: Bekannte Benchmarks sind öffentlich, und ihre Aufgaben landen früher oder später im Trainingsmaterial neuer Modelle. Manche Modelle kennen die Prüffragen also bereits. Fachleute nennen das Kontamination. Ein verdächtig hoher Wert kann daher auf echtem Können beruhen oder auf auswendig gelernten Antworten.
Deshalb ist die wichtigste Prüfung immer die eigene. Die Werkzeuge unten helfen, sie zu organisieren statt bei jedem Modellwechsel neu zu basteln.
Offline-Tests für reproduzierbare Ergebnisse
Für die Messung nutzen Prüfstellen zwei Arten von Verfahren. Die automatische Auswertung vergleicht Antworten mit einem erwarteten Ergebnis, etwa bei Rechenaufgaben oder beim Code. Die menschliche Bewertung lässt Personen zwei Antworten vergleichen und entscheiden, welche besser ist. Sie fängt Dinge ein, die keine Formel erfasst: Tonfall, Nützlichkeit, ob eine Antwort die Frage überhaupt trifft.
Am bekanntesten für die automatische Seite ist DeepEval, ein Python-Werkzeug im Stil von Test-Frameworks. Es lässt sich wie eine Testsammlung in bestehende Entwicklungsprozesse einhängen und prüft je nach Kennzahl auf Richtigkeit, Halluzination oder Instruktionstreue. Wer Code ohnehin testet, erkennt die Logik sofort wieder.
Promptfoo arbeitet dagegen über Konfigurationsdateien und die Kommandozeile. Es eignet sich besonders für Sicherheitstests: Das Werkzeug erzeugt selbst Angriffe wie Prompt-Injection und Jailbreak-Versuche und prüft, ob das Modell standhält. Ragas wiederum ist auf RAG-Systeme spezialisiert, bei denen das Modell auf eigene Dokumente zugreift.
Laufende Überwachung im Betrieb
Ein Test vor dem Start reicht nicht. Modelle werden aktualisiert, Anbieter passen sie stillschweigend an. Wer sein Modell dauerhaft einsetzt, braucht eine Überwachung, die Abweichungen früh meldet.
Vor dem Start messen
- automatische Auswertung mit festen Fällen
- Vergleich mehrerer Modellkandidaten
- ein klarer Satz von Kennzahlen
- Ergebnis als Entscheidungsgrundlage
Im Betrieb überwachen
- jede echte Anfrage protokollieren
- Qualität stichprobenartig bewerten
- Warnung bei plötzlich schlechteren Werten
- Reaktion auf Anbieter-Updates
Für den laufenden Betrieb haben sich Langfuse und Arize Phoenix etabliert. Beide lassen sich selbst hosten, was in regulierten Branchen zählt. Sie zeichnen jede Anfrage auf und erlauben, später zu prüfen, wo Fehler auftraten. LangSmith ist der naheliegende Weg, wenn Ihre Anwendung ohnehin auf LangChain oder LangGraph baut, wird aber gehostet betrieben. Die Frage, welches Werkzeug passt, beantwortet sich also zuerst über Ihre bestehende Umgebung.
Die Kriterien, auf die es ankommt
Ein gutes Prüfverfahren trennt mehrere Dinge, weil sie nicht dasselbe sind. Wer sie zu einer einzigen Zahl zusammenfasst, übersieht Unterschiede: Zwei Modelle mit demselben Durchschnittswert können völlig verschiedene Schwächen haben.
- Richtigkeit: Stimmt die Antwort sachlich, oder klingt sie nur überzeugend?
- Halluzination: Erfindet das Modell Fakten, Quellen oder Zitate?
- Instruktionstreue: Hält es sich an Vorgaben wie eine Wortgrenze oder ein Ausgabeformat?
- Konsistenz: Kommt bei derselben Frage zweimal dasselbe heraus?
Diese vier Größen sollten in jeder Auswertung getrennt ausgewiesen werden. Erst dann erkennen Sie, ob ein Modell eher bei Rechenaufgaben patzt oder eher Anweisungen nicht einhält.
Wie Sie ein eigenes Prüfset aufbauen
Der aussagekräftigste Test ist der eigene, und der lässt sich an einem Nachmittag bauen. Nehmen Sie 30 bis 50 echte Aufgaben aus Ihrem Arbeitsalltag und notieren Sie das erwartete Ergebnis. Lassen Sie jedes Kandidatenmodell denselben Satz bearbeiten und bewerten Sie nach festen Kriterien, nicht nach Gefühl.
Wiederholen Sie den Durchlauf mit leicht veränderten Formulierungen. Bleibt das Ergebnis stabil, ist die Aussage belastbar. Schwankt es, hat das Modell ein Konsistenzproblem, das im Betrieb Ärger macht.
Gerade im deutschen Sprachgebrauch lohnt der eigene Test. Viele veröffentlichte Prüfsets sind englisch geprägt und übersehen Eigenheiten wie zusammengesetzte Wörter oder den korrekten Umgang mit Sonderzeichen. Ein Modell, das auf Englisch glänzt, kann bei deutschen Fachtexten zurückfallen.
Womit Sie anfangen sollten
Wenn Ihr Team bereits testet, beginnt mit DeepEval: Die Ergebnisse fügen sich in bestehende Abläufe ein. Nutzen Sie LangChain, ist LangSmith der schnellste Weg zum ersten Überblick. Steht Sicherheit im Vordergrund, deckt Promptfoo die Angriffsszenarien ab.
Prüfen Sie zuerst die Lizenz. Viele der genannten Werkzeuge stehen unter Apache 2.0 oder MIT und lassen sich daher auch selbst betreiben. Wer in einer regulierten Branche arbeitet, sollte das vor der Auswahl klären. Was für alle gilt: Ein Werkzeug ersetzt kein eigenes Prüfset. Es organisiert es nur.
