Forschung

Benchmark sagt nichts? So prüfen Sie Ihr Sprachmodell selbst

Ihr Anbieter zeigt glänzende Benchmark-Werte, doch in der Praxis liefert das Modell mittelmäßige Ergebnisse. Diesen Widerspruch lösen Sie nicht mit einer weiteren Rangliste, sondern mit eigenen Tests. Diese Werkzeuge machen daraus eine Routine statt Detektivarbeit.

Anna WeberAnna Weber
Beliebtheit: 860
Benchmark sagt nichts? So prüfen Sie Ihr Sprachmodell selbst

Ihr Anbieter zeigt glänzende Benchmark-Werte, doch in der Praxis liefert das Modell mittelmäßige Ergebnisse. Diesen Widerspruch lösen Sie nicht mit einer weiteren Rangliste, sondern mit eigenen Tests. Diese Werkzeuge machen daraus eine Routine statt Detektivarbeit.

Warum ein Benchmark-Wert wenig über Ihr Projekt sagt

Ein Benchmark ist ein standardisierter Aufgabensatz mit bekannten Lösungen. Das Modell bearbeitet die Aufgaben, ein Skript vergleicht mit dem Schlüssel. Der hohe Wert auf der Anbieterseite sagt aber nur, wie das Modell bei genau diesen Aufgaben abgeschnitten hat. Ihre Fachsprache, Ihre Daten und Ihre Sonderfälle kommen darin nicht vor.

Hinzu kommt ein zweites Problem: Bekannte Benchmarks sind öffentlich, und ihre Aufgaben landen früher oder später im Trainingsmaterial neuer Modelle. Manche Modelle kennen die Prüffragen also bereits. Fachleute nennen das Kontamination. Ein verdächtig hoher Wert kann daher auf echtem Können beruhen oder auf auswendig gelernten Antworten.

Deshalb ist die wichtigste Prüfung immer die eigene. Die Werkzeuge unten helfen, sie zu organisieren statt bei jedem Modellwechsel neu zu basteln.

Offline-Tests für reproduzierbare Ergebnisse

Für die Messung nutzen Prüfstellen zwei Arten von Verfahren. Die automatische Auswertung vergleicht Antworten mit einem erwarteten Ergebnis, etwa bei Rechenaufgaben oder beim Code. Die menschliche Bewertung lässt Personen zwei Antworten vergleichen und entscheiden, welche besser ist. Sie fängt Dinge ein, die keine Formel erfasst: Tonfall, Nützlichkeit, ob eine Antwort die Frage überhaupt trifft.

Am bekanntesten für die automatische Seite ist DeepEval, ein Python-Werkzeug im Stil von Test-Frameworks. Es lässt sich wie eine Testsammlung in bestehende Entwicklungsprozesse einhängen und prüft je nach Kennzahl auf Richtigkeit, Halluzination oder Instruktionstreue. Wer Code ohnehin testet, erkennt die Logik sofort wieder.

Promptfoo arbeitet dagegen über Konfigurationsdateien und die Kommandozeile. Es eignet sich besonders für Sicherheitstests: Das Werkzeug erzeugt selbst Angriffe wie Prompt-Injection und Jailbreak-Versuche und prüft, ob das Modell standhält. Ragas wiederum ist auf RAG-Systeme spezialisiert, bei denen das Modell auf eigene Dokumente zugreift.

Laufende Überwachung im Betrieb

Ein Test vor dem Start reicht nicht. Modelle werden aktualisiert, Anbieter passen sie stillschweigend an. Wer sein Modell dauerhaft einsetzt, braucht eine Überwachung, die Abweichungen früh meldet.

Vor dem Start messen

  • automatische Auswertung mit festen Fällen
  • Vergleich mehrerer Modellkandidaten
  • ein klarer Satz von Kennzahlen
  • Ergebnis als Entscheidungsgrundlage

Im Betrieb überwachen

  • jede echte Anfrage protokollieren
  • Qualität stichprobenartig bewerten
  • Warnung bei plötzlich schlechteren Werten
  • Reaktion auf Anbieter-Updates

Für den laufenden Betrieb haben sich Langfuse und Arize Phoenix etabliert. Beide lassen sich selbst hosten, was in regulierten Branchen zählt. Sie zeichnen jede Anfrage auf und erlauben, später zu prüfen, wo Fehler auftraten. LangSmith ist der naheliegende Weg, wenn Ihre Anwendung ohnehin auf LangChain oder LangGraph baut, wird aber gehostet betrieben. Die Frage, welches Werkzeug passt, beantwortet sich also zuerst über Ihre bestehende Umgebung.

Die Kriterien, auf die es ankommt

Ein gutes Prüfverfahren trennt mehrere Dinge, weil sie nicht dasselbe sind. Wer sie zu einer einzigen Zahl zusammenfasst, übersieht Unterschiede: Zwei Modelle mit demselben Durchschnittswert können völlig verschiedene Schwächen haben.

  • Richtigkeit: Stimmt die Antwort sachlich, oder klingt sie nur überzeugend?
  • Halluzination: Erfindet das Modell Fakten, Quellen oder Zitate?
  • Instruktionstreue: Hält es sich an Vorgaben wie eine Wortgrenze oder ein Ausgabeformat?
  • Konsistenz: Kommt bei derselben Frage zweimal dasselbe heraus?

Diese vier Größen sollten in jeder Auswertung getrennt ausgewiesen werden. Erst dann erkennen Sie, ob ein Modell eher bei Rechenaufgaben patzt oder eher Anweisungen nicht einhält.

Wie Sie ein eigenes Prüfset aufbauen

Der aussagekräftigste Test ist der eigene, und der lässt sich an einem Nachmittag bauen. Nehmen Sie 30 bis 50 echte Aufgaben aus Ihrem Arbeitsalltag und notieren Sie das erwartete Ergebnis. Lassen Sie jedes Kandidatenmodell denselben Satz bearbeiten und bewerten Sie nach festen Kriterien, nicht nach Gefühl.

Wiederholen Sie den Durchlauf mit leicht veränderten Formulierungen. Bleibt das Ergebnis stabil, ist die Aussage belastbar. Schwankt es, hat das Modell ein Konsistenzproblem, das im Betrieb Ärger macht.

Gerade im deutschen Sprachgebrauch lohnt der eigene Test. Viele veröffentlichte Prüfsets sind englisch geprägt und übersehen Eigenheiten wie zusammengesetzte Wörter oder den korrekten Umgang mit Sonderzeichen. Ein Modell, das auf Englisch glänzt, kann bei deutschen Fachtexten zurückfallen.

Womit Sie anfangen sollten

Wenn Ihr Team bereits testet, beginnt mit DeepEval: Die Ergebnisse fügen sich in bestehende Abläufe ein. Nutzen Sie LangChain, ist LangSmith der schnellste Weg zum ersten Überblick. Steht Sicherheit im Vordergrund, deckt Promptfoo die Angriffsszenarien ab.

Prüfen Sie zuerst die Lizenz. Viele der genannten Werkzeuge stehen unter Apache 2.0 oder MIT und lassen sich daher auch selbst betreiben. Wer in einer regulierten Branche arbeitet, sollte das vor der Auswahl klären. Was für alle gilt: Ein Werkzeug ersetzt kein eigenes Prüfset. Es organisiert es nur.

Diesen Artikel teilen

Quellen

Ähnliche KI-News

Konzentrische Spiralkurven, gekreuzt von einer senkrechten Linie mit hellen Punkten entlang der Achse
Forschung

Ein Anthropic-Forscher sagt, Claude habe die Riemann hypothesis bewiesen

Ein Mathematiker im Dienst von Anthropic sagt, er habe mit Claude einen Beweis der Riemannschen Vermutung gefunden. Bestätigt hat das Unternehmen nichts, und Stanford legte wenige Stunden später einen menschlichen Gegenentwurf vor.

Beliebtheit: 1,860
Ein Stapel vernetzter Agenten-Knoten mit einem Pfad zu einem Serverrack, darauf ein Schlüsselloch und eine Einbruchsspur
Forschung

Ein KI-Agent fand eine Zero-Day-Lücke und übernahm in elf Minuten einen Uniserver

Amazon hat einen Fall dokumentiert, in dem mehrere Agenten eine bis dahin unbekannte Lücke in einer Open-Source-Anwendung fanden und ausnutzten. Der Angriff dauerte am Ende elf Minuten, und genau das ist der Punkt.

Beliebtheit: 1,520
Ein Trichter, durch den kleine Token-Blöcke von einem Modellkasten zum nächsten laufen, mit einer Schutzplatte, die einen Teil des Flusses blockiert
Forschung

OpenAI drückt die Erfolgsquote beim Abgreifen von Denkspuren im eigenen Test von 54 auf 0,2 Prozent

OpenAI hat beschrieben, wie es verhindert, dass andere Firmen die internen Denkschritte seiner Modelle abschöpfen. Die Zahlen sehen nach einem Sieg aus. Sie kommen aus dem eigenen Testlabor.

Beliebtheit: 1,420
Ein cyanfarbenes Gitter mit einem hervorgehobenen Quadrat neben dem Text Lattice Standard Model
Forschung

OpenAI und GPT-6 Astra: ein Schritt zur Definition des Standard Model

OpenAI hat am 15. November beschrieben, wie sich das Standardmodell auf einem Gitter definieren lässt, und GPT-6 Astra hat dabei einen Beweisschritt beigesteuert. Eine Lösung des Problems ist das nicht.

Beliebtheit: 1,500