MAIHEM

MAIHEM ist ein Londoner Unternehmen, 2023 gegründet und Teil des Winter-2024-Jahrgangs von Y Combinator, das sich auf Qualitätssicherung für konversationelle Produkte spezialisiert hat. Das Argument war eng: Ihr Chatbot bricht an Stellen, die Ihre Testsuite nie erreicht, also lassen Sie KI-Agenten mit ihm reden wie ein unzufriedener Kunde.

Daraus wurde ein geschlossener Kreislauf. Sie beschrieben die Anwendung, legten synthetische Nutzer mit eigenen Zielen und Launen an und starteten Gespräche in einer Menge, die kein menschliches Team schafft. Am Ende jeder Runde stand ein Bericht mit den gescheiterten Dialogen und dem Grund. Tracxn führt Leistungsbewertungen, LLM-Bewertung, synthetische Daten und Risikosimulationen unter demselben Produkt.

Ein unangenehmer Punkt bleibt: Die Software, um die es hier geht, hat keine Eingangstür mehr. maihem.ai leitet auf tekton-dynamics.com um, die heutige Identität des Unternehmens, das nun Steuerungsschichten mit KI für Schweißroboter baut. Das Python-SDK endet bei Version 1.7.7 vom April 2025, und die Dokumentationsdomain löst nicht mehr auf. Der folgende Text beschreibt die Plattform so, wie sie arbeitete, und bleibt nützlich, wenn Sie Testwerkzeuge vergleichen oder dem Weg des Teams nachgehen.

Getting Started

1. Installieren Sie den Client mit pip install maihem und erzeugen Sie einen API-Schlüssel im Web-Dashboard.
2. Beschreiben Sie die zu prüfende Anwendung: was sie beantworten soll, was sie ablehnen muss und welchen Ton sie halten soll.
3. Legen Sie synthetische Nutzer für die Tests für konversationelle KI an, jeder mit Ziel, Charakter und etwas Geduld, wenn man ihm Nein sagt.
4. Starten Sie die Simulation und öffnen Sie den Bericht: Jeder gescheiterte Dialog kommt mit der Stelle, an der er brach, und einer kurzen Begründung.
5. Wiederholen Sie dieselbe Testreihe nach einer Änderung am Prompt oder am Modell und vergleichen Sie beide Berichte.