MAIHEM
MAIHEM · Programmation · Autres · Chatbot
MAIHEM est une plateforme de contrôle qualité par IA : des agents synthétiques dialoguent avec les applications LLM et le rapport final liste les échanges qui ont échoué.
À propos de MAIHEM
What Is MAIHEM
MAIHEM est une société londonienne, fondée en 2023 et passée par la promotion Winter 2024 de Y Combinator, qui s'est consacrée au contrôle qualité des produits conversationnels. Son argument tenait en une phrase : votre chatbot casse là où votre suite de tests ne va jamais, alors laissez des agents IA lui parler comme le ferait un client mécontent.
La plateforme transformait cette idée en boucle fermée. Vous décriviez l'application, vous construisiez des utilisateurs synthétiques avec leurs objectifs et leur humeur, puis vous lanciez des conversations à un volume qu'aucune équipe humaine ne couvre. Chaque campagne se terminait par un rapport listant les échanges ratés et la raison de chaque échec. Tracxn rattache au même produit des évaluations de performance, l'évaluation LLM, la génération de données synthétiques et des simulations de risques.
Reste un détail gênant : le logiciel décrit ici n'a plus de porte d'entrée. maihem.ai redirige vers tekton-dynamics.com, l'identité actuelle de l'entreprise, tournée vers des couches de contrôle par IA pour robots de soudage. Le SDK Python s'arrête à la version 1.7.7 d'avril 2025 et le domaine de la documentation ne répond plus. La suite décrit la plateforme telle qu'elle fonctionnait, ce qui reste utile si vous comparez des outils de test ou si vous suivez la trace de l'équipe.
Getting Started
- Installez le client avec
pip install maihem, puis créez une clé d'API dans le tableau de bord web. - Décrivez l'application testée : ce qu'elle doit répondre, ce qu'elle doit refuser et le ton à tenir.
- Construisez des utilisateurs synthétiques pour les tests d'IA conversationnelle, chacun avec un objectif, un caractère et une certaine patience quand on lui dit non.
- Lancez la simulation et ouvrez le rapport : chaque conversation ratée arrive avec l'échange exact qui a cassé et une explication courte.
- Rejouez la même batterie après une modification de prompt ou de modèle, puis comparez les deux rapports.
Informations sur le produit
Aperçu des tarifs, des plateformes compatibles et des performances de MAIHEM.
Idéal pour
Les utilisateurs, tâches et cas d'usage où cet outil convient le mieux.
Utilisateurs
- Équipes produit avec un chatbot client
- Responsables QA sans profil machine learning
- Fondateurs en préparation de démo
Tâches
- Chasse aux pannes avant lancement
- Génération de données synthétiques
- Régression après réécriture d'un prompt
- Rapport pour un client ou un auditeur
Cas d'usage
- Un assistant support qui gère remboursements et suivi de commande
- Un changement de modèle en cours de trimestre
- Un audit du chatbot d'une autre entreprise
Fonctionnalités clés
Des agents qui jouent le client
Chaque utilisateur synthétique est un agent avec une tâche, une humeur et une règle d'arrêt, pas une liste de messages écrits d'avance. Il insiste, change de sujet et pose trois fois la même question autrement. Le résultat se lit comme une transcription d'appel.
Des conversations synthétiques en volume
Une campagne couvre des centaines de dialogues dans le temps qu'un testeur humain passe sur dix. Le volume compte, parce que presque toutes les défaillances d'un chatbot vivent dans des combinaisons rares : utilisateur frustré, règle de cas limite et question à moitié traitée.
Un rapport qui nomme la panne
La sortie ne s'arrête pas à un taux de réussite. Chaque conversation ratée vient avec la transcription, le point où la réponse a dérapé et un verdict : base de connaissances ignorée, règle enfreinte, ou abandon pur et simple.
Des notes comparables d'une campagne à l'autre
Les campagnes sont notées sur des dimensions définies, donc un changement de prompt produit deux chiffres plutôt que deux avis. Cette comparaison est ce que les équipes continuaient d'utiliser, parce qu'elle dit si la nouvelle version est meilleure ou seulement différente.
Un SDK Python pour lancer les tests
Le paquet maihem laissait les ingénieurs lancer des tests LLM depuis un script ou une étape de CI, puis récupérer les résultats sans ouvrir de navigateur. Une batterie qui vit dans le code se rejoue bien plus vite qu'une batterie qui vit dans un tableur.
Des simulations de risques
La plateforme fournissait des scénarios pour les terrains sensibles : questions médicales, conseil financier, conversations où l'utilisateur pousse le bot hors de sa politique. Ces essais donnaient de la matière à ceux qui relisent la conformité.
Avantages et inconvénients
Avantages
- Détecte des pannes qu'un script figé ne voit pas, parce que les utilisateurs synthétiques improvisent au lieu de suivre un scénario.
- Dépasse les capacités humaines : des centaines de conversations par campagne, toutes consignées.
- Le rapport nomme la panne et montre la transcription, donc la personne qui écrit le prompt sait quoi corriger.
- Comparer les campagnes transforme l'évaluation de chatbots en mesure plutôt qu'en débat.
- Le SDK Python garde les tests LLM dans le flux d'ingénierie, sans rituel dans un tableau de bord séparé.
Inconvénients
- La plateforme n'est plus proposée. maihem.ai redirige vers une société de robotique et une inscription n'aboutit nulle part.
- Documentation et tableau de bord sont hors ligne : impossible de vérifier la pondération des dimensions de notation.
- Les tarifs n'ont jamais été publiés, ce qui transformait un budget en appel commercial au lieu d'une page à lire.
- Les utilisateurs synthétiques jugent votre bot avec un LLM, et ce juge porte ses propres biais. Des vérifications sur de vraies transcriptions restaient nécessaires.
Questions fréquentes
À tester des applications conversationnelles avant leur mise en ligne. Des utilisateurs synthétiques dialoguaient avec le chatbot et la plateforme indiquait quels échanges échouaient, et pourquoi.
Contenus associés
Découvrez des outils, des compétences et des articles liés à MAIHEM.
Alternatives à MAIHEM
Base Code
Base44 (Wix) · Programmation · ProductivitéBase Code est un environnement de développement cloud partagé signé Base44. Votre équipe décrit des modifications sur un dépôt GitHub dans le chat, les vérifie en aperçu et les renvoie sous forme de pull requests.
Google EmbeddingGemma 2
Google DeepMind · Rédaction · Image · ProgrammationGoogle EmbeddingGemma 2 est un modèle ouvert de 740 millions de paramètres qui transforme texte, code, images, audio et images vidéo en vecteurs d'un même espace de 768 dimensions, sur un téléphone ou un ordinateur portable.
GitGlow
GitGlow · Programmation · ProductivitéGitGlow est un client Git de bureau qui place votre code et les modifications de vos agents IA dans une même revue, pour savoir ce qui quitte votre machine avant de livrer.