MAIHEM
MAIHEM · コーディング · その他 · チャットボット
MAIHEMは合成ユーザーをLLMアプリに送り込み、失敗した会話を報告書にまとめるAI品質保証プラットフォームだ。
MAIHEM について
What Is MAIHEM
MAIHEMは2023年創業のロンドン企業で、Y Combinatorの2024年冬バッチに参加し、対話型プロダクトの品質保証に絞って開発を進めた。主張は明快だ。チャットボットが壊れるのは、テストスイートが決して通らない経路である。ならばAIエージェントに、実際の顧客と同じ話し方をさせればよい。
その発想は閉じたループになった。対象のアプリを記述し、目的と機嫌を持った合成ユーザーを用意し、人間のチームでは到底追えない量の会話を流す。実行のたびに、失敗した会話とその理由を並べたレポートが出る。Tracxnは同じ製品の構成要素として、パフォーマンス評価、LLM評価、合成データ生成、リスクシミュレーションを挙げている。
厄介なのは、ここで扱うソフトウェアにもう入口がないことだ。maihem.aiはtekton-dynamics.comへ転送される。溶接ロボット向けのAI制御レイヤーを作る、現在の会社の姿だ。Python SDKは2025年4月の1.7.7で止まり、ドキュメントのドメインも名前解決できない。以下は当時の動作を記したもので、テストツールの比較やチームの行方を追う用途なら今も役に立つ。
Getting Started
pip install maihemでクライアントを入れ、WebダッシュボードでAPIキーを発行する。- 検証するアプリを記述する。答えるべき内容、断るべき内容、守るべき口調の3点を書く。
- 対話型AIのテスト用に合成ユーザーを作る。各自に目的、性格、拒否されたときの我慢強さを持たせる。
- シミュレーションを実行してレポートを開く。失敗した会話には、壊れたやり取りと短い理由が付いてくる。
- プロンプトやモデルを変えたら同じセットを再実行し、2つのレポートを並べて比べる。
AIツール情報
MAIHEMの料金、対応プラットフォーム、性能を簡単に確認できます。
こんな人におすすめ
このツールが最も力を発揮するユーザー、タスク、シーン。
ユーザー
- 顧客向けチャットボットを運用するプロダクトチーム。顧客がスクリーンショットをSNSに上げる前に、壊れた回答を見つけられる。
- 機械学習の専任がいないQA責任者。1リリースのために採用を正当化する代わりに、合成ユーザーで穴を埋められる。
- デモを控えた創業者。失敗率の書かれたレポートは、口約束より投資家に響く。
タスク
- リリース前の不具合探し。候補版に対して脚本ありと自由の会話を数百本流し、壊れたやり取りの一覧を受け取る。
- 合成データ生成。微調整用や再利用できる回帰テスト用に、現実味のある対話を集める。
- プロンプト書き換え後の回帰確認。同じ合成ユーザーを使い、どの回答が悪化したかを見る。
- 顧客や監査向けの報告。ボットは問題ないという主張ではなく、会話単位の証拠を渡す。
シーン
- 返金と注文状況を扱うサポートアシスタント。危ないのは、怒った顧客が二度聞きする経路で、合成ユーザーはまさにそこを通る。
- 四半期の途中でのモデル差し替え。同じテストセットを新しいモデルで流し、動いた箇所をレポートで確認する。
- 他社チャットボットの評価。評価する側が自分で証拠を作るので、デモを信じる必要がない。
主な機能
顧客を演じるAIエージェント
合成ユーザーは台本化されたメッセージ列ではなく、タスクと機嫌と終了条件を持ったエージェントだ。食い下がり、話題を変え、同じ質問を3通りに言い換える。出来上がるのは単体テストではなく、顧客との会話ログに近い。
大量の合成会話
1回の実行で、人間が10本かける時間に数百本の対話をこなす。量が効くのは、チャットボットの不具合がたいてい珍しい組み合わせに潜むからだ。不機嫌な顧客、例外規定、半分しか答えていない質問が重なる。
原因まで書くレポート
出力は合格率で終わらない。失敗した会話ごとに、全文、回答が外れた箇所、そして知識ベースを無視したのか、規則を破ったのか、単に諦めたのかの判定が付く。
実行間で比べられるスコア
実行は決められた軸で採点される。プロンプトを変えれば、意見が2つではなく数字が2つ手に入る。チームが使い続けたのはこの比較で、新しい版が良くなったのか、ただ別物になったのかが分かる。
自動実行のためのPython SDK
maihem パッケージを使えば、スクリプトやCIのステップからLLMテストを回し、ブラウザを開かずに結果を取れる。コードの中に住むテストは、表計算の中に住むテストよりはるかに再実行しやすい。
リスクシミュレーション
医療の質問、金融アドバイス、利用者がボットを方針の外へ押し出す会話など、繊細な領域向けのシナリオが同梱されていた。コンプライアンス担当が読める材料になった。
メリットとデメリット
メリット
- 固定スクリプトが見逃す不具合を拾う。合成ユーザーが台本をなぞらず、その場で反応を変えるためだ。
- 人力の限界を超える規模で回せる。1回の実行で数百の会話、すべて記録付き。
- レポートが不具合を名指しし、会話も見せる。プロンプトを書く人が直す場所を迷わない。
- 実行をまたいだ比較で、チャットボット評価が議論ではなく計測になる。
- Python SDKのおかげで、LLMテストがエンジニアリングの流れの中に収まる。
デメリット
- プラットフォームはもう提供されていない。maihem.aiはロボット企業へ転送され、新規登録の行き先がない。
- ドキュメントも管理画面も到達できず、採点軸の重み付けを確かめられない。
- 料金は一度も公開されず、予算を立てるには営業との会話が必要だった。
- 合成ユーザーはLLMでボットを評価する。その審判にも偏りがあり、実際の会話ログでの抜き取り確認は欠かせなかった。
よくある質問
公開前の対話型AIアプリの検証に使った。合成ユーザーがチャットボットと実際に会話し、どのやり取りが失敗したか、なぜ失敗したかを返す。
関連コンテンツ
MAIHEMに関連するツール、スキル、記事を探す。
MAIHEMの代替ツール
Base Code
Base44 (Wix) · コーディング · 生産性向上Base CodeはBase44の共有クラウド開発環境だ。既存のGitHubリポジトリに対する変更をチャットで伝え、プレビューで確認し、プルリクエストとして返せる。
Google EmbeddingGemma 2
Google DeepMind · ライティング · 画像 · コーディングGoogle EmbeddingGemma 2 は 7 億 4000 万パラメータのオープンなモデルで、テキスト、コード、画像、音声、動画フレームを同じ 768 次元空間のベクトルに変え、スマートフォンやノート PC 上で動く。
GitGlow
GitGlow · コーディング · 生産性向上GitGlow は自分のコードと AI エージェントの変更を一つのレビューにまとめるデスクトップ Git クライアントだ。出荷前に、マシンから何が出ていくのかを確かめられる。