PromptPerf

PromptPerfは、仕事でAIモデルを使い、評判だけでモデルを選ぶのに疲れた人向けのWebツールだ。例となるプロンプトを書き、良い回答がどんなものかを説明すると、そのプロンプトを複数のモデルで同時に実行する。各回答は期待した回答と照合して一致スコアを受け取るので、勘ではなく数字で裏づけられた勝者が見える。

背景にある考え方は、汎用のベンチマークは自分の用途についてほとんど語らないというものだ。公開ランキングで上位のモデルでも、自分の特定のタスクでは安い選択肢に負けることがあり、このAIモデル比較のプラットフォームはその差を自分のプロンプトで直接測る。プロンプト評価を自前のデータで行える点が強みだ。コストも記録するので、わずかな精度差と各モデルの価格を天秤にかけられる。

主な制約は範囲にある。PromptPerfは検証と比較の層であり、AIアプリを構築したり公開したりする場所ではない。接続しているホスト型モデルで動き、チーム向けツールや高度な分析といった深い機能は上位のプランに置かれている。

Getting Started

1. promptperf.devの評価ツールを開き、少なくとも1つの例を追加する。自分のプロンプトと、良いモデルなら返すはずの回答を組み合わせる。
2. 例を増やすかまとめてアップロードし、テストが楽な1件だけでなく複数の入力に対応するようにする。
3. 比較するモデルを2つから4つ選ぶか、ツールに候補を提案させ、もっと厳しく、あるいは緩く照合したいなら創造性と合格スコアを調整する。
4. テストを実行して結果を読む。各モデルが一致スコアで順位づけられ、各選択肢の相対コストも表示される。
5. テストを保存し、後で再実行して、プロバイダーの更新がモデルのプロンプト処理を変えたタイミングを捕まえる。