Relari: Testing and Simulation Stack for GenAI Systems

Relariとは何か

Relariは生成AIアプリ向けのテストとシミュレーションのスタックで、Y Combinatorの2024年冬バッチを経たRelari, Inc.が開発した。理屈は単純だ。自動運転のチームは実道路で事故が起きるのを待たない。何百万キロもの模擬走行を先に走らせる。Relariは同じ考え方をLLMアプリに持ち込む。交通を作り、そこへパイプラインを走らせ、壊れた箇所を採点する。

製品は普段なら別々のツールに散らばる三つの仕事をまとめて扱う。実利用者の行動を模した合成テストセットを組み立て、パイプラインの各モジュールをオープンソースの指標で採点し、本番トラフィックを監視して品質の低下を拾う。そのうちオープンソース側のcontinuous-evalはApache 2.0のPythonパッケージで、検索、生成、コード、分類、エージェントのツール利用まで30以上の指標を備える。pipで入り、Relariに一円も払わずに動く。

制約は機能と同じくらい重い。Relariは動くパイプラインと、何が正解かの定義がすでにある前提で動く。自然言語で書く契約は、結局のところ誰かが書かねばならないからだ。ラベル付きの例も本番のフィードバックもないチームは、カスタム評価器から得られるものが減る。ホスティング版のプラットフォームも、いまは積極的に案内されていない。企業は公開の焦点をエージェント構築ツールへ移し、relari.aiは評価製品を配信しなくなった。オープンソース版はGitHubとPyPIに残り、最後のリリースは2025年1月のv0.3.14である。

導入の流れ

1. Relariのプラットフォームで無料アカウントを作る。オフラインの採点だけで足りるなら、登録を飛ばしてcontinuous-evalをpipで入れる。
2. パイプラインを繋がったモジュールとして記述し、各段の入力と出力を対応づけて、指標をどこに付けるか実行側に伝える。
3. モジュールごとに指標を選ぶ。検索側ならprecisionとrecall、最後のLLM呼び出しなら回答の正しさといった具合だ。
4. 手元の文書や例題から合成テストセットを作り、評価を回してモジュール別のスコアを読む。
5. 合格ラインをテストとして書き、リリース手順に組み込む。品質が落ちた変更はそこで止まる。