Polarity

Polarityは、AIエージェントを出荷するチーム向けに作られた評価プラットフォームだ。台本どおりのモックでエージェントをテストする代わりに、実サービスのつながったDockerサンドボックスで実行する。だからエージェントは、本番で触れるのと同じAPI、データベース、ツールを見ることになる。この構成が重要なのは、エージェントの失敗の多くは回答の不出来からは来ないからだ。誰も望んでいなかった行動をエージェントが取ることで起きる。

プラットフォームは同時に二つを確認する。一つ目は、各実行が設定したルールを守っているかどうか。Polarityはこれを、常に成立すべき不変条件と、決して発火してはならない禁止ルールに分ける。二つ目は、行動がどれだけ安定しているか。同じタスクを複数のレプリカで走らせれば、一度の通過では完全に隠れる非決定性が表に出る。この区別は重要だ。ある実行では通り、次では失敗するエージェントは、誰も見なくなったずっと後で本番を静かに壊す類のものだからだ。

最大の制約は守備範囲にある。Polarityは開発者向けツールであり、一般消費者向けアプリではない。価値を得るには、エージェントをパッケージ化し、サンドボックスからバックエンドサービスに到達できるようにしておく必要がある。自動テストの仕組みがまだないチームは、最初の数日を接続作業に費やすことになる。

はじめかた

1. Polarityのサイトにサインインし、評価したいエージェント用のプロジェクトを作成する。
2. プロジェクトを自分のエージェントに向け、必要なバックエンドサービスを定義する。こうしてサンドボックスは本番と同じ依存関係で立ち上がる。
3. 不変条件と禁止ルールを、各実行が採点されるチェックとして書く。
4. 一つ以上のレプリカでタスクを実行し、行動が安定しているか、試行ごとにずれるかを確かめる。
5. 失敗を開き、そのシードから再現し、出荷前に根本原因を直す。