Surge AI

Surge の最大の資産は、採点する側が誰かという点にある。20 万人超の博士号取得者がネットワークにいると会社は述べ、現役の経済学者、訴訟弁護士、NASA のエンジニア、国際数学オリンピックの金メダリスト、臨床医が貢献者として名を連ねる。失敗の代償が大きい仕事では、人数よりもこの点が効く。弁護士が契約書を読めば、一般的なアノテーターが読み飛ばす誤りを拾う。その差が、モデルが学ぶ選好データに残る。アクセスは分野単位なので、専門性の高い領域は一般領域より人手がそろうまで時間がかかる。大量アノテーションのプラットフォームというより、専門家アノテーションのサービスが先に来る。クラウドソーシング系ツールとは順序が逆だ。

カタログの中でもエージェント向けの部分だ。Surge はツール、社内システム、MCP サーバーを備えた多段階の環境を組み、エージェントが本当に作業を終えたかを採点する検証器を書く。公開されている設定の一つはカスタマーサポート企業の模擬で、現実的なチケットを使った学習を行う。別の設定は 100 ページのハンドブックをたどる社内規程の遵守を再現する。利点は失敗の安さにある。エージェントは実システムに触れる前に、シミュレーションの中で千回間違えられる。

ルーブリックは主観的な判断を点数に変える仕組みで、Surge が集める RLHF データの多くを動かしている。選好タスクなら人は 2 つの回答から良い方を選ぶ。ルーブリック採点なら同じ人が品質を重み付きの項目に分解する。伝記なら、人物の足跡を忠実になぞった点で加点し、肝心の謎を落とした点で減点する。この構造のおかげで、すべてを読み直さずに大量の評価を回せる。合格か不合格かでは消えてしまう「及第点」と「秀逸」の差も残る。

カタログでは、Surge がラボとの仕事で使うデータを個別案件なしで買える。カテゴリはコーディングエージェント、企業エージェント、マルチモーダル推論、専門家推論に分かれ、GDP.pdf、Chartography、ComplexConstraints といった名前付きのデータセットが並ぶ。公開結果の一つでは、Kimi K2.7 がコード用セットで学習したあと SWE-Marathon で 20 ポイント伸びた。Trusted プログラムのパートナーは先に学習し、効果が出たときだけ支払える。数字が動くのを見る前にデータを買うリスクを下げられる。

Surge は自前のランキングを公開しており、採点するのは別のモデルではなく専門家だ。Antidote は日常的な回答を長期的な役立ち度で並べ、Hemingway-bench は文章をセンスと情緒の理解で評価し、DAYJOB シリーズは金融と医療の業務でエージェントを試す。Riemann-bench は現役の数学者から高度な問題を集める。これらのベンチマークは買い手に共通の物差しを与えると同時に、専門家の採点が自動スコアより上だという主張の裏付けにもなっている。

Surge は 70 言語以上で仕事をし、言語学者が英文プロンプトを翻訳するのではなく、文法、慣用表現、地域の用法に合わせてデータを設計する。マルチモーダルでは画像、音声、動画、文書、画面を扱う。韓国語の法的要約やブラジルのニュース見出しは、その言語を母語として読む人が書く。モデルを英語圏の外に展開するとき、この差は効いてくる。