Appen

Appenは指定に沿ってデータセットを組む。特定の属性、管理された録音環境、ごく一部の専門家しか理解しない領域など、事情はさまざまだ。チームが収集手順を設計し、協力者を募り、同意とライセンスの処理も過程で担う。カタログのデータセットが用途に合わないときは、この選択肢を取る。

カタログには、音声、コード、強化学習タスクなどの分類にわたる、収集済みでライセンス済みのデータセットが数百そろう。それぞれに仕様書が付き、出所、アノテーション手法、既知の制約が書かれている。法務やコンプライアンスの担当が来歴を確認できる。データセットをライセンスすれば数日で使い始められ、新たに収集を発注する必要はない。

Appenは、どの回答がより良いかをモデルに教える人間のフィードバック作業を担う。報酬モデルの学習、教師ありの実演、モデルが自分を説明する力を高める推論トレースが含まれる。チームはこれを使い、モデルを公開する前に口調、安全性、正確さを整える。同社でもっとも稼働の多い仕事のひとつだ。

聞いて話すシステム向けに、Appenは多言語の音声コーパスを集め、音声合成のアノテーションと音声エージェントの評価を回す。視覚側では画像と動画のラベリングを担い、画像アノテーションとしても活用される。ロボティクスや自動運転向けに行動認識や点群のタグ付けも行う。対応は500以上の地域に及び、製品を英語以外でも動かすときに効いてくる。

データを集めるだけでなく、Appenは独立した評価も行う。ハルシネーションのベンチマーク、バイアス検出、規制に沿った監査が含まれる。狙いは、自社のテスト結果だけでなく、モデルが信頼に値するかを示す外部の証拠をチームに渡すことだ。コンプライアンス審査を控える企業や、当局が厳しく見る製品の公開を準備する企業に向く。

Appenは、コンテキストエンジニアリング、合成データの生成、LLM-as-a-judgeの仕組みを使ったカスタムベンチマークといった研究支援を提供する。動くモデルはあるが、案件を前に進める人手が足りないチーム向けのサービスだ。データ収集と同じ協力者ネットワークを使うため、結果は構造化され見直しがきく形で返ってくる。