Epoch AI

FrontierMath は数学者が書いたオリジナル問題でモデルを試す。難易度は4段階で、学部上級から短期の研究課題まで及ぶ。問題は非公開のままで、答えは機械的に検証できる。暗記で高い点を取るのは難しい。Open Problems という未解決の研究課題集と、Lean で形式化した Erdős 問題の集合も同じ枠組みに入る。

Epoch 能力指数（ECI）は多数のベンチマーク結果を一つの数値にまとめ、同じ試験を受けていないモデル同士を比べられるようにする。実際の実行記録から作り、ベンチマークをまたいで調整するため、最前線の推移を追うのに向く。数値そのものは抽象的だ。具体的な判断が要るときは各ベンチマークの曲線を見る。

プロジェクトの中核で、1950年から現在までの3,200超のモデルを、学習計算量、開発元、公開日、提供形態とともに収録する。計算量の値には推定と信頼度の注記が付き、数字だけが独り歩きしない。規模化を研究する人にとっては、手作業の収集を数か月分省ける。

Epoch AI は自前の評価を回し、他者が公表した結果も集める。二つは別の表に分かれ、どちらがどちらか一目で分かる。データは CSV、閲覧用の表、または Python クライアント epochai から取れる。epochai は Airtable の API を読み、モデルと実行記録の結び付きを保つ。点数を特定のモデル版に紐づけたいときに効く。

AI データセンターデータベースは衛星画像と許認可申請から大規模施設を特定し、計算資源と電力消費を見積もる。関連するデータは機械学習ハードウェア、GPU クラスタ、チップ販売、企業投資を扱う。モデルの順位表が見落とす問い、たとえば電気がどこへ流れるかに答える。

企業、財団、政府機関は Epoch AI に依頼して、モデル評価、独自データセットの構築、レポート作成を行える。過去にはスタンフォード大の AI Index や英科学・イノベーション・技術省への協力がある。公共性の観点で案件を選ぶコンサルティングであり、セルフサービスではない。