Epoch AI

FrontierMath évalue les modèles sur des problèmes originaux rédigés par des mathématiciens, répartis en quatre niveaux allant du cycle universitaire avancé à de courts projets de recherche. Les énoncés restent inédits et les réponses se vérifient automatiquement : un score élevé ne s'obtient pas par mémorisation. Le programme comprend aussi Open Problems, un ensemble de questions de recherche ouvertes, et une collection de problèmes d'Erdős formalisés en Lean.

L'indice de capacités d'Epoch, ou ECI, regroupe de nombreux résultats de benchmark en un seul nombre pour comparer des modèles qui n'ont jamais passé la même épreuve. Il part d'exécutions réelles et s'ajuste entre les tests, ce qui aide à suivre la frontière dans le temps. La valeur brute reste abstraite : regardez les courbes de chaque benchmark pour un chiffre concret.

C'est le cœur du projet : plus de 3 200 modèles d'apprentissage automatique de 1950 à aujourd'hui, avec calcul d'entraînement, développeur, date de publication et type d'accès. Chaque valeur de calcul arrive avec une estimation et une note de confiance, jamais seule. Pour l'étude du scaling, cela épargne des mois de collecte manuelle.

Epoch AI mène ses propres évaluations et collecte aussi des résultats de benchmark IA publiés ailleurs, les deux sources restant dans des tableaux distincts. Les données sortent en CSV, en tableaux consultables ou via le client epochai en Python, qui lit une API Airtable et préserve les liens entre modèles et exécutions. Ce détail compte lorsqu'il faut rattacher un score à une version précise du modèle.

La base de données de centres de données IA cartographie les grands sites à partir d'images satellite et de dossiers de permis, puis estime leur calcul et leur consommation électrique. Les bases liées couvrent le matériel d'apprentissage automatique, les clusters de GPU, les ventes de puces et les investissements des entreprises. Elles répondent à des questions que les classements de modèles ignorent, comme la destination de l'électricité.

Entreprises, fondations et administrations peuvent payer Epoch AI pour évaluer des modèles, construire une base sur mesure ou rédiger un rapport. Les travaux passés incluent des contributions à l'AI Index de Stanford et au ministère britannique des Sciences, de l'Innovation et de la Technologie. C'est une relation de conseil avec un filtre d'intérêt général, pas un service en libre-service.