Epoch AI

FrontierMath evalúa modelos con problemas originales escritos por matemáticos, repartidos en cuatro niveles que van desde cursos avanzados de grado hasta proyectos cortos de investigación. Los enunciados no se publican y las respuestas se comprueban de forma automática, así que una nota alta no se consigue memorizando. El programa incluye además Open Problems, una colección de preguntas de investigación sin resolver, y un conjunto de problemas de Erdős formalizados en Lean.

El índice de capacidades de Epoch, o ECI, convierte muchos resultados de benchmark en un solo número para comparar modelos que nunca se probaron con el mismo examen. Se construye con ejecuciones observadas y se ajusta entre pruebas, lo que sirve para seguir la frontera a lo largo del tiempo. El valor bruto es abstracto: mira las curvas de cada benchmark cuando necesites algo concreto.

Es el núcleo del proyecto: más de 3.200 modelos de aprendizaje automático desde 1950 hasta hoy, con cómputo de entrenamiento, desarrollador, fecha de publicación y tipo de acceso. Cada cifra de cómputo llega con una estimación y una nota de confianza, no como número suelto. Para quien estudia escalado, ahorra meses de recolección manual.

Epoch AI ejecuta sus propias evaluaciones y también recopila resultados ajenos, con las dos fuentes en tablas separadas para que veas qué es qué. Los datos salen en CSV, en tablas navegables o mediante el cliente epochai de Python, que lee la API de Airtable y mantiene los vínculos entre modelos y ejecuciones. Ese detalle importa cuando hay que unir una nota con una versión concreta del modelo.

La base de datos de centros de datos de IA localiza instalaciones grandes con imágenes satelitales y expedientes de permisos, y estima su cómputo y su consumo eléctrico. Los conjuntos relacionados cubren hardware de aprendizaje automático, clústeres de GPU, venta de chips e inversión de empresas. Responden preguntas que las tablas de líderes ignoran, como adónde va la electricidad.

Empresas, fundaciones y gobiernos pueden pagar a Epoch AI para evaluar modelos, construir un conjunto de datos propio o redactar un informe. Entre los trabajos anteriores hay aportes al AI Index de Stanford y al Departamento de Ciencia, Innovación y Tecnología del Reino Unido. Es una relación de consultoría con filtro de interés público, no un servicio de autoservicio.