Modèles

Gemini 4 Carbon gagne MathArena, mais l'essai coûte quinze fois plus cher

Gemini 4 Carbon prend la première place de MathArena. Le score n'est pas la partie intéressante : la facture d'un seul passage complet du benchmark pèse quinze fois plus lourd que celle du modèle qu'il détrône.

Julien MartinJulien Martin
Popularité : 1,600
Une courbe de score ascendante sur un panneau sombre, à côté du mot Carbon et de la mention 85,4 pour cent, première place

Gemini 4 Carbon prend la première place de MathArena. Le score n'est pas la partie intéressante : la facture d'un seul passage complet du benchmark pèse quinze fois plus lourd que celle du modèle qu'il détrône.

Gemini 4 Carbon : deux prix qu'il ne faut pas confondre

Le tarif public de Gemini 4 Carbon est de 4 dollars le million de jetons en entrée, et de 20 dollars en sortie. C'est exactement le prix de Gemini 4 Argon, son frère de gamme. Le « 15 fois » qui circule depuis le 14 novembre ne parle pas de ça.

Il parle du coût d'un passage complet de MathArena, aux réglages de raisonnement retenus pendant les tests : 15,70 dollars pour Carbon, 1,07 dollar pour GPT-6.1 Sol. Même benchmark, mêmes conditions.

La nuance n'est pas un détail de comptable. Un prix au jeton se prévoit. Une consommation par tâche, non. Pour une équipe qui construit son budget en euros, c'est la deuxième ligne qui dérape en fin de trimestre.

Ce que MathArena mesure, et pourquoi le coût compte autant que le score

MathArena est un benchmark indépendant de mathématiques, pas une évaluation signée Google. Il confronte les modèles à des énoncés inédits, juge la réponse finale, et publie à côté du score ce qu'un passage complet a coûté. Les chiffres repris ici viennent du tableau publié par The Decoder le 14 novembre.

Cette double publication change la lecture. Gagner trois points en brûlant quinze fois plus de jetons n'est pas la même progression que gagner trois points à budget constant. Sur des problèmes ouverts, la ténacité paie. Sur une chaîne de production, elle se facture.

Les marges d'erreur comptent aussi. Carbon est annoncé à 85,4 % avec 3 points d'incertitude, Claude Fable 5.2 à 82,8 % avec plus de 5 points. Les deux fourchettes se chevauchent presque, ce qui interdit de parler d'écart net.

Modèle

Score MathArena

Coût d'un passage

Gemini 4 Carbon (effort high)

85,4 %

15,70 $

Claude Fable 5.2 (max)

82,8 %

40,20 $

GPT-6.1 Sol (max)

80,6 %

1,07 $

Kimi K3.1 Pro (max)

54,3 %

3,70 $

Claude Fable 5.2 est donc le plus cher des quatre, et il finit deuxième. Cela ne dit rien de sa valeur globale : le modèle d'Anthropic mène l'indice d'Artificial Analysis et gagne d'autres évaluations que MathArena ne mesure pas. Un seul benchmark ne classe pas un modèle, il classe un comportement sur un type de tâche. Le meilleur modèle ouvert du tableau, Kimi K3.1 Pro, plafonne à 54,3 %.

Pourquoi Gemini 4 Carbon brûle autant de jetons

Le mode d'échec le plus fréquent de Carbon est le dépassement du temps imparti. Le modèle abandonne rarement une tâche : il continue de chercher, de vérifier, de relancer. Dans un cas documenté par Google, il a lancé un script qui a tourné plus de onze heures sans jamais contrôler son avancement.

Ce n'est pas un bug. C'est un choix de produit, et il explique la consommation que Google assume : Carbon raisonne plus longtemps et enchaîne davantage de boucles de vérification qu'Argon, à prix de jeton identique.

Pour un utilisateur, la conséquence est concrète. Un modèle qui ne renonce pas évite les réponses bâclées. Il évite aussi la question « est-ce que ça valait le coup de continuer ? ». En France, où beaucoup de prestataires facturent au forfait, cette absence de frein passe directement dans la marge de celui qui vend la prestation.

Gemini 4 Argon reste le modèle à essayer en premier

Google présente Carbon comme un complément, pas comme un remplaçant. La société indique qu'Argon reste le meilleur choix pour l'essentiel du travail d'ingénierie logicielle et de connaissance, et réserve Carbon à la recherche ouverte et au débogage difficile.

Carbon est en accès général depuis le 10 novembre, après environ deux semaines de tests fermés avec des experts en sécurité sélectionnés. Les développeurs des offres payantes y accèdent par l'API Gemini, Google AI Studio, Android Studio et Gemini for Business. Aucune version téléchargeable n'existe.

Les benchmarks maison de Google et les failles trouvées par Fairwind

Google accompagne la sortie de ses propres mesures, à lire comme des annonces de la société et non comme des résultats validés par un tiers. Elle revendique la première place sur CursorBench 4.0, juste sous les 60 %, ainsi que sur WANDR de Perplexity et AutomationBench de Zapier, pour un coût par tâche inférieur de moitié à celui de Claude Fable 5.2.

Sur le benchmark d'agents à connaissance multimodale construit avec Artificial Analysis, Carbon finit deuxième derrière Fable 5.2 et devant Claude Opus 5.5, pour moins d'un sixième du coût du premier. Une mesure indépendante, publiée deux semaines plus tôt par Artificial Analysis, donne un ordre de grandeur plus rassurant : 7,76 dollars par tâche résolue au tarif standard, contre 26,50 dollars pour Fable 5.2 à effort maximal.

Pendant son programme Fairwind, Carbon a trouvé de vraies failles zero-day en scannant deux grands fournisseurs de SaaS, en moins de deux heures, dans le cadre de Scan for Good de Wiz. L'équipe sécurité cloud de Google l'a aussi utilisé pour écrire des preuves de concept sur deux bugs connus d'un projet open source populaire. La ténacité qui coûte cher en maths sert aussi à fouiller du code.

Combien coûte Gemini 4 Carbon, et jusqu'à quand

Le tarif standard est de 4 dollars en entrée et 20 dollars en sortie. Google applique un prix de lancement à 2 et 10 dollars, sans date de fin annoncée : il ne faut pas le traiter comme un tarif définitif dans un budget pluriannuel. Côté européen, héberger les traitements dans la région europe-west9 de Google Cloud, à Paris, garde les données dans l'Union, ce qui pèse souvent plus qu'un écart de score.

La société a aussi montré un aperçu de la fonction /swarm dans Google Antigravity, qui transforme un prompt en équipe d'agents coordonnés, Carbon tenant le rôle d'architecte et d'auditeur pendant que des modèles plus légers travaillent en parallèle. OpenAI et Anthropic ont tous deux mis en garde récemment contre ces essaims, jugés coûteux en jetons pour un gain de qualité incertain.

La règle qui sort de tout ça tient en une phrase : budgétez par tâche terminée, pas par million de jetons. Le prix affiché de Gemini 4 Carbon est identique à celui d'Argon. Le coût réel d'un dossier traité dépend du nombre de fois où le modèle décide de recommencer.

Partager cet article

Sources

Actualités liées à l’IA

Une fenêtre de terminal avec une courbe de récompense ascendante et un badge 27B à côté
Modèles

RadixArk double le score Terminal-Bench 4.1 de Qwen3.8-27B

RadixArk publie DaisyRose-27B, un Qwen3.8-27B réentraîné par renforcement sur des tâches d'agents longues. Le gain est net, le score absolu reste bas, et l'argument réel porte sur le coût par point gagné.

Popularité : 1,330
Le contour d'un ordinateur portable avec trois feuilles de couches empilées qui traversent une flèche en boucle
Modèles

Inkling 2 Mini : 24 couches qui en valent 48 sur un portable

Thinking Machines Lab repasse trois fois par les mêmes couches pour faire raisonner un modèle de 27 milliards de paramètres. Le résultat tient sur un portable, à condition d'accepter ce qu'une boucle ne sait pas faire.

Popularité : 1,710
Une longue forme d'onde audio bleu-vert avec une seule barre orange sur fond sombre
Modèles

Rumble-2-Flash : 500 millions de paramètres qui tiennent tête à un modèle géant

Reson8 publie un modèle de reconnaissance vocale de 500 millions de paramètres qui arrive à un dixième de point d'un modèle soixante fois plus gros sur de vrais appels téléphoniques. Reste à savoir ce que vous abandonnez en échange.

Popularité : 560
Trois anneaux néon en orbite autour d'un petit noyau lumineux sur fond bleu profond
Modèles

Gemini 4 Neon arrive dans l'application, et le sélecteur perd deux noms

Google remplace Gemini 4 Argon par un modèle qu'il présente comme proche de Gemini 4 Carbon, pour un coût par tâche plus bas. Voici ce que cela change dans l'application, et ce que les chiffres de Google couvrent vraiment.

Popularité : 1,500