Gemini 4 Carbon détrône GPT-6.1 Sol sur MathArena, à 15× le coût
TL;DR
- Gemini 4 Carbon de Google atteint 85,4 % sur MathArena et déloge GPT-6.1 Sol du sommet; Claude Fable 5.2 arrive deuxième à 82,8 %.
- Une exécution de Carbon coûte environ 15,70 $, soit 15 fois les 1,07 $ de GPT-6.1 Sol; Claude Fable 5.2 facture 40,20 $.
- Le mode d'échec principal de Carbon est le dépassement de temps; un script a tourné plus de onze heures sans vérification de progression.
Le modèle Gemini 4 Carbon de Google atteint 85,4 % de précision sur MathArena et prend la première place du classement combiné, devant Claude Fable 5.2 d'Anthropic (82,8 %) et GPT-6.1 Sol d'OpenAI (80,6 %), rapporte The Decoder. Selon Matthias Bastian, c'est le premier modèle non-OpenAI depuis un certain temps à s'emparer du sommet du benchmark de mathématiques; les modèles OpenAI récemment crédités d'avoir résolu des équations comme celles de Navier-Stokes ne sont pas encore publiquement disponibles.
La première place a un prix. Une exécution de Carbon revient à environ 15,70 $, celle de Claude Fable 5.2 à 40,20 $, et celle de Sol à 1,07 $. "Carbon and Fable 5.2 cost roughly 15 and 40 times as much as GPT-6.1 Sol, respectively", écrit The Decoder au sujet des réglages de raisonnement retenus pour les tests.
Le mode d'échec le plus fréquent de Carbon : dépasser la limite de temps. Le modèle n'abandonne presque jamais une tâche, trait qui peut se lire comme une qualité ou comme un défaut. "In one case, it launched a script that ran for more than eleven hours without checking on its progress", relate l'article.
Sur les 90 derniers jours, nous avions publié 261 alertes OpenAI et 245 alertes Anthropic; c'est l'un des rares classements de raisonnement récents où le premier n'est plus un modèle d'OpenAI.
Article original publié par the-decoder.com
Lire l'article original →Titre original : Gemini 4 Carbon détrône GPT-6.1 Sol au sommet de MathArena à 85,4 %, mais à 15× le coût