Simon Willison passe Kimi K3 au benchmark du pélican : 25 cents et 13 241 tokens de raisonnement pour un SVG
Résumé
Simon Willison publie le 16 juillet son évaluation de Kimi K3 (2,8 T de paramètres) via son SVG « pélican à vélo », test devenu son 'hello world' pour tout nouveau modèle. Kimi K3 a consommé 95 tokens en entrée et 16 658 en sortie, dont 13 241 dédiés au raisonnement, pour un coût de 25 cents par requête — le modèle n'expose qu'un seul niveau, « max ». Willison note que la corrélation entre son benchmark ludique et la qualité réelle du modèle est « largement rompue » et que le test ne mesure pas l'agentique ou la fiabilité en longue conversation.
Shared on Bluesky by 3 AI experts
-
My notes on Kimi K3, plus some thoughts on what we can still learn from the pelican benchmark even while it becomes further detached from how good the models are at the things that matter (like agentic tool calling acros…
View on Bluesky →
Article original publié par simonwillison.net
Lire l'article original →Titre original : Simon Willison passe Kimi K3 au benchmark du pélican : 25 cents et 13 241 tokens de raisonnement pour un SVG