Rest of World chiffre une « tokenizer tax » de 17× sur 200 langues
TL;DR
- Parmi les 20 langues les plus parlées sur internet, le pire tokenizer utilise de 1,5 à 5 fois plus de tokens que le meilleur selon l'étude.
- Étendu à 200 langues, l'écart grimpe à 17× sur un des modèles testés, selon la Coalition for Language Equity in AI Research.
- Six scripts — birman, tibétain, tifinagh, khmer, lao et ol chiki — sont les plus pénalisés de manière consistante sur presque tous les modèles analysés.
Les modèles d'IA ne facturent pas toutes les langues au même tarif. Dans une enquête publiée fin octobre par Rest of World, la journaliste Ananya Bhattacharya s'appuie sur une nouvelle étude de la Coalition for Language Equity in AI Research pour chiffrer la « tokenizer tax » : parmi les 20 langues les plus présentes sur internet, « the most expensive of the languages used between 1.5 and 5 times more tokens than the cheapest ». Étendu à 200 langues, l'écart grimpe jusqu'à 17× sur un des modèles examinés.
Six écritures prennent le coup partout. Selon l'article, « languages written in scripts the tokenizer rarely saw — Burmese, Tibetan, Tifinagh, Khmer, Lao, and Ol Chiki — were at the greatest disadvantage consistently across nearly all models in the analysis ». Et l'addition ne s'arrête pas au prix facturé : « Higher token counts translate into higher latency and reduced effective context capacity », résume Rest of World.
Pratyush Choudhury, cofondateur d'Activate AI, prend l'image du tutorat pour expliquer l'enjeu produit. « Think about a tutor: Retaining the student's earlier mistakes and explanations is part of delivering a good lesson. If that history consumes the context window much faster in one language, the disadvantage reaches into the quality of the service. » Il demande aux laboratoires de rendre l'écart lisible : « I would ask every major lab to publish a language-by-language scorecard showing what it costs to complete comparable tasks successfully, and commit to measurable improvements for its worst-served languages. »
Côté solutions, Raoul Nanavati, CEO de Navana.ai à Mumbai, met en avant les corpus ouverts : « Open data efforts matter here, like RESPIN, a collaborative initiative with [the Indian Institute of Science] funded by the Gates Foundation, where we collected text from native speakers of 38 dialects along with read speech. » Dheemanth Reddy, CEO de Maya Research, tempère sur le volet prix : « Token prices are falling very quickly, so the direct cost impact should become less severe over time… But actually fixing the tokenization gap will still require labs to deliberately design future tokenizers to handle these languages and scripts better. »
L'article ne liste pas la totalité des modèles testés ni la surtaxe en dollars pour une tâche type.
Article original publié par restofworld.org
Lire l'article original →Titre original : Rest of World : l'écart de prix des LLM par langue grimpe à 17× sur 200 langues, pénalisant birman, khmer et tibétain