Une étude montre que les langues autres que l’anglais peuvent consommer bien plus de tokens d’IA : la langue la plus coûteuse en utilise 1,5 à 5 fois plus que la moins chère, créant une « taxe du tokenizer »
Certaines langues nécessitent bien plus de tokens pour être traitées par les modèles d’IA, ce qui augmente les coûts et réduit le contexte disponible pour leurs utilisateurs.