Étude : les langues autres que l’anglais peuvent consommer bien plus de tokens d’IA, les plus coûteuses en utilisant 1,5 à 5 fois plus que les moins coûteuses, créant une « taxe du tokenizer »
Certaines langues nécessitent bien plus de tokens pour être traitées par les modèles d’IA, ce qui augmente les coûts et réduit le contexte disponible pour ceux qui les utilisent.