Les modèles d'IA beaucoup plus chers pour les langues moins courantes

Une nouvelle étude de la Coalition pour l'Équité Linguistique dans la Recherche en IA montre que les modèles d'IA nécessitent beaucoup plus de jetons pour traiter certaines langues que d'autres. Les différences signifient que les utilisateurs de langues moins représentées risquent de payer plus pour les mêmes services. Les chercheurs ont découvert que la différence de jetons entre les 20 langues les plus courantes sur Internet pouvait atteindre jusqu'à cinq fois plus.

Lorsque l'enquête a été étendue à 200 langues, la différence a atteint jusqu'à 17 fois dans l'un des modèles examinés. En plus des coûts accrus, un plus grand nombre de jetons entraîne également des temps de réponse plus longs et moins d'informations dans la fenêtre de contexte des modèles d'IA. Les langues utilisant des systèmes d'écriture moins courants dans le matériel d'entraînement des modèles d'IA sont particulièrement touchées.