研究称非英语用户承担分词器税，200 种语言间 token 成本差最高 17 倍

AI 语言公平研究联盟上月发布的研究显示，AI 模型处理不同语言所需 token 数差异巨大，小语种用户为同样内容支付更多费用，研究者称之为隐性分词器税。在互联网最常用的 20 种语言中，最贵语言的 token 消耗已是最低者的 1.55 倍，扩展到 200 种语言后，某模型的语言间 token 成本差距扩大到 17 倍。