跳到正文
原文
AGI Hunt· postalex·· 3 小时前AI 评分49

Rest of World:非英语用户多付「分词器税」,同样任务 AI 调用更贵

非英语用户多付「分词器税」:同样任务 AI 报价更贵

AI 导读

Rest of World 报道指出,tokenizer 对非英语语言的切分效率更低,同样任务用非英语表达往往消耗更多 token,用户实际支付更高费用,这一现象被称为「分词器税」。非英语使用者在调用商业 AI 模型时因此系统性承担额外开销,形成成本不平等。

来源:AGI Hunt · agihunt.info