AGI Hunt· postalex·· 3 小时前AI 评分49
Rest of World:非英语用户多付「分词器税」,同样任务 AI 调用更贵
非英语用户多付「分词器税」:同样任务 AI 报价更贵
AI 导读
Rest of World 报道指出,tokenizer 对非英语语言的切分效率更低,同样任务用非英语表达往往消耗更多 token,用户实际支付更高费用,这一现象被称为「分词器税」。非英语使用者在调用商业 AI 模型时因此系统性承担额外开销,形成成本不平等。
来源:AGI Hunt · agihunt.info