arXiv cs.CL· Haoran Zheng, Chen Shani·· 4 小时前AI 评分37
Conceptizer：下一 token 预测并非全部所需
Conceptizer: Next-Token Prediction Is Not All You Need
AI 导读
Conceptizer 在下一 token 预测之外加入语义奖励：约 9K 个上下文同义词构成固定概念词表，把 token 分布映射为概念分布，不增加模型参数。在 3 个 1B-8B 参数模型家族上，概念目标位置的 held-out NTP 困惑度与同义词概率均优于 3 个基线。知识与情感下游任务提升，常识持平。
来源：arXiv cs.CL · arxiv.org