arXiv cs.CL· Jie Yu, Yuxi Sun, Zhaoxu Li, Chunxiao Liu, Xudong Jiang·· 3 小时前AI 评分36
CoTS:面向大语言模型潜在推理的竞争性 token 选择
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
AI 导读
CoTS(Competitive Token Selection)是一个免训练框架,把大语言模型的潜在推理干预从二元模式选择改为 token 级连续分配,用两个最可能候选 token 之间的概率竞争动态平衡离散承诺与软探索。该方法无需手动调整切换阈值或混合系数,也不增加额外前向传播;在六个推理基准上持续优于标准 CoT 与当前最优的免训练潜在推理方法,代码已公开。
来源:arXiv cs.CL · arxiv.org