arXiv cs.CL· Tsung-Han Wu, Minsuk Heo, Kenny Tan·· 3 小时前AI 评分38
Looped 语言模型的 halting head 真能节省算力吗？
Do Halting Heads Really Save Compute in Looped Language Models?
AI 导读
从头预训练至 1.3B 参数的 Looped 语言模型实验显示，halting head 的省算力效果被高估：标准停止规则下 token 几乎跑满每次迭代，而它预测所需迭代数不到一半。批量生成以最慢 token 为准时，无 halting head 的模型几乎同样划算，按平均迭代数报告会夸大节省。作者建议报告 token 实际迭代数、停止阈值与 batch size，并给出训练前可约束收益的测试。
来源：arXiv cs.CL · arxiv.org