arXiv cs.CL· Minglai Yang, Xinyu Guo, Renxiong Wang, Sunjie Hou, Daniel Yue Zhang, Yunzhong He·· 4 小时前AI 评分39
从复制到组合：语言模型如何发展 ICL 能力
From Copying to Composition: How Language Models Develop In-Context Learning
AI 导读
一项受控诊断研究比较 17 个模型后发现，约三分之一偏好复制邻近示例的答案，其余多数偏好规则一致的答案。检查点分析显示，模型在准确率超过随机水平前就已优先关注任务相关的 prompt token，先定义结尾再查询的合成文档训练可推动组合式回答。研究认为 ICL 并非单一统一能力，各子能力可能沿不同轨迹发展。
来源：arXiv cs.CL · arxiv.org