arXiv cs.CL· Qing Yao, Sasha Boguraev, Tiago Pimentel, Kyle Mahowald·· 4 小时前AI 评分35
Pythia 模型句法电路的出现与稀疏化：主谓一致机制随训练如何重组
The Emergence and Sparsification of a Syntactic Circuit
AI 导读
研究追踪 pythia-1b 与 10 个种子的 pythia-410m 训练全程的主谓一致电路，发现该语法能力习得较早，初始由分散的神经元共同承担。pythia-1b 的机制在行为稳定后仍持续重组：早期由两个注意力头控制，后期改由一个不同的第三个头主导，最终电路显著稀疏化。该结果有助于理解语言知识在语言模型中的涌现与表征方式。
来源：arXiv cs.CL · arxiv.org