语言模型预训练中读出矩阵的学习动态

2026年10月16日，arXiv cs.CL 上的一项研究关注语言模型预训练中 unembedding（读出矩阵）的学习动态，核心问题是：读出要等到什么时候才学会表达任务信息。为追踪这一过程，研究提出 parameter-trajectory crosscoding 方法，对每个 checkpoint 的 readout 行拟合稀疏字典，从而仅凭权重即可直接追踪 unembedding 的学习轨迹。截至目前，这是该事件的首条报道，尚无后续进展，也未出现与早期说法不一致的数字或结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。