arXiv cs.CL· Matteo He, William F. Shen, Alex Iacob, Andrej Jovanovic, Xinchi Qiu, Nicholas D. Lane·· 3 小时前AI 评分45
语言模型预训练中的 unembedding 动态：读出何时才学会表达任务信息
Learning to Read Out: Unembedding Dynamics in Language Model Pretraining
AI 导读
研究提出 parameter-trajectory crosscoding，对每个 checkpoint 的 readout 行拟合稀疏字典，仅凭权重即可直接追踪 unembedding 的学习。
来源：arXiv cs.CL · arxiv.org