arXiv cs.CL· Xiang Ding·· 2 小时前AI 评分45
语言模型仍保留被放弃的分析：花园路径句后的残留与适应
Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences
AI 导读
在 24 个 124M 至 70B 参数的开源模型中，花园路径句会给上下文留下两种痕迹：被放弃分析的残留使后续宾语依附提高约达真实宾语效应的四分之三；朝向已消歧结构的适应则随消歧误差变化。activation patching 可分离两者，替换 32B 和 70B 模型中名词短语的角色状态几乎消除全部残留；被更正的陈述同样持续影响后续预测，9 个模型中有 8 个如此。
来源：arXiv cs.CL · arxiv.org