arXiv cs.CL· David Yiyang Liu, Aditya Joshi, Paul Dawson, Andrew Piper·· 3 小时前AI 评分36
语言模型具有可解释的叙事机制
Language Models Have Interpretable Narrative Mechanisms
AI 导读
研究在 GPT-2-Small、Gemma-2-2B 和 Llama-3.1-8B 中识别出与叙事性相关的注意力头、MLP 神经元和稀疏自编码器特征。消融这些组件会加大高叙事性文本的下一 token 预测损失，并降低生成文本的叙事性，在故事补全与叙事问答基准上影响最大，跨模型和语言的效果存在差异。这些发现提供了叙事相关组件参与模型行为的因果证据，但其内部组织及与叙事理论的关系仍是未解问题。
来源：arXiv cs.CL · arxiv.org