Transformer 的句法注意力头是否影响模型行为？

对 Transformer 语言模型句法注意力头的干预显示，这类头的因果作用证据偏负面：即使强制它们关注非主语的干扰名词，模型的句法预测仍更符合主语。在作者提出的两项指标中，仅有一项显示对句法专用头的干预对句法预测的影响显著强于对随机头的干预。