Transformer 中证据效应的因果定位

研究提出受控证据聚合（CEA）与均衡效用因果选择（BUC），用受控符号输入定位影响 Transformer 决策的注意力头。在 Pythia-410M 中，针对四种排序条件各选出的 1-12 个头被消融后，去除了 65.5-91.6% 的计数效应。仅用符号 yes/no 提示选出的 8 个头消融后，自然语言任务平均准确率下降 8.2 个百分点，同层同规模随机头组仅下降 0.8。