AGI Hunt· Sauers_·· 3 小时前AI 评分30
可解释性发现:基座模型靠双通路预测代词
AI 导读
研究者的一项可解释性观察显示,基座模型补全「The princess lost...」这类句子时能准确预测出「her」,背后是两条相互独立的计算通路在起作用。一条通路来自 princess 这一 token 自带的女性语义信息,另一条依赖动词后的语法规则。单个网络组件无法完整解释模型的预测计算,这为理解基础模型内部机制提供了新视角。
来源:AGI Hunt · agihunt.info